Temporal Misgrounding in Legal RAG: A Versioned-Corpus Benchmark for French Tax Law
Questo articolo introduce FiscalQA Pro, un benchmark che dimostra come i sistemi RAG legali standard non riescano a gestire l'errore di collocazione temporale (temporal misgrounding) nel diritto tributario francese recuperando solo le versioni correnti degli articoli, e mostra come un sistema di recupero consapevole della versione possa raggiungere un'accuratezza del 98,3% rispetto alle prestazioni prossime allo zero degli approcci statici.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di risolvere un mistero, ma la biblioteca in cui stai cercando ha una regola molto strana: ogni volta che a un libro viene aggiunta una nuova pagina o una frase viene modificata, il bibliotecario non mette un nuovo libro sullo scaffale. Invece, cancella le vecchie pagine e riscrive il libro esistente, lasciando visibile solo la versione più recente. Se chiedessi: "Cosa diceva il libro nel 1995?" e il bibliotecario ti consegnasse solo l'edizione del 2025, otterresti la risposta sbagliata, anche se il libro appare esattamente uguale in copertina. Questo è il mondo della Legal AI (IA Legale), un campo in cui i computer cercano di leggere le leggi e rispondere a domande come farebbe un avvocato. Per farlo, utilizzano una tecnica chiamata RAG (Retrieval-Augmented Generation), che è come uno studente super intelligente al quale è permesso consultare un libro di testo prima di rispondere a una domanda d'esame. Il problema è che la maggior parte di questi libri di testo viene trattata come se non cambiasse mai. Ma le leggi cambiano, spesso ogni anno. Se un computer non si rende conto che una legge del 2018 è diversa da quella di oggi, ti darà con sicurezza il consiglio sbagliato, il che può essere un disastro per quanto riguarda il pagamento delle tasse o la comprensione dei tuoi diritti.
Questo articolo, intitolato "Temporal Misgrounding in Legal RAG", investiga esattamente questo problema nel diritto fiscale francese. Gli autori hanno scoperto un fallimento specifico che chiamano temporal misgrounding (errata contestualizzazione temporale). Questo accade quando un computer, interrogato su una legge del passato, ignora la data nella domanda e si limita a prelevare la versione attuale della legge perché è l'unica che riesce a trovare facilmente. Hanno costruito una massiccia biblioteca viaggiante nel tempo del codice fiscale francese, contenente 32.436 diverse versioni di articoli che coprono 93 anni (dal 1938 al 2031). Hanno poi creato un test difficile chiamato FiscalQA Pro con 209 domande revisionate da esperti che richiedono specificamente di conoscere la legge di una data passata, non quella di oggi.
I risultati sono stati scioccanti. Quando hanno testato 11 diversi modelli di IA (inclusi i più avanzati disponibili), i computer hanno fallito miseramente quando non riuscivano a cercare la versione corretta. Senza aiuto, l'IA ha dato la risposta corretta solo il 3,0% delle volte. Quando hanno fornito all'IA un "libro di testo" standard che conteneva solo la legge attuale, è andata ancora peggio, ottenendo il 2,7% di risposte esatte. In effetti, il sistema standard ha recuperato la versione storica corretta lo 0% delle volte; citava con sicurezza la legge attuale come se fosse la legge del passato. Tuttavia, quando gli autori hanno costruito un sistema capace di cercare effettivamente attraverso la loro biblioteca viaggiante nel tempo per trovare la specifica versione della legge che era in vigore alla data indicata nella domanda, l'accuratezza dell'IA è schizzata al 98,3%.
L'articolo dimostra che il problema non è che l'IA non sia abbastanza intelligente da comprendere la legge; è che la biblioteca che sta consultando è guasta. Gli autori sostengono che dobbiamo smettere di trattare i documenti legali come oggetti statici e iniziare a trattarli come oggetti sensibili al tempo. Hanno dimostrato che, una volta corretto il sistema di recupero affinché cerchi la data giusta, l'IA può risolvere questi problemi quasi perfettamente. Hanno inoltre rilasciato il loro enorme dataset e il codice per il loro sistema di ricerca consapevole del tempo, sperando di aiutare altri ricercatori a costruire un'IA che non ti dia con sicurezza consigli legali obsoleti.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.