🤖 AI

Time Present and Time Past: Benchmarking Large Language Models on Temporally Evolving Document Understanding

Questo articolo introduce TIDE, un nuovo benchmark verificato da esperti per valutare i grandi modelli linguistici sulla comprensione di documenti in evoluzione temporale, rivelando che gli attuali modelli faticano significativamente con la risoluzione delle versioni e spesso danno priorità alla conoscenza parametrica sicura rispetto a testi autorevoli e specifici per il tempo.

Autori originali: Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Pubblicato 2026-08-11

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mahbub E Sobhani, Md. Faiyaz Abdullah Sayeedi, Fahmid Hasan Chowdhury, Md Adnan Arefeen, Farig Sadeque, Md. Faizul Bari, Swakkhar Shatabda

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di trovare la regola giusta per un gioco, ma il libro delle regole è un essere vivente che cambia ogni giorno. Nel mondo dell'intelligenza artificiale, ci sono due modi principali in cui la conoscenza viene solitamente gestita. Il primo è come una gigantesca enciclopedia: se un fatto cambia, quello vecchio viene semplicemente cancellato e sostituito con il nuovo. Se chiedi la capitale di un paese che ha cambiato nome, l'enciclopedia ti mostrerà semplicemente il nuovo nome. Il secondo modo, che è molto più complicato, è come una pila di contratti legali o un videogioco con delle patch. Qui, una vecchia regola non scompare; rimane perfettamente corretta per il periodo in cui era attiva, mentre una nuova regola prende il sopravvento in seguito. Se chiedi: "Qual era il limite di velocità nel 2015?", hai bisogno della regola del 2015, non di quella del 2025. Se il computer sbaglia questo passaggio, non è solo un errore banale; potrebbe essere come dire a qualcuno di pagare la tassa sbagliata o seguire una linea guida medica che è stata cancellata anni fa. Questa è la sfida della "risoluzione delle versioni": capire esattamente quale versione di una regola era in vigore in una data specifica.

Un team di ricercatori ha costruito un nuovo test chiamato TIDE (Temporal Information Drift in Evolving Documents) per vedere se i computer con l'IA più intelligenti di oggi siano in grado di gestire questa complicata logica di viaggio nel tempo. Non si sono limitati a inventare domande fittizie; hanno scavato in 644 documenti reali e ufficiali del governo del Bangladesh, che coprono leggi doganali, codici fiscali e regolamenti dal 1969 fino al 2025. Questi documenti sono disordinati, mescolano inglese e bengalese, e contengono una rete di emendamenti dove una regola ne annulla un'altra, che a sua volta viene annullata da una terza. I ricercatori hanno creato 3.050 domande basate su questi documenti, chiedendo all'IA di agire come un avvocato viaggiatore nel tempo. Hanno testato nove dei modelli di IA più potenti disponibili, offrendo loro tre modi diversi per trovare le risposte: fare affidamento solo su ciò che hanno memorizzato durante l'addestramento (come un esame a libro chiuso), leggere gli esatti documenti forniti loro, oppure cercare in un database per trovare le pagine giuste.

I risultati sono stati una sorta di sveglia. Anche i migliori modelli di IA, pur avendo a disposizione i documenti perfetti da leggere, hanno dato risposte corrette solo per circa il 68,5% delle volte. Ciò significa che sbagliavano ancora più di una volta su tre, anche quando la risposta era proprio davanti ai loro "occhi". Lo studio ha rilevato che questi modelli sono sorprendentemente bravi a trovare il testo corretto quando sanno esattamente dove cercare, ma sono terribili nel rendersi conto che un testo che stanno leggendo è in realtà la versione sbagliata per la data in questione. Per esempio, se dai a un'IA un documento che dice "La tassa è del 10%" ma la domanda riguarda un periodo in cui la tassa era del 5%, l'IA spesso ignora con sicurezza il documento e si attiene alla sua memoria o al testo errato. Infatti, quando i ricercatori hanno cercato di ingannare l'IA con un'affermazione sicura ma errata, i modelli sono stati molto bravi a segnalare che qualcosa non andava (rilevando gli errori circa il 79% delle volte), ma sono stati terribili nel individuare esattamente cosa fosse sbagliato (identificando l'errore specifico solo circa il 19% delle volte). Questo significa che spesso percepiscono un problema, ma attribuiscono la colpa con sicurezza al dettaglio sbagliato.

L'articolo suggerisce che dare all'IA semplicemente più testo da leggere o strumenti di ricerca migliori non sia sufficiente a risolvere questo problema. I modelli faticano soprattutto in compiti che richiedono di comporre una cronologia, come ordinare gli eventi in sequenza o calcolare quale fosse la regola "tre anni dopo". Tendono a presumere che le regole diventino solo più rigide o cambino in un'unica direzione, perdendo di vista il fatto che le leggi possono anche essere abrogate o tornare a versioni precedenti. Sebbene i ricercatori abbiano dimostrato che avere i documenti corretti aiuti, ciò non garantisce il successo. Lo studio conclude che la "risoluzione delle versioni" rimane un ostacolo importante e non ancora risolto per l'IA. Finché questi modelli non saranno in grado di comprendere veramente il flusso del tempo nei documenti legali, potrebbero essere troppo rischiosi da affidare a compiti del mondo reale come la dichiarazione dei redditi o lo sdoganamento, dove sbagliare la data potrebbe portare a gravi problemi finanziari o legali.

Riepilogo Tecnico: TIDE – Benchmarking di Large Language Models sulla Comprensione di Documenti in Evoluzione Temporale

1. Definizione del Problema: La Sfida della Risoluzione delle Versioni

Gli attuali Large Language Models (LLM) faticano con i documenti in evoluzione, come leggi, codici fiscali o documentazione software, dove le regole vengono emendate, sostituite o revertite nel tempo. A differenza della conoscenza enciclopedica (es. Wikipedia), dove i vecchi fatti vengono semplicemente sovrascritti, i documenti in evoluzione mantengono un registro storico persistente: una versione precedente rimane legalmente corretta per il suo specifico periodo di validità, mentre un nuovo emendamento dichiara esplicitamente cosa sostituisce e quando entra in vigore.

La sfida centrale identificata è la risoluzione delle versioni: la capacità di identificare la versione specifica di una regola che è in vigore in una data consultata. Gli attuali benchmark di QA temporale (es. TempReason, MenatQA, evolveQA) trattano il tempo solo come un'annotazione o testano la conoscenza closed-book su valori superati. Essi non riescono a testare la capacità critica di risolvere quale emendamento governi una data specifica, specialmente quando il testo sorgente contiene la logità stessa della sostituzione e del ripristino. Inoltre, gli attuali benchmark spesso mancano della complessità dei documenti normativi reali, che sono frequentemente code-mixed, eterogenei nella struttura e utilizzano sistemi di calendario duali.

2. Metodologia: Il Benchmark TIDE

Per affrontare queste lacune, gli autori introducono TIDE (Temporal Information Drift in Evolving Documents), un benchmark verificato da esperti progettato per valutare gli LLM sulla risoluzione delle versioni di testi legali autentici ed evolutivi.

2.1 Sourcing e Costruzione dei Dati

Corpus: Il benchmark si basa su 644 strumenti doganali ufficiali emessi dal Governo del Bangladesh tra il 1969 e il 2025. Questo include 3 Atti del Parlamento, 20 Ordini Generali (GO), 609 Ordini Regolamentari Statutari (SRO) e 12 Regole.
Complessità: I documenti sono profondamente code-mixed (Bangla–Inglese), contengono tabelle tariffarie incorporate e il 97% di essi riporta le date sia nel calendario Bangla che in quello Gregoriano.
Pipeline di Parsing:
1. Estrazione: Uno schema generale estrae clausole, gerarchia, tabelle e metadati senza perdita di testo, preservando la struttura originale a script misti.
2. Estrazione Entità-Concetto: Utilizzando un LLM, il sistema estrae coppie entità-concetto canoniche (es. "Dazio Doganale" e le sue variazioni di aliquota) per normalizzare la nomenclatura tra i documenti.
3. Costruzione dei Thread: Le entità vengono raggruppate e collegate in thread di concetti evolutivi. Un thread rappresenta un argomento normativo come una lista ordinata nel tempo di strumenti e dei valori che stabiliscono, catturando esplicitamente emendamenti, abrogazioni e ripristini.
4. Generazione QA: Le domande sono generate contro questi thread, garantendo che ogni domanda sia fondata sulla storia della regola piuttosto che su un singolo snapshot.

2.1 Tipi di Task

TIDE comprende 3.050 coppie QA attraverso otto distinti tipi di task che isolano diversi aspetti del ragionamento temporale:

MCQ Temporale: Identificare lo strumento/data corretto tra distrattori lessicalmente vicini.
Ordinamento di Eventi: Ricostruire l'ordine cronologico di eventi rimescolati senza date esplicite.
Rilevamento di Perturbazione: Verificare se un'affermazione è accurata e correggere campi specifici alterati.
Risposta Breve a Scenario: Estrarre valori da scenari realistici senza citazioni dirette di clausole.
ata.
Risposta Breve a Scenario Temporale: Ragionare su più strumenti per trovare il valore in vigore in una data specifica.
QA a Tempo Relativo: Calcolare una data target partendo da un'ancora e un offset (es. "tre anni dopo") per trovare la regola governante.
Open-Ended: Spiegare la logica dietro i cambiamenti di policy.
Disallineamento del Contesto: Determinare la risposta corretta quando il prompt contiene un preambolo fuorviante e superato.

2.3 Protocollo di Valutazione

Gli autori valutano nove recenti LLM (sei a pesi aperti, tre proprietari) sotto tre configurazioni di accesso alla conoscenza:

Parametrica (Closed-Book): Il modello risponde basandosi solo sulla propria memoria interna.
Gold-Context (ICL): Al modello viene fornito l'esatto documento gold utilizzato per generare la domanda.
Retrieval-Augmented (RAG): Il modello riceve le prime 10 clausole recuperate da un indice di ricerca semantica.

Meccanismo di Punteggio:
Viene utilizzato un approccio unico di LLM-as-a-Council, impiegando tre giudici eterogenei (Claude Opus 4.6, Gemini 3.5 Flash, GPT-5.1). Crucialmente, il punteggio include un gate temporale rigido: una risposta riceve zero crediti se la data è errata, anche se il significato è corretto. Ciò separa il "significato corretto" dal "tempo corretto".

3. Risultati Chiave

La valutazione di nove modelli rivela che la risoluzione delle versioni rimane un problema aperto, con la migliore accuratezza macro-mediata che raggiunge solo il 68,5% (GPT-5 sotto ICL).

L'Accesso alla Conoscenza Conta: Le prestazioni migliorano costantemente da Parametrica $\to$ RAG $\to$ ICL. Tuttavia, anche con il contesto gold, i modelli non raggiungono l'accuratezza perfetta, indicando che leggere il testo corretto è necessario ma non sufficiente.
Il Gap di Risoluzione delle Versioni: I modelli sono significativamente più bravi a trovare le versioni corrette che a rifiutare quelle errate.
- Disallineamento del Contesto: Questo è il task più difficile. Il miglior punteggio ottenuto da qualsiasi modello in qualsiasi setting è il 27,62% (Kimi sotto ICL), mentre altri modelli e setting performano significativamente peggio. I modelli tendono a seguire una premessa sicura ma falsa rispetto al testo autorevole fornito.
- QA a Tempo Relativo: L'accuratezza rigorosa è bassa in generale. Il punteggio parametrico più alto è 12,37% (GPT-OSS), mentre GPT-5 raggiunge l'11,08% e Claude il 3,77%. Sotto ICL, Claude guida con il 68,03%, ma il task rimane difficile per la maggior parte dei modelli.
- Ordinamento di Eventi: Le prestazioni crollano in RAG (scendendo da circa il 66% in ICL a circa il 31%) perché il recupero semantico spesso manca parti della timeline necessarie per ricostruire l'ordine.
Rilevamento vs Identificazione: Nella rilevazione di perturbazione, i modelli sono bravi a segnalare che un'affermazione è sbagliata (alto rilevamento) ma scarsi nell'identificare cosa è stato alterato (bassa identificazione) senza grounding. Il grounding migliora significativamente l'identificazione.
Comportamento del Modello:
- Parametrico: I modelli spesso declinano la risposta o allucinano date.
- Grounded: I modelli spesso allucinano date che contraddicono il testo fornito o falliscono nel risolvere i conflitti tra un contesto fuorviante e la fonte.
- Difficoltà del Task: Il tipo di task predice la performance più dell'identità del modello. I task di semplice riconoscimento (Temporal MCQ) sono facili, mentre i task che richiedono ragionamento su più documenti (Event Sorting, Context Misalignment) sono estremamente difficili.

4. Contributi

Formalizzazione dei Documenti in Evoluzione: Il paper formalizza la sfida della risoluzione delle versioni, distinguendola dal semplice aggiornamento dei fatti.
Benchmark TIDE: Il rilascio di un benchmark di alta qualità, verificato da esperti, composto da 3.050 coppie QA su 644 strumenti legali reali e code-mixed.
Protocollo di Valutazione Unificato: Un protocollo innovativo che valuta i modelli attraverso setting parametrici, gold-context e di retrieval con un meccanismo di punteggio a gate temporale rigoroso.
Insight Empirici: Lo studio dimostra che gli attuali LLM, anche con accesso al testo sorgente, non riescono a risolvere affidabilmente le versioni, spesso fidandosi di premesse false ma sicure rispetto all'evidenza autorevole.

5. Significato e Limitazioni

Significatività:
Il paper sostiene che la risoluzione delle versioni non è risolta solo dal retrieval o dall'accesso a contesti lunghi. I fallimenti persistenti nei task sensibili al tempo evidenziano una lacuna critica nelle capacità degli LLM per domini ad alto rischio come legge, fisco e compliance. Il benchmark fornisce una base per sviluppare modelli che possano ragionare in modo affidabile su documenti in evoluzione, separando la capacità di leggere un testo dalla capacità di risolvere conflitti temporali.

Limitazioni:

Specificità del Dominio: Il benchmark è attualmente limitato alla legge doganale del Bangladesh e a un sistema specifico di lingua e calendario.
Modelli Congelati: La valutazione è condotta su modelli congelati tramite prompting; non chiarisce se il fine-tuning o il pre-training continuo possano risolvere questi problemi.
Baseline di Retrieval: I risultati RAG utilizzano un retriever semantico standard senza re-ranking temporale, il che significa che i punteggi RAG rappresentano un limite inferiore.
Incertezza Parametrica: I punteggi parametrici si basano su assunzioni non verificabili sui cutoff dei dati di addestramento.
Drift Temporale: Poiché il corpus è impostato al 2025, il benchmark richiederà aggiornamenti periodici per rimanere attuale.

Gli autori concludono che, sebbene leggere il testo corretto sia un prerequisito, la capacità di identificare la versione in vigore e rifiutare le informazioni superate rimane una sfida significativa e non ancora risolta per gli attuali LLM.