Riepilogo Tecnico: La Geometria dell'Oblio

Enunciato del Problema

I modelli linguistici di grandi dimensioni (LLM) producono frequentemente risposte obsolete con la stessa fluidità e sicurezza di quelle corrette. Quando interrogati su fatti cambiati dal taglio temporale del loro addestramento (ad esempio, attuali leader governativi o allenatori sportivi), i modelli possono recuperare un fatto superato, nominare un titolare pre-addestramento o fabbricarne uno nuovo. I metodi di rilevamento esistenti, che si basano su statistiche a livello di output (ad esempio, entropia dei token, entropia semantica) o sonde sugli stati nascosti addestrate per la correttezza generale o l'incertezza, non riescono a distinguere tra queste modalità di fallimento. Nello specifico, non possono differenziare il Richiamo Obsoleto (recuperare un fatto che era corretto al momento dell'addestramento ma è ora superato) dalla Confabulazione (fabbricare un fatto che non è mai esistito). Questa opacità lascia le implementazioni incapaci di distinguere errori recuperabili del periodo di addestramento dalle allucinazioni.

Gli autori sostengono che ciò non sia un fallimento ingegneristico ma strutturale: la deriva temporale (se un fatto memorizzato sia cambiato dall'addestramento) è codificata nel flusso residuo del modello come un asse rappresentazionale geometricamente ortogonale sia alla correttezza che all'incertezza. Di conseguenza, qualsiasi metodo che operi esclusivamente su segnali di correttezza o incertezza è strutturalmente cieco alla deriva per costruzione.

Metodologia

Costruzione del Dataset

Gli autori hanno costruito un dataset di 3.511 query che coprono 1.342 fatti unici attraverso quattro relazioni (capo_governo, allenatore_capo, presidente_di, proprietà_di) con precisione giornaliera della durata derivata da un'istantanea congelata di Wikidata (aprile 2026).

• Stati di Conoscenza Temporale: Ogni coppia (campionamento, modello) è classificata in uno dei cinque stati in base all'output del modello rispetto alla cronologia del fatto e al taglio temporale dell'addestramento del modello ($\tau_\theta$):
  1. Stabile-Corretto: Risposta corretta, nessuna deriva.
  2. Anacronismo: Risposta errata (titolare passato), nessuna deriva (il fatto non è mai cambiato).
  3. Richiamo-Obsoleto: Risposta errata (titolare passato), deriva (il fatto è cambiato dopo l'addestramento).
  4. Obsoleto-Attuale: Risposta errata (titolare attuale al momento dell'addestramento, sostituito successivamente), deriva.
  5. Confabulazione: Risposta errata (fabbricata), deriva.
• Valutazione Controllata: Per impedire ai modelli di rilevare semplicemente l'anno della query (una variabile confondente), la valutazione è limitata alle query con anno $\ge \tau_\theta + 1$.

Sondaggio e Analisi

Lo studio valuta sei modelli istruiti (Llama-2, Mistral, Llama-3.1, Qwen-2.5, Gemma-2) attraverso quattro famiglie di architetture.

1. Sondate Lineari: Sonde lineari regolarizzate L1 sono addestrate sulle attivazioni del flusso residuo ($h^{(\ell)}$) per prevedere l'etichetta is_drifted. Gli autori esaminano tutti i livelli per identificare il livello di picco delle prestazioni.
2. Test di Indipendenza Geometrica: Per verificare che l'asse della deriva sia indipendente dalla correttezza e dall'incertezza, vengono impiegati cinque misure complementari:
   • Coseni dei Pesi: Misurazione dell'angolo tra i vettori di peso delle sonde per deriva, correttezza e incertezza.
   • Correlazioni dei Punteggi: Correlazioni di Pearson tra i punteggi delle sonde.
   • Proiezione Bidirezionale nello Spazio Nullo: Proiezione del flusso residuo sul sottospazio ortogonale alle direzioni di disturbo (correttezza/incertezza) e riaddestramento della sonda target.
   • Proiezione Iterativa nello Spazio Nullo (INLP): Rimozione iterativa delle direzioni associate alle variabili di disturbo per testare la dipendenza distribuita.
   • Dissociazione dello Spostamento della Media: Confronto delle sonde addestrate rispetto alle direzioni non addestrate di differenza delle medie (DoM) per escludere artefatti di ottimizzazione.
3. Interventi Meccanicistici:
   • Patching delle Attivazioni: Sostituzione degli stati nascosti corrotti con quelli puliti per localizzare l'elaborazione temporale.
   • Attribuzione Diretta dei Logit (DLA): Decomposizione dei logit di output per confrontare le traiettorie MLP per Richiamo-Obsoleto vs. Confabulazione.
   • Stereo Causale: Amplificazione o soppressione della direzione di deriva per osservare cambiamenti nei logit del titolare.

Risultati Chiave

1. Decodificabilità Lineare della Deriva

Una sonda lineare addestrata direttamente sulle etichette di deriva raggiunge AUROC 0,83–0,95 su tutti e sei i modelli. Al contrario, le linee di base esistenti (Entropia dei Token, Entropia Semantica, SEP, SAPLMA, CCS) rimangono vicine al caso (0,49–0,57). Ciò conferma che la deriva è un segnale decodificabile linearmente nel flusso residuo, ma è invisibile ai metodi non addestrati esplicitamente sulla deriva.

2. Ortogonalità Geometrica

Cinque test confermano che l'asse della deriva è geometricamente indipendente dal sottospazio correttezza-incertezza:

• Coseni dei Pesi: $|\cos| \le 0,14$ tra la deriva e entrambi i vettori correttezza/incertezza.
• Correlazioni dei Punteggi: $|r| \le 0,20$ tra i punteggi di deriva e i punteggi di correttezza/incertezza.
• Proiezione nello Spazio Nullo: La rimozione delle direzioni di correttezza e incertezza comporta un degrado trascurabile dell'AUROC ($|\Delta| \le 0,008$), confermando che la deriva non risiede nel loro span.
• INLP: La rimozione di 10 direzioni per ogni variabile di disturbo lascia ancora la deriva rilevabile.
• Dissociazione dello Spostamento della Media: Le sonde addestrate sono quasi ortogonali anche quando le direzioni non addestrate di spostamento della media sono altamente correlate, indicando che l'indipendenza è strutturale, non un artefatto della sparsità.

3. Specificità del Modello e Indipendenza dall'Input

In un esperimento incrociato sul taglio temporale utilizzando input byte-identici, la sonda di deriva si attiva sul modello il cui taglio temporale di addestramento precede la transizione del fatto e rimane silenziosa sul modello con taglio temporale successivo. La probabilità $P(A > B)$ varia da 0,975 a 0,998 tra le coppie di modelli. Ciò dimostra che la sonda rileva lo stato di conoscenza interno del modello, non proprietà dell'input come la familiarità dell'entità o l'anno della query.

4. Spiegazione Meccanicistica

• Dinamiche di Recupero Identiche: L'Attribuzione Diretta dei Logit rivela che il circuito di recupero MLP produce traiettorie quasi identiche per Richiamo-Obsoleto e Confabulazione ($r > 0,81$). Entrambe le modalità di fallimento raggiungono il picco nello stesso livello, spiegando perché la sicurezza dell'output (che riflette la forza del recupero) non può separarle.
• Latente ma Attivabile: Lo stereo causale mostra che la direzione di deriva è latente durante l'inferenza normale (sopprimerla non causa cambiamenti nell'output), ma, quando amplificata, ristruttura i logit del titolare, attivando selettivamente il circuito di recupero temporale.

Significato e Affermazioni

Il documento afferma che la deriva temporale è una proprietà rappresentazionale distinta degli LLM, strutturalmente ortogonale alla correttezza e all'incertezza. Questa indipendenza geometrica spiega perché:

1. I metodi esistenti di rilevamento delle allucinazioni falliscono sui fatti obsoleti.
2. I modelli possono essere sicuri di essere errati (alta sicurezza, bassa incertezza) sui fatti con deriva perché stanno eseguendo un genuino recupero di dati di addestramento obsoleti.
3. Rilevare la deriva temporale richiede sonde addestrate direttamente sulle etichette di deriva; il riutilizzo di sonde per correttezza o incertezza è insufficiente.

Gli autori concludono che i sistemi implementati dovrebbero leggere questo specifico asse di deriva per identificare la conoscenza obsoleta, piuttosto che attendere errori a livello superficiale o affidarsi a stime di incertezza. Il lavoro fornisce un resoconto meccanicistico di come i modelli codifichino la validità temporale e dimostra che questo segnale è accessibile tramite sonde lineari, offrendo una strada verso un fact-checking temporale più robusto nelle applicazioni LLM.