Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

Sintesi Tecnica: Monitoraggio della Realtà nei Large Language Models

Problematica
Man mano che i Large Language Models (LLM) transitano da strumenti statici ad agenti autonomi operanti in ambienti multi-turno ad alto rischio (ad esempio, supporto clinico, analisi legale), la loro capacità di distinguere tra contenuti generati internamente e informazioni fornite esternamente diventa una questione critica di sicurezza. Nella scienza cognitiva umana, questa capacità è definita monitoraggio della realtà (RM - Reality Monitoring): la capacità di determinare l'origine di un ricordo (percepito esternamente vs. immaginato internamente). I fallimenti nel RM umano sono collegati ad allucinazioni, deliri e confabulazioni. Tuttavia, rimane da testare se gli LLM possiedano questa capacità. I benchmark attuali spesso non riescono a isolare la memoria conversazionale come variabile, e le valutazioni metacognitive esistenti si concentrano sull'accuratezza della conoscenza piuttosto che sull'attribuzione della fonte. Un modello che non è in grado di attribuire il proprio output a se stesso può trattare le proprie confabulazioni come fatti forniti dall'utente, portando a fallimenti di sicurezza piuttosto che a meri errori di prestazione.

Metodologia
Gli autori hanno adattato lo standard paradigma umano delle coppie di parole per valutare il monitoraggio della fonte in sei LLM: Gemma 3 (12B e 27B, con e senza Quantization-Aware Training), Llama 3.3 (70B) e un modello sparse mixture-of-experts (Llama 4 16×17B). Il compito richiedeva ai modelli di codificare coppie di parole in cui la seconda parola era o fornita esternamente (percepita) o generata internamente (immaginata), e successivamente attribuire la fonte di tale parola.

Due esperimenti hanno manipolato l'architettura della memoria conversazionale:

1. Esperimento 1 (Monitoraggio della Realtà a Singolo Turno): Ha confrontato due strutture di memoria:
   • Single-Turn (Turno Singolo): Tutte le sottotask (completamento, valutazione, giudizio sulla fonte, confidenza) avvenivano all'interno di un'unica interazione.
   • Trial-Chain (Catena di Prove): Le sottotask erano distribuite attraverso turni conversazionali sequenziali, aumentando il carico della finestra di contesto.
2. Esperimento 2 (Monitoraggio della Realtà Episodico): Ha introdotto una fase di test della fonte ritardata. Le prove di codifica (20 o 40 totali) venivano completate come un blocco prima di una fase separata di attribuzione della fonte. Questo design incrociava la dimensione del set (20 vs. 40) con il feedback correttivo (presente vs. assente) per testare la stabilità dell'autoconsapevolezza sotto carico di memoria e loop di feedback.

Le metriche includevano l'accuratezza dell'attribuzione della fonte, il tasso di allucinazioni di lettura (fallimento nel riprodurre parole esterne), la sensibilità metacognitiva (gamma di Goodman–Kruskal $\gamma$ che lega la confidenza all'accuratezza) e i parametri della Teoria della Detezione del Segnale (SDT) ($d'$, criterio $c$, Type 2 AUC).

Risultati Chiave

• La Struttura della Memoria Determina la Prestazione:

  • Nell'Esperimento 1, i modelli hanno raggiunto un'accuratezza di vertice (100%) per gli elementi interni nella condizione Single-Turn perché la parola generata rimaneva nella finestra di contesto attiva, rendendo il recupero banale. Tuttavia, le condizioni Trial-Chain hanno rivelato fragilità: l'accuratezza per gli elementi interni è scesa significativamente per alcuni modelli (ad esempio, Gemma 3 12B è scesa ai livelli del caso), mentre l'accuratezza degli elementi esterni è diventata variabile.
  • Nell'Esperimento 2, l'introduzione di un ritardo episodico ha invertito il vantaggio della fonte. A differenza dell'Esperimento 1, i modelli hanno trovato gli elementi esterni (percepiti) più facili da attribuire rispetto agli elementi interni (immaginati). Ciò suggerisce che quando il "scorciatoia" del recupero dal contesto attivo viene rimossa, le caratteristiche diagnostiche della generazione interna (operazioni cognitive più ricche) sono insufficienti affinché i modelli distinguano tali elementi dagli stimoli esterni.

• Il Ruolo delle Allucinazioni di Lettura:

  • Nell'Esperimento 1, il predittore più forte del fallimento dell'attribuzione della fonte è stato il tasso di allucinazione di lettura (fallimento nel riprodurre la parola esternamente fornita). Se un modello falliva nel codificare correttamente la parola esterna, non poteva attribuirne accuratamente la fonte.
  • Nell'Esperimento 2, il feedback correttivo ha paradossalmente aumentato i tassi di allucinazione di lettura, particolarmente in set di dimensioni maggiori. Ciò indica che i loop di feedback nelle interazioni multi-turno possono degradare la fedeltà della codifica piuttosto che migliorarla.

• Dissociazione tra Accuratezza e Confidenza:

  • Sensibilità Metacognitiva: Nell'Esperimento 1, la confidenza generalmente seguiva l'accuratezza. Nell'Esperimento 2, sotto ritardo episodico e feedback, questo legame si è scisso. Per alcuni modelli (ad esempio, Llama 3.3 70B), l'accuratezza migliorava con il feedback mentre la sensibilità metacognitiva crollava (il Type 2 AUC scendeva sotto il livello del caso). Per altri (ad esempio, Gemma 3 12B), il feedback ha causato un'inversione completa della discriminazione della fonte (attribuzione sistematica errata degli elementi interni come esterni e viceversa).
  • Driver della Confidenza: Nell'ambiente episodico, l'accuratezza a livello di prova non prediceva più la confidenza. Inveve, la confidenza era guidata dall'architettura del modello e dalle condizioni di contesto, non dalla correttezza del giudizio specifico.

• Scaling e Architettura:

  • La prestazione non è scalata linearmente con il numero totale di parametri. Il modello più grande (Llama 4 16×17B) ha ottenuto prestazioni comparabili a quelle dei modelli più piccoli. I risultati implicano che la dimensione delle singole reti di esperti all'interno delle architetture mixture-of-experts sia una variabile più rilevante per l'autoconsapevolezza rispetto al numero totale di parametri.

Contributi Chiave

1. Operazionalizzazione del RM nei LLM: Lo studio fornisce il primo framework comportamentale sistematico per testare l'attribuzione della fonte negli LLM, direttamente confrontabile con i paradigmi cognitivi umani.
2. Identificazione della Memoria come Variabile Critica: Il paper dimostra che la "autoconsapevolezza" negli LLM non è una proprietà invariante ma è altamente sensibile alla struttura della memoria conversazionale (Single-Turn vs. Episodico).
3. Rivelazione di Modalità di Fallimento Nascoste: La ricerca rivela che i benchmark standard di accuratezza perdono criticità fondamentali:
   • Inversione della Fonte: I modelli possono invertire la propria logica di attribuzione sotto carico di memoria.
   • Decoupling tra Confidenza e Accuratezza: I modelli possono diventare più accurati pur diventando simultaneamente meno calibrati (o addirittura anti-calibrati), rendendo il segnale di confidenza espresso un segnale di fiducia inaffidabile.
   • Allucinazione Indotta dal Feedback: Il feedback correttivo può degradare la fedeltà della codifica degli input esterni, un modo di fallimento non catturato dalle metriche a turno singolo.

Significato e Rivendicazioni
Gli autori sostengono che, man mano che i sistemi di IA adottano ruoli autonomi e multi-turno, valutare cosa un modello sa è insufficiente; tracciare da dove proviene quella conoscenza è altrettanto essenziale. Lo studio suggerisce che gli attuali benchmark, che spesso si basano su carichi di memoria minimi, sovrastimano la capacità reale. Le conclusioni implicano che:

• Implicazioni per la Sicurezza: Il fallimento dell'attribuzione della fonte è un fallimento di sicurezza, non solo un errore di prestazione. Un modello che tratta le proprie allucinazioni come fatti forniti dall'utente non può essere considerato affidabile in ruoli agentici.
• Spostamento della Valutazione: Le valutazioni di deployment devono includere valutazioni della memoria della fonte. La prestazione con carico minimo non predice la prestazione sotto ritardo episodico.
• Insight Architetturali: Migliorare l'autoconsapevolezza potrebbe richiedere cambiamenti architettonici (ad esempio, ottimizzando le dimensioni delle reti di esperti) piuttosto che semplicemente aumentare il numero aggregato di parametri.
• Parallelo Umano-IA: I pattern osservati (bias di esternalizzazione, decoupling tra confidenza e accuratezza) rispecchiano i fallimenti del RM umano, suggerendo che gli LLM possano condividere simili vincoli cognitivi riguardo all'attribuzione di origini interne vs. esterne.

Il paper conclude che il monitoraggio della realtà offre un test comportamentale diretto e confrontabile con i modelli per queste capacità, e che senza tale valutazione, il deployment di agenti autonomi comporta rischi significativi e non quantificati riguardanti la confusione della fonte e le allucinazioni.