🤖 machine learning

Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation

Il paper fornisce evidenze causali che l'allucinazione nei modelli linguistici autoregressivi è un impegno precoce della traiettoria governato da dinamiche di attrattore asimmetriche, dove l'ingresso in un bacino di attrazione errato è rapido e probabilistico mentre l'uscita richiede un'intervento coordinato su più livelli e passaggi.

Autori originali: G. Aytug Akarlar

Pubblicato 2026-04-20

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: G. Aytug Akarlar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che un'intelligenza artificiale (come un chatbot) non sia un semplice "motore di ricerca" che risponde alle domande, ma piuttosto un viaggiatore che cammina su un paesaggio misterioso e in continua evoluzione.

Questo studio, intitolato "Allucinazione come Impegno di Traiettoria", ci rivela qualcosa di sorprendente su come questi viaggiatori decidono se dire la verità o inventare cose (allucinare).

Ecco la spiegazione semplice, passo dopo passo:

1. Il Punto di Partenza: Due Sentieri dallo Stesso Luogo

Immagina di dare allo stesso chatbot la stessa identica domanda due volte di fila.

Cosa ci si aspetterebbe: Che risponda sempre allo stesso modo.
Cosa succede davvero: A volte risponde correttamente, altre volte inventa una bugia convincente.

Gli scienziati hanno scoperto che, nel momento esatto in cui il modello inizia a pensare (prima di scrivere la prima parola), è esattamente nello stesso stato mentale per entrambe le risposte. È come se due viaggiatori partissero dallo stesso punto esatto di una mappa. Ma appena fanno il primo passo, si dividono: uno prende il sentiero della verità (verde), l'altro quello dell'allucinazione (rosso).

2. La Trappola della "Valle" (Il Concetto di Attrattore)

Qui entra in gioco la metafora principale dello studio: le valli.

Immagina il cervello del modello come un terreno con delle valli profonde:

La Valle della Verità: È una valle, ma è un po' instabile. Se spingi il viaggiatore un po' di lato, può tornare indietro.
La Valle dell'Allucinazione: Questa è una trappola profonda e scivolosa. Una volta che il viaggiatore ci cade dentro, è molto difficile uscire.

Lo studio dimostra che è facilissimo far cadere il viaggiatore nella valle sbagliata (basta un piccolo spintone), ma è difficilissimo tirarlo fuori una volta che è lì.

3. L'Esperimento del "Trapianto di Pensiero"

Per capire come funziona, gli scienziati hanno fatto un esperimento curioso, come se fossero chirurghi del pensiero:

Hanno preso un viaggio che stava andando bene (verità) e hanno sostituito un singolo "pensiero" (un neurone attivo) con uno preso da un viaggio che stava andando male (bugia). Risultato: Il viaggio perfetto è crollato e si è trasformato in una bugia nell'87% dei casi.
Hanno fatto il contrario: preso un viaggio che stava andando male (bugia) e hanno sostituito un pensiero con uno della verità. Risultato: Il viaggiatore è rimasto intrappolato nella bugia nel 66% dei casi. Anche quando è riuscito a uscire, è stato difficile e ha richiesto molti tentativi.

La lezione: È molto più facile "inquinare" un pensiero corretto che "pulire" un pensiero sbagliato.

4. Perché non basta una correzione veloce?

Lo studio ha scoperto che per salvare un viaggiatore caduto nella valle dell'allucinazione, non basta dargli una spinta singola. Bisogna spingerlo con costanza per diversi passi.
È come se il viaggiatore fosse incollato al fondo della valle: una sola spinta non basta a farlo uscire; serve una spinta continua e coordinata per farlo risalire.

5. Il Segreto è nel "Biglietto d'Imbarco" (Il Prompt)

C'è un'ultima scoperta affascinante. Gli scienziati hanno guardato il "biglietto d'imbarco" (la domanda che l'utente fa) prima ancora che il modello inizi a pensare.
Hanno scoperto che alcune domande sono come biglietti che portano quasi sicuramente a una valle di confine (dove la verità e la bugia sono vicine e il modello è incerto), mentre altre portano direttamente in fondo alla valle della verità o in quella della bugia.
In pratica, la domanda stessa prepara il terreno per decidere se il modello sarà propenso a dire la verità o a inventare, molto prima che scriva la prima parola.

In Sintesi

Questa ricerca ci dice che le allucinazioni delle IA non sono sempre un "errore di memoria" (come se avessero dimenticato un fatto). Sono invece un problema di dinamica:

Il modello sa la verità (ce l'ha nella sua "valle").
Ma il processo di generazione è come un gioco di equilibrio su un filo: basta un piccolo caso per farlo cadere nella valle sbagliata.
Una volta caduto, è intrappolato e molto difficile da salvare.

Perché è importante?
Perché ci insegna che non basta "insegnare" meglio alle IA o correggerle a metà strada. Dobbiamo capire come progettare sistemi che siano più stabili, o che ci avvisino prima che il modello faccia il primo passo verso la bugia, perché una volta che è caduto nella trappola, uscirne è un'impresa titanica.

1. Il Problema

Le grandi modelli linguistici (LLM) soffrono di allucinazioni, ovvero la generazione di testo plausibile ma fattualmente errato con alta confidenza. Sebbene studi empirici abbiano dimostrato che l'allucinazione è correlata a specifici segnali interni (come l'entropia o attivazioni rilevabili tramite probing), la causalità e il meccanismo interno esatto rimangono poco chiari.
La domanda centrale è: quando e dove un modello si impegna causalmente in una traiettoria allucinata e questo impegno è reversibile? La letteratura precedente si è concentrata su correlazioni o su tecniche di "steering" (guida) lineari che spesso falliscono nel prevenire l'allucinazione in modo robusto.

2. Metodologia

Gli autori propongono un approccio basato sulla dinamica dei sistemi per analizzare le traiettorie di generazione. La metodologia si articola in tre fasi principali:

Biforcazione con lo stesso prompt (Same-prompt Bifurcation):
Invece di confrontare prompt diversi (che introdurrebbero confondimenti semantici), il team campiona ripetutamente lo stesso prompt con temperatura non nulla ( $\tau = 0.7$ ). Identificano i prompt "biforcati", ovvero quelli in cui lo stesso input genera sia completamenti corretti che allucinati. Questo isola la dinamica della traiettoria dal contenuto del prompt, dimostrando che la divergenza è guidata dal percorso stocastico di campionamento.
Patching Causale Simmetrico (Symmetric Causal Patching):
Utilizzando TransformerLens, gli autori eseguono un patching bidirezionale delle attivazioni (sostituendo lo stato residuo di un'esecuzione con quello di un'altra) a ogni livello e passo di generazione.
- Correzione (H→C): Sostituire un'attivazione allucinata con una corretta.
- Corruzione (C→H): Sostituire un'attivazione corretta con una allucinata.
  Vengono inclusi controlli rigorosi (patching casuale, patching tra due allucinazioni diverse) per isolare l'effetto causale specifico.
Analisi della Geometria dello Stato:
Vengono calcolate le divergenze KL tra le distribuzioni di output e la separazione degli stati nascosti (Cohen's d) per mappare come le traiettorie si allontanano nel tempo e nello spazio degli strati.

3. Contributi Chiave

Il paper fornisce la prima evidenza causale che l'allucinazione non è un semplice errore di recupero della conoscenza, ma un impegno precoce nella traiettoria governato da dinamiche di attrattore asimmetriche.

I contributi principali sono:

Dimostrazione della biforcazione istantanea: Le traiettorie corrette e allucinate partono dallo stesso stato iniziale (KL=0 al passo 0) e divergono in modo discontinuo già al primo token generato.
Asimmetria Causale: Viene dimostrato che è molto più facile corrompere una traiettoria corretta che correggere una traiettoria allucinata.
Struttura di Attrattore Asimmetrico: L'allucinazione si comporta come un "bacino di attrazione" (attractor basin) localmente stabile: l'ingresso è facile e rapido, mentre l'uscita richiede un'intervento coordinato e sostenuto.
Regimi di Codifica: L'analisi mostra che la struttura del bacino è determinata già durante la codifica del prompt, identificando "regimi" distinti (cluster) che predicono il rischio di allucinazione.

4. Risultati Principali

Gli esperimenti sono stati condotti su Qwen2.5-1.5B (28 strati) su 61 prompt.

Biforcazione: Il 44.3% dei prompt (27 su 61) ha mostrato biforcazione. I prompt con "falsa premessa" hanno un tasso di biforcazione del 92.9%, indicando che il modello è incerto su come gestire l'errore incorporato.
Divergenza Temporale: La divergenza KL tra traiettorie corrette e allucinate è zero al passo 0 (stesso input) e salta bruscamente al passo 1. Non c'è un "drift" graduale; la decisione avviene al primo token.
Asimmetria nel Patching (Risultato Centrale):
- Corruzione (C→H): Iniettare un'attivazione allucinata in una traiettoria corretta la corrompe con un tasso di successo del 87.5% (picco allo strato 20).
- Correzione (H→C): Iniettare un'attivazione corretta in una traiettoria allucinata riesce a correggerla solo nel 33.3% dei casi (picco allo strato 24).
- Confronto: Il rapporto tra corruzione e correzione è di 2.63:1. Anche la media su tutti gli strati mostra un'asimmetria di 4.3x.
Intervento Sostenuto: Il patching a "finestra" (patching su più passi consecutivi) mostra che la correzione migliora solo con l'intervento prolungato (da 12.5% a 33.3% passando da 1 a 4 passi), mentre la corruzione è efficace anche con un singolo disturbo. Questo conferma la natura profonda del bacino di attrazione allucinato.
Predizione al Passo 0: Un probe lineare sugli stati residui al passo 0 (prima del campionamento) predice il tasso di allucinazione per prompt con una correlazione di Pearson di 0.776 (strato 15). Il clustering non supervisione rivela 5 regimi, dove un "cluster di sella" concentra quasi tutti i prompt biforcati a falsa premessa.

5. Significato e Implicazioni

Questo lavoro cambia radicalmente la prospettiva sull'allucinazione:

Da Errore di Conoscenza a Fenomeno Dinamico: Il modello possiede la conoscenza corretta (come dimostrato dalla capacità di generare risposte corrette dallo stesso prompt), ma il processo stocastico di generazione può impegnarlo in un bacino di attrazione allucinato da cui è difficile uscire.
Fallimento dei Metodi Lineari: Spiega perché le tecniche di "steering" lineare (proiettare fuori le direzioni correlate all'allucinazione) falliscono: un'interferenza lineare può spostare lo stato senza attraversare la frontiera non lineare del bacino di attrazione; gli strati successivi riportano la traiettoria nel bacino errato.
Prospettive per la Sicurezza: Poiché il rischio è determinato dai "regimi" di codifica del prompt, le future strategie di sicurezza dovrebbero mirare a identificare e modificare questi regimi all'inizio della generazione (step 0) piuttosto che tentare di correggere la traiettoria a metà percorso.

In sintesi, l'allucinazione è caratterizzata come un impegno nella traiettoria stabile e asimmetrico: entrare nel bacino dell'errore è facile e istantaneo, mentre uscirne richiede un intervento coordinato e persistente che i metodi attuali non riescono a fornire.