Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models

1. Il Problema

I grandi modelli linguistici (LLM) autoregressivi mostrano una discrepanza persistente tra la loro capacità di generare output altamente credibili e la loro accuratezza fattuale. Le allucinazioni (generazione di informazioni false presentate come vere) hanno conseguenze gravi in settori critici come la sanità, la finanza e la scienza.
Sebbene studi recenti abbiano dimostrato che i modelli possiedono rappresentazioni interne che distinguono tra risposte fattuali e fictizie (non visibili nelle distribuzioni di probabilità di output), rimane poco chiaro quando queste rappresentazioni interne si attivano durante il processo di generazione. In particolare, non è noto se il modello "decida" di allucinare prima di generare il primo token o solo durante la generazione, e come questo comportamento dipenda dalla scala (numero di parametri) e dal metodo di addestramento (base vs. instruction-tuned).

2. Metodologia

Gli autori hanno condotto uno studio sistematico per analizzare l'evoluzione temporale dei segnali di allucinazione attraverso 7 modelli transformer di dimensioni variabili (da 117 milioni a 7 miliardi di parametri).

• Modelli Analizzati:
  • Piccola scala (<400M): GPT-2 Small (117M), Pythia-160M, Pythia-410M.
  • Scala di transizione (1B-1.5B): Pythia-1.4B, GPT-2 XL (1.5B).
  • Grande scala (7B): Pythia-6.9B (base-only, addestrato su The Pile) e Qwen2.5-7B (instruction-tuned su corpus diversificato).
• Dataset: Tre task basati su fatti con un totale di 552 esempi etichettati: TriviaQA (difficile), Simple Facts (facile) e Biography (intermedio).
• Estrazione delle Attivazioni: Per ogni coppia modello-domanda, sono state estratte le attivazioni del "residual stream" alle posizioni temporali da 0 a 4. La posizione 0 è cruciale: rappresenta lo stato del modello dopo aver elaborato il prompt ma prima di generare qualsiasi token di output.
• Probing e Classificazione:
  • Le attivazioni sono state ridotte in dimensionalità tramite PCA (95% di varianza).
  • Sono stati addestrati classificatori di regressione logistica L2-regularizzata per distinguere tra risposte vere e false.
  • La metrica principale è l'AUC-ROC (Area Under the Curve) calcolata per ogni posizione temporale.
• Analisi Statistica: Sono stati utilizzati test t appaiati sui livelli di cross-validation per determinare la significatività statistica della differenza tra l'AUC alla posizione 0 e alla posizione 4.
• Intervento: È stato testato l'activation steering (manipolazione delle attivazioni) per correggere le allucinazioni.

3. Contributi Chiave

1. Transizione Temporale Dipendente dalla Scala: Prima evidenza sistematica che il profilo temporale del segnale di allucinazione cambia qualitativamente al variare della scala del modello.
2. Risultato "Null-Signal" per Modelli Piccoli: Dimostrazione che i modelli sotto i 400M parametri non possiedono alcun segnale interno affidabile per distinguere fatti da allucinazioni in nessuna posizione della sequenza.
3. Ruolo Critico dell'Instruction Tuning: Evidenza empirica che, alla scala di 7B, l'addestramento su istruzioni (instruction tuning) è un prerequisito per l'emergere di un segnale di "pre-commitment" (decisione presa prima della generazione), mentre i modelli base di pari dimensione non lo mostrano.
4. Natura Correlazionale del Segnale: Dimostrazione che, sebbene il segnale di allucinazione sia rilevabile internamente, la manipolazione delle attivazioni (steering) non riesce a correggere le allucinazioni, indicando che il segnale è correlazionale e non causale nel circuito di generazione.

4. Risultati Principali

A. Comportamento per Scala

• Modelli < 400M Parametri: Mostrano un'AUC vicina al caso (0.48 – 0.67) in tutte le posizioni. Non esiste un segnale interno affidabile. I picchi di rilevamento, se presenti, sono tardivi (posizioni 2-4) e statisticamente insignificanti.
• Modelli > 1B Parametri (Instruction-Tuned): Emerge un regime qualitativamente diverso. Il segnale di rilevabilità è massimo alla posizione 0 (prima del primo token) e decresce man mano che la generazione procede.
  • Esempio: Pythia-1.4B mostra un'AUC di 0.663 a pos-0 che scende a 0.580 a pos-4 (Δ = -0.083, p = 0.012).
  • Esempio: Qwen2.5-7B conferma questo pattern con un picco pre-generazione significativo (p = 0.038).
• Eccezione alla Scala 7B (Base-Only): Pythia-6.9B (6.9B parametri, base-only) mostra un profilo temporale piatto (Δ = +0.001, p = 0.989). Nonostante la grande capacità, senza instruction tuning, il modello non codifica la decisione di allucinare prima della generazione.

B. Profondità dei Livelli (Layer-wise)

L'analisi dei livelli rivela che la profondità ottimale per il rilevamento aumenta con la scala:

• Modelli piccoli: picco nei primi livelli (9-45% della profondità).
• Modelli grandi (Instruction-tuned): picco nei livelli medi-profondi (fino all'85% in Qwen2.5-7B).
• Pythia-6.9B (Base) rimane anomalo con un picco troppo superficiale (25%), coerente con la mancanza di struttura temporale.

C. Confronto con Baseline

Per i modelli grandi con segnali interni strutturati, il probing offre margini di miglioramento rispetto alle metriche di incertezza basate sull'output (confidenza/entropia), sebbene modesti. Per i modelli piccoli, né il probing né la confidenza sono efficaci.

D. Fallimento dell'Intervento

L'uso dello activation steering lungo la direzione del segnale di allucinazione ha portato a un tasso di correzione dello 0% per tutti i modelli. Questo conferma che il segnale rilevato è un sottoprodotto correlato al processo decisionale, non un nodo causale che, se modificato, previene l'allucinazione.

5. Significato e Implicazioni

• Ipotesi di Pre-Commitment: I modelli sufficientemente grandi e addestrati con istruzioni sembrano risolvere la decisione tra "retrival di conoscenza" e "generazione plausibile" durante l'elaborazione del prompt (posizione 0), prima di generare qualsiasi token. Questo segnale interno è accessibile linearmente.
• Necessità di Instruction Tuning: La scala da sola non è sufficiente. L'organizzazione della conoscenza tramite instruction tuning è necessaria per creare circuiti interni che permettano questo "pre-commitment" identificabile.
• Implicazioni per la Sicurezza e il Deployment:
  • Modelli >1B (Instruction-Tuned): Il monitoraggio alla posizione 0 è ottimale per rilevare le allucinazioni prima che vengano mostrate all'utente, permettendo blocchi preventivi.
  • Modelli <400M: Il monitoraggio basato su attivazioni è inutile. Sono necessarie soluzioni a livello di sistema (RAG, revisione umana).
  • Modelli Base >7B: Non assumere l'esistenza di segnali pre-generazione; validare empiricamente il profilo temporale.
• Limiti: Il rilevamento precoce permette di segnalare o bloccare un'output, ma non di correggerlo automaticamente senza meccanismi esterni (come la retrieval augmentation).

In sintesi, il lavoro stabilisce che la capacità di un modello di "sapere" se sta per allucinare (e di codificare questa informazione internamente prima di parlare) è un fenomeno emergente che dipende criticamente sia dalla scala che dal metodo di addestramento, richiedendo strategie di rilevamento specifiche per ogni categoria di modello.