Forecasting the Onset of Hallucination: Causal, Token-Level, Black-Box Survival Analysis During Generation

Sintesi Tecnica: Previsione dell'Esordio di Allucinazione

Formulazione del Problema
Gli attuali rilevatori di allucinazioni a livello di token operano in modo reattivo, segnalando affermazioni false solo dopo che sono state generate. Un'analisi complementare degli autori ha stabilito un limite teorico di ritardo di circa 1,3 token per qualsiasi rilevatore che reagisce a un punto di cambiamento (change-point), il che significa che il rilevamento avviene intrinsecamente dopo l'inizio dell'allucinazione. Questo articolo affronta la questione se l'esordio di un'allucinazione possa essere previsto prima che avvenga. Il compito è formulato come analisi di sopravvivenza a tempo discreto: trattare l'inizio di una sequenza allucinata come un "evento di fallimento" rispetto al set di rischio dei token che sono attualmente fedeli (faithful). L'obiettivo è calcolare un rischio (hazard) per ogni token — la probabilità che un esordio avvenga entro i prossimi $k$ token — utilizzando solo caratteristiche causali e sicure per lo streaming disponibili fino al token corrente $t$.

Metodologia
Il framework proposto si basa su una pipeline causale, black-box e a livello di token, progettata per l'implementazione durante la generazione:

• Audit delle Caratteristiche Causali: Gli autori utilizzano un flusso di 33 dimensioni di caratteristiche derivate da lavori precedenti, ma eseguono un rigoroso audit causale per rimuovere le componenti con "perdita dal futuro" (future-leaking). Le caratteristiche normalizzate sulla lunghezza totale dell'output (ad es. posizione, conteggio delle frasi) o calcolate da frasi incomplete (ad es. caratteristiche NLI) vengono scartate. Ciò lascia 24 caratteristiche sicure per lo streaming: 18 caratteristiche testuali (finestre di novità, sovrapposizione n-gram, flag di entità) e 6 caratteristiche del modello linguistico (log-probabilità, entropia).
• Architettura del Modello: Il predittore impiega una rete ricorrente a sola propagazione in avanti (una GRU a due strati con larghezza nascosta 64) per leggere la cronologia delle caratteristiche causali. Una testa di rischio (hazard head) emette un logit per molteplici orizzonti ($k \in \{1, 3, 5, 10\}$), rappresentando la probabilità di un esordio entro i prossimi $k$ token.
• Addestramento: Il modello è addestrato con una perdita di cross-entropia binaria multi-orizzonte mascherata sul set di rischio (solo token fedeli), con pesi regolati per la rarità degli esordi ad orizzonti più lunghi.
• Valutazione: Le prestazioni sono misurate tramite AUROC e PR-AUC. Fondamentalmente, gli autori distinguono tra AUROC aggregata (che confonde il rischio a livello di documento con il tempismo) e AUROC intra-documento (che isola il segnale temporale valutando solo i documenti noti per allucinare).

Risultati Chiave

• Prevedibilità: L'esordio è prevedibile a ogni orizzonte. Sul corpus RAGTruth, il previsore ricorrente raggiunge un'AUROC di 0,777 ± 0,002 all'orizzonte $k=3$ (prevedendo un esordio entro i prossimi tre token). Questo è di 12 punti superiore a un baseline logistico di rischio puntuale, indicando il valore della lettura della traiettoria delle caratteristiche.
• Fonte del Segnale: Il segnale di allerta precoce è identificato come deriva della novità testuale (text-novelty drift), non come surprisal del modello linguistico. I modelli che utilizzano solo le 18 caratteristiche testuali eguagliano le prestazioni del set causale completo, mentre le caratteristiche del modello linguistico da sole restano indietro. Il segnale riflette l'allontanamento del modello dal suo contesto sorgente prima che l'allucinazione inizi, piuttosto che un picco locale di incertezza.
• Ritardo Negativo: Confrontato con un rilevatore di cambio di stato (change-point detector) accoppiato a un budget di falsi allarmi corrispondente ($\alpha=10^{-3}$), il previsore ottiene un ritardo negativo. Il previsore avverte una mediana di 11 token prima dell'esordio, mentre il rilevatore scatta una mediana di 15 token dopo. Questo realizza strutturalmente un ritardo negativo che è proibito per i rilevatori.
• Modelli Nulli: Il segnale non è una semplice autocorrelazione di esordi passati (un modello nullo a capacità corrispondente che utilizza solo la cronologia degli esordi e gli orologi ha raggiunto un'AUROC di 0,65, significativamente inferiore al previsore basato sul contenuto) né auto-eccitazione (un processo di Hawkes non ha aggiunto valore rispetto a un modello di covariate).
• Specificità del Dominio: La capacità di previsione è specifica per il dominio. Il modello fallisce il zero-shot quando trasferito da RAGTruth (RAG a lungo formato) a PsiloQA (QA a breve formato), invertendo le prestazioni al di sotto del caso casuale; tuttavia, quando riaddestrato in-domain su PsiloQA, recupera alte prestazioni (0,74–0,79 AUROC), mentre i segnali di rilevamento si trasferiscono parzialmente.

Significatività e Rivendicazioni
L'articolo sostiene che la previsione dell'esordio di un'allucinazione sia un compito distinto e ortogonale alla rilevazione. Mentre i predittori a livello di prompt possono identificare quali generazioni sono rischiose, e i rilevatori possono identificare che un'allucinazione è iniziata, solo questo previsore identifica quando e dove all'interno di una generazione il rischio diventa un esordio.

Gli autori sottolineano che il meccanismo che guida la previsione è una deriva graduale della novità del testo rispetto alla sorgente, piuttosto che un cambiamento di stato improvviso. Di conseguenza, il tempo di anticipo fornito dal previsore è prezioso specificamente per interventi che devono avvenire prima che il token errato venga emesso (ad es. rigenerare una sequenza, vincolare la decodifica o guidare il modello). Per semplici politiche di aborto (interruzione della generazione), gli autori notano che un rilevatore post-esordio può essere più efficiente in termini di token, poiché evita di interrompere token fedeli prima che l'errore avvenga. L'articolo conclude che, sebbene l'allerta precoce esista e raggiunga un ritardo negativo, realizzare una riduzione dei tassi di allucinazione richiede l'accesso in tempo reale al decoder e strategie di intervento specifiche, che sono oltre l'ambito di questo studio offline.