Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing

Sintesi Tecnica: Rilevamento delle Allucinazioni Pre-Generazione tramite Soft-Target Attention Probing

Problematica
I Large Language Models (LLM) generano frequentemente risposte sicure ma fattualmente errate, un fenomeno noto come allucinazione. Sebbene esistano metodi di rilevamento post-generazione (ad esempio, utilizzando l'entropia semantica o la self-consistency), essi comportano l'intero costo computazionale della decodifica. Il rilevamento pre-generazione offre un'alternativa leggera, stimando il rischio di allucinazione dalle rappresentazioni di input prima che venga generato qualsiasi token, consentendo interventi precoci come l'astensione, il retrieval augmentation o il routing del modello.

Tuttavia, gli approcci pre-generazione esistenti affrontano una sfida statistica fondamentale: tipicamente formulano il rilevamento come un problema di classificazione binaria utilizzando una singola risposta decodificata tramite ricerca greedy come etichetta di ground truth. Gli autori sostengono che ciò sia statisticamente mal posto perché la correttezza di una risposta pre-generazione è una variabile casuale che riflette la distribuzione di output stocastica del modello. Un'etichetta binaria derivata da un singolo campione è una proxy rumorosa della vera probabilità di errore sottostante del modello, introducendo un rumore di etichetta irreversibile e potenziali bias (ad esempio, sottostimando il rischio quando il modello assegna un'alta probabilità a una risposta corretta ma distribuisce la massa su molte risposte errate).

Metodologia
Il documento inquadra il rilevamento delle allucinazioni pre-generazione come un problema di stima del rischio piuttosto che come una classificazione binaria. L'obiettivo è predire la probabilità che il modello produca una risposta errata per un dato prompt sotto la propria distribuzione di campionamento.

1. Supervisione Soft-Target:
   Invece di etichette binarie, gli autori propongono di addestrare i probe su soft target derivati dal tasso di errore empirico della risposta. Per ogni prompt, vengono campionate $N$ risposte stocasticamente dal modello a temperatura $\tau = 1$ (la distribuzione base del modello). Il soft target è la frazione di questi $N$ campioni che sono fattualmente errati.

   • Garanzia Teorica: Gli autori dimostrano che questo tasso di errore empirico è lo Unique Unbiased Minimum-Variance Estimator (UMVUE) della probabilità di errore per prompt del modello sotto la sua distribuzione di campionamento. Questa formulazione minimizza il rumore dell'etichetta e fornisce un segnale di difficoltà consistente.
   • Beneficio Statistico: L'uso di soft target riduce la varianza del gradiente stocastico, portando a una convergenza più rapida nell'ottimizzazione rispetto alle etichette binarie.

2. Attention Probing:
   Lo studio adatta l'attention probing (sviluppato originariamente per il rilevamento post-generazione) al contesto pre-generazione. A differenza del linear probing, che aggrega uniformemente gli stati nascosti (ad esempio, tramite mean pooling), l'attention probing utilizza un vettore di query apprendibile per pesare selettivamente gli stati nascosti dei token provenienti dal prompt di input. Ciò consente al rilevatore di concentrarsi sulle posizioni del prompt più informative per il rischio di allucinazione.

   • Il probe viene applicato agli stati nascosti di un qualsiasi layer $l$ del transformer.
   • Una testa di regressione logistica mappa la rappresentazione aggregata in un punteggio di rischio.

Contributi Chiave

• Inquadramento come Stima del Rischio: Il documento stabilisce che il rilevamento delle allucinazioni pre-generazione è fondamentalmente un problema di stima della distribuzione. Introduce la supervisione soft-target basata sui tassi di errore empirici, dimostrando teoricamente la sua ottimalità come stimatore non distorto e a minima varianza.
• Analisi dell'Architettura e dei Layer: Un confronto sistematico rivela che l'attention probing supera costantemente il linear probing uniforme nel contesto pre-generazione, in particolare per compiti con strutture di prompt variabili. Inoltre, l'analisi per layer dimostra che gli intermediate layer trasportano costantemente i segnali di allucinazione più forti, suggerendo che è possibile ottenere stime di rischio affidabili senza completare l'intero passaggio in avanti fino al layer finale.
• Validazione Empirica: L'approccio è valutato attraverso tre benchmark di question-answering (SQuAD, Natural Questions, HotpotQA) e cinque modelli istruiti tramite instruction-tuning (famiglie Qwen, LLaMA, Gemma, tutte con meno di 9B parametri).

Risultati

• Superiorità dei Soft Target: In tutti i modelli e dataset valutati, l'attention probing addestrata con soft target supera costantemente la sua controparte con target binari. I guadagni sono più pronunciati nei compiti a risposta aperta (ad esempio, Natural Questions, HotpotQA), dove l'informazione distributiva catturata dai soft target è più preziosa.
• Attention vs. Linear Probing: L'attention probing supera significativamente il linear probing (fino a 23.1 punti di ROC-AUC in alcuni casi) nel setting pre-generazione. Tuttavia, questo vantaggio diminuisce nei compiti altamente vincolati a singolo token (ad esempio, multiple-choice o boolean QA), dove il mean pooling è sufficiente.
• Performance Pre- vs. Post-Generazione: Nei compiti a risposta breve e strutturalmente vincolata (come SQuAD), i probe pre-generazione si avvicinano alle prestazioni dei metodi post-generazione, con differenze medie di appena lo 0.07% in ROC-AUC. Man mano che la lunghezza della risposta e la complessità del ragionamento aumentano (ad esempio, HotpotQA), il divario si amplia a favore dei metodi post-generazione, poiché l'incertezza diventa più dipendente dal processo di generazione stesso.
• Efficienza: Rilevando il rischio nei layer intermedi, il metodo può risparmiare costi computazionali significativi (fino al 54% di risparmio di GFLOPs rispetto ai passaggi in avanti completi) consentendo al contempo un intervento precoce.

Significatività e Rivendicazioni
Il documento sostiene che il rilevamento delle allucinazioni pre-generazione sia una strategia valida ed efficiente, a condizione che venga inquadrato come stima del rischio piuttosto che come classificazione binaria. Il contributo primario è la dimostrazione che la supervisione soft-target fornisce un segnale di addestramento più fondato ed efficace rispetto alle etichette binarie greedy, allineando il compito di rilevamento con la natura stocastica della generazione degli LLM.

Gli autori sottolineano che le loro scoperte supportano un regime operativo pratico: per compiti con risposte brevi e strutturate, è possibile ottenere stime affidabili del rischio di allucinazione prima della generazione e a metà del passaggio in avanti (utilizzando i layer intermedi), consentendo interventi a basso costo come l'astensione o il retrieval augmentation. Riconoscono i limiti, notando che il metodo è meno efficace per compiti di ragionamento multi-hop e a lungo contesto, dove l'incertezza è intrinsecamente legata al processo di generazione, e che l'approccio richiede l'accesso white-box alle attivazioni del modello. Il lavoro non pretende di sostituire i rilevatori post-generazione, ma piuttosto di completarli con un segnale precedente e più economico.