Hallucination Detection via Activations of Open-Weight Proxy Analyzers

Riepilogo Tecnico: Rilevamento delle Allucinazioni tramite Attivazioni di Analizzatori Proxy a Pesi Aperti

Enunciato del Problema
Le pipeline di Generazione Aumentata dal Recupero (RAG) sono fondamentali per le applicazioni aziendali, ma soffrono di tassi di allucinazione che variano dal 5% al 20% su compiti specifici di dominio. I metodi di rilevamento esistenti presentano limitazioni significative: le verifiche a posteriori e gli approcci basati sull'incertezza sono computazionalmente costosi, richiedendo più passaggi del modello; i metodi meccanicistici white-box offrono alta accuratezza ma richiedono l'accesso diretto agli stati interni del generatore. Ciò esclude i modelli con API chiuse (ad es. GPT-4), i sistemi multi-backend o gli scenari in cui rieseguire un generatore massiccio esclusivamente per il rilevamento è proibitivo in termini di costi. La sfida principale consiste nel rilevare le allucinazioni senza accedere ai pesi o alle attivazioni interne del generatore.

Metodologia
Gli autori propongono un framework di analizzatore proxy che disaccoppia il rilevatore dal generatore. Dato un documento sorgente ($S$), una domanda ($Q$) e una risposta candidata ($A$), il sistema immette questo testo in un piccolo modello "analizzatore" ospitato localmente e a pesi aperti. Il rilevatore si basa interamente sulle attivazioni interne dell'analizzatore per determinare se $A$ è un'allucinazione, indipendentemente dal modello che ha generato $A$.

Il framework estrae 18 caratteristiche fondate sulla meccanica dei transformer durante un singolo passaggio in avanti:

1. Segnali di Attivazione (S1–S4):
   • S1 (Norma Residuale): Traccia la crescita delle norme del flusso residuo; le risposte fedeli mostrano una crescita costante, mentre le allucinazioni si stabilizzano precocemente.
   • S2 (Attenzione alla Sorgente per Testa): La caratteristica più critica (~50% dell'importanza delle caratteristiche), che misura l'attenzione al documento sorgente per ogni testa e livello.
   • S3 (Entropia dell'Attenzione): La lettura fedele distribuisce l'attenzione; le allucinazioni collassano su token memorizzati.
   • S4 (Norma MLP): Traccia la forza di attivazione della memoria parametrica, analogo a un "Punteggio di Conoscenza Parametrica".
2. Segnali Logit e di Interazione (S5–S7): Include le traiettorie della lente logit, la perplessità condizionata e termini di interazione che riflettono il dominio della memoria parametrica sulla lettura della sorgente.
3. Segnali Esterni e Lessicali (S8–S10): Include un punteggio Vectara HHEM, il rapporto tra lunghezza della risposta e sorgente e la sovrapposizione di token Jaccard.
4. Segnali di Finestra e Pendenza (S11–S15): Aggrega S1 e S2 su una finestra fissa di livelli e analizza le pendenze delle norme residue e dei rapporti di ancoraggio.
5. Statistiche di Ancoraggio a Livello di Token (S16–S18): Nuove statistiche che catturano il punteggio di ancoraggio minimo, la varianza e la pendenza delle traiettorie di ancoraggio per ogni token.

Viene introdotto un nuovo punteggio di Importanza della Testa di Attenzione (AHI) per identificare quali specifiche teste di attenzione separano meglio le risposte fedeli da quelle allucinate, superando i segnali di attenzione media grezza in condizioni fuori distribuzione (OOD).

Il sistema utilizza un ensemble di stacking (Regressione Logistica, Random Forest, HistGradientBoosting, XGBoost) addestrato su 72.135 campioni provenienti da cinque dataset (HaluEval, RAGTruth, MedHallu, MiniCheck-Synthetic, ANLI). Un classificatore specializzato, RagtStacking, è addestrato esclusivamente sui dati RAGTruth per catturare specifici pattern di fallimento nella fedeltà.

Principali Contributi

1. Framework di Caratteristiche: Introduzione di 18 caratteristiche fondate meccanicisticamente, incluse tre nuove statistiche di ancoraggio a livello di token, derivate da un singolo passaggio in avanti di un modello a pesi aperti.
2. Importanza della Testa di Attenzione (AHI): Una metrica supervisionata che identifica specifiche teste di attenzione critiche per l'ancoraggio, dimostrando una stabilità superiore rispetto alle medie di attenzione grezze sotto spostamenti OOD.
3. Studio su Scala vs. Architettura: Una valutazione completa su sette modelli (da 0,5B a 9B parametri) di quattro famiglie (Qwen2.5, Gemma-2, Pythia, LLaMA-3), rivelando che la famiglia del modello e il design dell'architettura spesso prevalgono sul numero di parametri.
4. Benchmark delle Prestazioni: Dimostrazione che gli analizzatori proxy possono superare i metodi white-box all'avanguardia (ReDeEP) senza accesso al generatore.
5. Correlazione Profondità-Compito: Scoperta che i segnali di rilevamento delle allucinazioni raggiungono il picco a diverse profondità di livello a seconda del tipo di compito (ad es., il QA raggiunge il picco più in profondità rispetto alla verifica delle affermazioni).

Risultati

• Benchmark Primario (RAGTruth): Su tutte e sette le architetture di analizzatore, il sistema ha superato costantemente l'AUC a livello di token di ReDeEP (0,73) di 7,4-10,3 punti percentuali.
  • Qwen2.5-7B ha raggiunto un F1 di 0,717 e un AUC di 0,834 (con RagtStacking), superando l'F1 a livello di token di ReDeEP (0,713).
  • Gemma-2-9B ha raggiunto il più alto AUC di 0,836.
  • Qwen2.5-0,5B ha raggiunto un F1 di 0,706, dimostrando che i modelli sub-miliardo sono fattibili.
• Convergenza delle Dimensioni del Modello: Nonostante una differenza di 18 volte nel numero di parametri, la dispersione dell'AUC su tutti e sette i modelli è stata di soli 2,3 punti percentuali (da 0,814 a 0,837).
• L'"Anomalia LLaMA": Contrariamente alle leggi di scaling, LLaMA-3-3B ha superato LLaMA-3-8B su RAGTruth (AUC 0,822 contro 0,819; F1 0,698 contro 0,687). Il modello da 8B si è ripreso solo sui dati OOD, suggerendo che all'interno della stessa famiglia, una dimensione maggiore non garantisce un rilevamento migliore.
• Prestazioni OOD: Su LLM-AggreFact, tutti i modelli si sono raggruppati entro 2,8 punti percentuali di accuratezza bilanciata. I divari di prestazioni rispetto alle baseline sono stati attribuiti a disallineamenti nella lunghezza del documento sorgente (1.200 caratteri nell'addestramento contro ~3.000 in AggreFact), non a un fallimento fondamentale del segnale. Sei dei 18 segnali sono rimasti stabili attraverso gli spostamenti di lunghezza.
• Agnosticismo del Generatore: Il sistema ha operato in modo coerente tra i generatori (GPT-4, GPT-3.5, Mistral-7B, varianti di Llama-2), confermando il rilevamento di pattern di allucinazione del documento sorgente piuttosto che artefatti specifici del generatore.

Significato e Affermazioni
Il documento afferma che il design dell'architettura è un motore più forte della qualità del rilevamento rispetto al numero grezzo di parametri. I risultati sfidano l'intuizione secondo cui "più grande è sempre meglio", mostrando che un modello Qwen da 0,5B può eguagliare o superare modelli dieci volte più grandi, e un LLaMA da 3B può superare il suo corrispettivo da 8B.

Gli autori affermano che il loro approccio fornisce una protezione universale per i sistemi RAG. Separando il rilevatore dal generatore, il sistema può essere distribuito su backend diversificati (incluse API chiuse) con un'unica implementazione. I risultati suggeriscono che l'allucinazione è una proprietà del disallineamento tra risposta e sorgente, rilevabile attraverso lo stato interno di qualsiasi transformer che legge il testo, rendendo il generatore specifico irrilevante per il processo di rilevamento. Il documento conclude che, sebbene esistano attuali lacune OOD dovute ai vincoli dei dati di addestramento (lunghezza della sorgente), la stabilità fondamentale del segnale indica che l'approccio è solidamente valido per una distribuzione più ampia.