Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping

Riepilogo Tecnico: Sfruttare le Traiettorie di Ragionamento per il Rilevamento delle Allucinazioni tramite Modellazione della Rappresentazione dell'Accordo sulla Risposta

Enunciato del Problema
I Modelli di Ragionamento di Grande Dimensione (LRM) generano tracce di ragionamento lunghe e coerenti prima di produrre una risposta finale. Sebbene queste tracce offrano segnali ricchi, spesso oscurano il rilevamento delle allucinazioni a livello di risposta. Sondare direttamente gli stati nascosti lungo l'intera traccia o utilizzare il testo della traccia per il rilevamento è fragile; i rilevatori tendono a sovradattarsi a pattern stilistici superficiali nel processo di ragionamento piuttosto che catturare la validità della risposta finale. Inoltre, i metodi esistenti spesso si basano su costosi campionamenti al momento del test (ad esempio, generare più risposte per misurare la coerenza) o richiedono annotazioni umane per l'addestramento di classificatori. La sfida fondamentale è distillare un segnale stabile, centrato sulla risposta, dalla traiettoria di ragionamento che sia robusto alle variazioni della forma superficiale e indicativo del rischio di allucinazione senza incorrere in elevati costi di inferenza.

Metodologia: Modellazione della Rappresentazione dell'Accordo sulla Risposta (ARS)
Gli autori propongono ARS, un framework che apprende rappresentazioni della risposta adatte al rilevamento e condizionate dalla traccia, codificando esplicitamente la stabilità della risposta attraverso interventi latenti. Il metodo opera in due fasi principali:

1. Intervento Latente per Risposte Controfattuali:
   Invece di perturbare il testo della traccia di ragionamento (il che potrebbe interrompere la coerenza o introdurre indizi spurii), ARS interviene direttamente nello stato latente del modello. Nello specifico, prende di mira l'embedding del confine della traccia ($h$), definito come lo stato nascosto dell'ultimo token della traiettoria di ragionamento al penultimo strato dell'LRM.

   • Vettori di piccola perturbazione ($\delta$) vengono campionati da una distribuzione (ad esempio, Gaussiana isotropa) e aggiunti a $h$ per creare uno stato modificato $\tilde{h} = h + \delta$.
   • Il modello continua a decodificare da $\tilde{h}$ per generare una risposta controfattuale ($\tilde{a}$).
   • Questo processo viene ripetuto $M$ volte per generare un insieme di risposte controfattuali.

2. Modellazione della Rappresentazione dell'Accordo sulla Risposta:
   Il framework costruisce coppie di addestramento basate sull'accordo tra la risposta originale ($a$) e le risposte controfattuali ($\tilde{a}$).

   • Coppie Positive: Risposte controfattuali che concordano con la risposta originale ($Agr(a, \tilde{a}) = 1$).
   • Coppie Negative: Risposte controfattuali che non concordano con la risposta originale ($Agr(a, \tilde{a}) = 0$).
   • Una funzione di mappatura leggera $g_\phi$ viene addestrata per trasformare gli embedding della risposta standard ($u$) in embedding modellati ($z$). L'obiettivo è una perdita contrastiva che avvicina gli embedding concordanti all'ancora e allontana gli embedding non concordanti.
   • Crucialmente, i parametri di base dell'LRM ($\theta$) rimangono congelati; viene addestrato solo il capo leggero $g_\phi$. Questo processo non richiede etichette di allucinazione veritiere, basandosi esclusivamente sulla coerenza interna delle generazioni del modello stesso.

Contributi Chiave

• Primo Framework per la Modellazione della Traccia: ARS viene presentato come il primo framework che utilizza in modo principiato le traiettorie di ragionamento per modellare le rappresentazioni della risposta per il rilevamento delle allucinazioni negli LRM, sfruttando perturbazioni latenti al confine della traccia per indurre risposte controfattuali.
• Obiettivo Guidato dall'Accordo: Il documento introduce un obiettivo che organizza gli embedding della risposta in base al fatto che piccoli cambiamenti interni preservino la risposta, evitando la dipendenza da perturbazioni testuali fragili o annotazioni umane.
• Analisi Teorica ed Empirica: Gli autori forniscono una proposizione teorica (Proposizione 4.2) che collega la probabilità di separazione dell'accordo degli embedding modellati al limite superiore dell'errore di rilevamento delle allucinazioni. Sperimentalmente, dimostrano che la stabilità della risposta (misurata dalla coerenza controfattuale) è predittiva della veridicità.

Risultati
Gli esperimenti sono stati condotti su quattro dataset (TruthfulQA, TriviaQA, GSM8K, MATH-500) utilizzando diverse famiglie di LRM (varianti Qwen3-8B/14B, DeepSeek-R1-Distill).

• Miglioramenti delle Prestazioni: ARS supera costantemente baselines robuste, inclusi metodi basati sull'incertezza (Perplessità, Entropia Semantica), metodi basati sulla coerenza (Similarità Lessicale, SelfCKGPT) e rilevatori specifici per LRM (RHD, RACE, G-Detector).
  • Su TruthfulQA con Qwen3-8B, ARS ha raggiunto un AUROC del 86,64% (utilizzando CCS come rilevatore a valle), un miglioramento sostanziale rispetto alla baseline degli embedding LRM standard (66,85%) e ad altri metodi all'avanguardia (ad esempio, TSV al 77,08%).
  • Guadagni simili sono stati osservati su tutti i dataset e dimensioni dei modelli, con miglioramenti che vanno dal 10% al 20% rispetto agli embedding standard.
• Generalizzabilità: Le rappresentazioni modellate si trasferiscono efficacemente tra dataset (ad esempio, addestramento su GSM8K e test su TriviaQA) e scalano verso modelli più grandi (14 miliardi di parametri).
• Efficienza: A differenza delle baselines basate sul campionamento che richiedono più passaggi in avanti al momento del test, ARS richiede una sola generazione al momento del test. Il sovraccarico di addestramento è minimo (ad esempio, ~649 secondi per il set di addestramento di TruthfulQA).

Significato e Affermazioni
Il documento afferma che ARS affronta un fallimento critico di affidabilità negli LRM, dove tracce di ragionamento fluide possono mascherare errori fattuali. Modellando le rappresentazioni per riflettere la stabilità della risposta sotto perturbazioni latenti, ARS espone gli stati interni "fragili" associati alle allucinazioni. Gli autori sottolineano che ARS è un componente di rilevamento piuttosto che una garanzia di veridicità, destinato ad essere accoppiato con altre misure di sicurezza. Il lavoro offre approfondimenti sulla geometria delle allucinazioni nei modelli di ragionamento, suggerendo che le risposte allucinate risiedono spesso in regioni dello spazio latente con margini di stabilità bassi, che possono essere efficacemente esposte attraverso la modellazione dell'accordo sulla risposta senza supervisione umana.