Riepilogo Tecnico: Dove si Rompe il Ragionamento? Rilevamento delle Allucinazioni a Livello di Passo tramite Geometria del Trasporto degli Stati Nascosti

1. Definizione del Problema

I Modelli Linguistici di Grandi Dimensioni (LLM) allucinano frequentemente durante compiti di ragionamento multi-passaggio, generando passaggi intermedi fluenti ma errati che propagano errori all'output finale. I metodi di rilevamento esistenti soffrono di tre limitazioni primarie:

1. Aggregazione a Livello di Traccia: La maggior parte dei rilevatori (ad esempio, entropia semantica, auto-coerenza, SelfCheckGPT) assegna un singolo punteggio di confidenza all'intera output, fallendo nel localizzare il primo errore.
2. Sovraccarico Inferenziale: Metodi come l'auto-coerenza richiedono molteplici passaggi in avanti e campionamento, il che è computazionalmente costoso.
3. Statico vs Dinamico: Le tecniche di sondaggio attuali analizzano spesso affermazioni fattuali statiche piuttosto che le dinamiche di una traiettoria di ragionamento in svolgimento.

Il paper postula che rilevare il momento preciso in cui il ragionamento si interrompe (localizzazione del primo errore) in un singolo passaggio in avanti sia un prerequisito per un dispiegamento affidabile. La sfida principale è identificare dove una catena di ragionamento si discosta da un percorso coerente senza fare affidamento su verificatori esterni, campionamento o etichette al momento dell'inferenza.

2. Metodologia: GeoReason

Gli autori propongono GeoReason, un framework che tratta la sequenza di rappresentazioni nascoste in un singolo passaggio in avanti come una traiettoria nello spazio delle rappresentazioni. L'allucinazione è inquadrata non come un errore semantico, ma come una escursione localizzata nel costo di trasporto lontano da una varietà stabile di transizioni localmente coerenti.

Il sistema è composto da due componenti: un Insegnante Condizionato da Etichette e uno Studente Disponevole.

2.1. L'Insegnante (Limite Superiore Diagnostico)

L'insegnante è un modello non disponevole utilizzato per quantificare l'esistenza di un segnale geometrico negli stati nascosti. Opera come segue:

• Normalizzazione della Traccia: Per una traccia etichettata, l'insegnante calcola un sistema di coordinate locale centrato sul "prefisso corretto" (passaggi prima del primo errore). Normalizza gli stati nascosti rispetto alla media e alla varianza di questi passaggi corretti.
• Lente cPCA (PCA Contrastiva): L'insegnante apprende una matrice di proiezione $U$ utilizzando la PCA contrastiva. Questa lente è ottimizzata per massimizzare la separazione tra la distribuzione delle transizioni corrette ($P_0$) e le transizioni del primo errore ($P_1$), sopprimendo al contempo le direzioni ad alta varianza intrinseche al ragionamento corretto.
  • L'obiettivo massimizza la separazione di trasporto: $\Gamma(U) = \text{Tr}(U^\top M U)$, dove $M = (\mu_1 - \mu_0)(\mu_1 - \mu_0)^\top + C_1 - \alpha C_0$.
• Estrazione di Caratteristiche Geometriche: Nello spazio proiettato, l'insegnante estrae un blocco di caratteristiche per ogni passaggio, includendo:
  • Posizione: Distanza dalla varietà corretta.
  • Movimento: Velocità ($\|\Delta z_t\|$) e accelerazione ($\|\Delta^2 z_t\|$).
  • Persistenza Direzionale: Similarità coseno tra vettori di transizione consecutivi.
• Punteggio: Un MLP leggero mappa queste caratteristiche geometriche in una probabilità di allucinazione a livello di passaggio.

2.2. Lo Studente (Rilevatore Disponevole)

Lo studente è un modello BiLSTM disponevole progettato per operare senza etichette al momento dell'inferenza, campionamento o verificatori esterni.

• Architettura: Prende stati nascosti grezzi come input e restituisce probabilità a livello di passaggio.
• Addestramento tramite Distillazione: Lo studente è addestrato a riprodurre il segnale di instabilità dell'insegnante utilizzando una miscela di:
  1. Perdita Supervisionata: Cross-entropia binaria standard sulle etichette dei passaggi.
  2. Distillazione della Conoscenza: Divergenza Kullback-Leibler (KL) tra le distribuzioni di probabilità dello studente e dell'insegnante (target morbidi).
  3. Distillazione delle Caratteristiche: Una testa ausiliaria costringe lo studente a corrispondere alle rappresentazioni delle caratteristiche geometriche dell'insegnante.
• Inferenza: Lo studente esegue un singolo passaggio in avanti. Il primo errore previsto è il primo passaggio in cui la probabilità supera una soglia $\theta$.

3. Contributi Teorici

Il paper fornisce tre garanzie teoriche chiave:

1. Ottimalità della cPCA (Teorema 3.1): Dimostra che la PCA contrastiva è la proiezione ottimale per massimizzare la separazione di trasporto tra stati del primo errore e stati corretti sotto un obiettivo di distanza 2-Wasserstein quadratica.
2. Limite di Localizzazione (Teorema 3.2): Stabilisce che la localizzazione del primo errore in un singolo passaggio è garantita se il primo errore crea un "margine di trasporto" positivo sulle transizioni corrette precedenti. L'errore non deve rimanere anomalo per sempre; il rilevamento richiede solo che il primo passaggio errato crei un'escursione rilevabile.
3. Condizione di Distillazione (Proposizione 3.3): Riduce l'accordo tra insegnante e studente a una condizione di preservazione del margine. Se lo studente preserva il margine decisionale dell'insegnante sotto spostamenti di distribuzione, l'indice del primo errore sarà identico.

4. Risultati Sperimentali

Il metodo è stato valutato su ProcessBench, PRM800K, HaluEval e TruthfulQA.

4.1. Performance In-Domain

• Rilevamento a Livello di Passo: Entrambi i modelli hanno superato le baseline basate su entropia, sondaggio e attenzione. L'insegnante ha raggiunto il più alto AUROC su tre dei quattro dataset (ad esempio, 96.0 su TruthfulQA). Lo studente ha raggiunto le migliori performance su PRM800K (99.8 AUROC).
• Localizzazione del Primo Errore: L'insegnante e lo studente hanno superato significativamente le baseline nell'individuare il passaggio esatto in cui il ragionamento si è interrotto. Ad esempio, lo studente ha raggiunto un'accuratezza del 96.8% su TruthfulQA.

4.2. Generalizzazione e Ostacoli al Dispiegamento

• Trasferimento Cross-Modello: L'insegnante ha dimostrato performance stabili tra diverse famiglie di modelli (Qwen, Llama, Mistral), confermando che un segnale geometrico esiste negli spazi nascosti indipendentemente dal modello specifico.
• Collasso dello Studente: Lo studente ha performato bene quando testato sullo stesso modello su cui è stato addestrato, ma è collassato a performance quasi casuali (AUROC ~33–58%) quando valutato su diverse famiglie di modelli o dataset.
• Analisi: Il paper attribuisce questo divario al fallimento dello studente nel preservare il margine di trasporto sotto spostamento di distribuzione. Mentre l'insegnante cattura un segnale di instabilità meccanico intrinseco alla geometria degli errori, lo studente apprende un segnale rappresentazionale che assorde le stranezze di codifica specifiche del modello, fallendo nella generalizzazione quando la distribuzione sottostante cambia.

5. Significato e Affermazioni

Il paper afferma di ricontestualizzare il rilevamento delle allucinazioni a livello di passaggio come un problema di dinamiche di traiettoria piuttosto che verifica semantica statica.

• Inquadramento Geometrico: Introduce una visione nuova in cui le allucinazioni sono "escursioni localizzate" nel costo di trasporto degli stati nascosti, distinte dalla varietà stabile del ragionamento coerente.
• Diagnostico vs Disponevole: Separando l'esistenza di un segnale (insegnante) dalla capacità di recuperarlo senza etichette (studente), gli autori identificano l'ostacolo centrale al dispiegamento: preservare il margine di trasporto contrastivo sotto spostamento di distribuzione.
• Rigorosità Teorica: Il lavoro fornisce la prima giustificazione teorica per l'uso della PCA contrastiva in questo contesto e stabilisce le condizioni sotto le quali la localizzazione in un singolo passaggio è matematicamente garantita.

Gli autori concludono che, mentre il segnale geometrico per il rilevamento del primo errore è robusto e trasferibile (come mostrato dall'insegnante), i metodi attuali di distillazione sono insufficienti per il dispiegamento cross-dominio perché falliscono nel preservare il margine critico richiesto per confini decisionali affidabili.