Riepilogo Tecnico: MULTIHALUDET

Enunciato del Problema

Le allucinazioni nei Modelli Linguistici di Grandi Dimensioni (LLM) costituiscono un ostacolo critico al loro affidabile dispiegamento, in particolare nei contesti non inglesi e con risorse limitate. I metodi di rilevamento esistenti presentano limitazioni significative:

• Metodi basati su evidenze si affidano al recupero esterno, introducendo latenza computazionale e dipendenza dalla qualità del recupero.
• Euristiche basate sulla confidenza (ad esempio, probabilità dei logit, entropia) spesso non riescono a catturare incoerenze fattuali profonde, poiché le allucinazioni possono manifestarsi come confabulazioni a livello semantico anche quando il modello mostra un'alta confidenza nell'output.
• Metodi di sondaggio dello stato interno si concentrano spesso su singoli token o layer specifici, faticando quando i token non fattuali sono distribuiti lungo le sequenze o quando i modelli variano per profondità. Inoltre, questi metodi mancano frequentemente di robustezza attraverso lingue tipologicamente diverse senza un addestramento specifico per lingua.

Metodologia: MULTIHALUDET

Gli autori propongono MULTIHALUDET, un framework supervisionato a quattro stadi, progettato per rilevare allucinazioni multilingue sondando le traiettorie complete degli stati nascosti di LLM congelati. Il framework opera senza richiedere un addestramento specifico per lingua.

1. Estrazione delle Caratteristiche Basata su LLM

Il processo inizia passando prompt strutturati attraverso un LLM congelato e quantizzato per estrarre tensori di stato nascosto $\{H^{(l)}\}_{l=0}^L$.

• Campionamento Dinamico dei Layer: Per garantire la compatibilità tra modelli di diverse profondità ($L$), una strategia di campionamento dinamico mappa i layer su un conteggio target fisso ($K=32$). Ciò comporta una mappatura identità per modelli superficiali, ripetizione per il padding e interpolazione uniforme per modelli profondi.
• Caratteristiche Sequenziali per Layer: Per ogni layer campionato, il framework estrae descrittori compatti sia dalla rappresentazione dell'ultimo token che dalla media della sequenza. Questi descrittori includono statistiche distributive (ad esempio, norma $\ell_2$, media, deviazione standard, sparsità, curtosi e Deviazione Assoluta Mediana) per catturare l'evoluzione delle dinamiche interne.
• Sondaggio della Profondità Basato su Ancore: Per abilitare il confronto cross-architettura, le caratteristiche vengono estratte da quattro "layer ancore" corrispondenti a frazioni di profondità proporzionali (fasi iniziale, centrale, finale), garantendo una rappresentazione semantica coerente indipendentemente dalla profondità totale del modello.
• Vettore di Caratteristiche Globale: Un vettore globale aggrega le probabilità del prossimo token, le statistiche dei logit, le traiettorie delle norme a livello di layer e termini di interazione cross-caratteristica tra la confidenza di output e la geometria interna.

2. Architettura MultiHaluDet

Le caratteristiche estratte vengono elaborate attraverso un'architettura di deep learning:

• Attenzione Multi-Scala: L'input sequenziale viene proiettato ed elaborato a multiple risoluzioni temporali. Un gate appreso a livello di posizione combina i contributi da diverse scale, arricchendo le informazioni dettagliate a livello di layer con un contesto multi-scala.
• Encoder Transformer Ponderato per Layer: Un vettore di importanza appreso modula la sequenza fusa prima che questa venga codificata da una pila di layer Transformer Pre-LN. Ciò permette al modello di prestare attenzione a specifiche profondità LLM e catturare dipendenze inter-layer a lungo raggio.
• Pooling di Auto-Attenzione: Invece del pooling medio, un meccanismo di attenzione appreso assegna punteggi di rilevanza a ciascuna posizione, abilitando una selezione adattiva della profondità basata sull'input per focalizzarsi sui layer più informativi.
• Fusione Gateata: La rappresentazione sequenziale viene concatenata con il vettore di caratteristiche globale. Un gate sigmoideo esegue una ricomposizione elemento per elemento per sopprimere le dimensioni non informative prima di passare il risultato a un classificatore.

3. Stacking Out-of-Fold (OOF)

Per prevenire la fuoriuscita di dati e ottenere rappresentazioni profonde non distorte, il framework impiega lo stacking OOF a K-fold. Una nuova istanza del modello viene addestrata su $K-1$ fold per generare rappresentazioni di fusione gateata per il fold tenuto da parte. Queste caratteristiche OOF formano una matrice di addestramento robusta per il meta-apprenditore.

4. Meta-Apprenditore di Ensemble

Le caratteristiche profonde OOF servono come input a un ensemble diversificato di classificatori (Gradient Boosted Trees, Random Forests, SVM, MLP, Regressione Logistica). Un meta-regressore logico impila le stime di probabilità di questi apprenditori di base, adattando la composizione dell'ensemble alla forza discriminatoria di ciascun componente.

5. Adattamento Multilingue

Per valutare la generalizzazione cross-linguistica, i dataset in inglese (HaluEval e TriviaQA) sono stati tradotti in francese (alta risorsa), bengalese (media risorsa) e amarico (bassa risorsa) utilizzando Gemini 2.5 Flash. Una rigorosa valutazione umana e la retro-traduzione hanno garantito l'integrità semantica. L'LLM congelato elabora questi input nativamente nei rispettivi spazi di token, permettendo al rilevatore di sondare segnali di allucinazione agnostici rispetto alla lingua.

Contributi Chiave

1. Progettazione del Framework: Introduzione di MULTIHALUDET, un framework a quattro stadi che combina estrazione dinamica delle caratteristiche, attenzione multi-scala, generazione di caratteristiche profonde OOF e meta-apprendimento di ensemble appreso per catturare sia pattern fini che grossolani di incoerenza fattuale.
2. Miglioramenti delle Prestazioni: Dimostrazione di prestazioni di rilevamento all'avanguardia sui benchmark HaluEval e TriviaQA utilizzando Mistral-7B e LLaMA2-7B, raggiungendo fino al 98,55% AUROC.
3. Generalizzazione Cross-Linguistica: Valutazione completa che mostra come il framework mantenga segnali di rilevamento forti attraverso livelli linguistici tipologicamente diversi (francese, bengalese, amarico) senza addestramento specifico per lingua.

Risultati

• Prestazioni sui Benchmark: MULTIHALUDET supera significativamente 13 baseline, inclusi metodi basati sulla confidenza (P(True), AvgProb), metodi basati sulla coerenza (INSIDE, Unigram) e altri approcci di sondaggio (SAPLMA, MIND, Neural ODE/CDE/SDE).
  • Su HaluEval con LLaMA2-7B, ha raggiunto il 98,55% AUROC, rispetto alla baseline successiva migliore (Neural CDE) al 92,8%.
  • Su TriviaQA con LLaMA2-7B, ha raggiunto il 98,26% AUROC, rispetto all'83,7% della successiva migliore.
• Robustezza Cross-Architettura: A differenza delle baseline che subiscono cali di prestazioni passando da Mistral-7B a LLaMA2-7B, MULTIHALUDET ha mantenuto un'efficacia quasi identica tra le architetture.
• Robustezza Cross-Linguistica:
  • Francese: Le prestazioni sono rimaste elevate (96,2% su HaluEval), arrestando leggermente rispetto alle baseline inglesi.
  • Bengalese: Ha mostrato un degrado controllato (89,1% su HaluEval) ma ha superato significativamente le baseline (78,4%).
  • Amarico: Nonostante sia una lingua a bassa risorsa dove i modelli base faticano nel richiamo fattuale, MULTIHALUDET ha raggiunto il 78,5% su HaluEval, mantenendo un vantaggio robusto rispetto al caso casuale e alle baseline standard di confidenza.
• Studi di Ablazione: La rimozione del meccanismo di Stacking OOF ha causato il calo di prestazioni più grave (10%), seguito dalla rimozione dell'Attenzione Multi-Scala (7%). Sostituire il sondaggio delle traiettorie con una rappresentazione statica dell'ultimo layer ha risultato in un calo di ~5%, confermando la necessità di analizzare l'intera evoluzione dello stato nascosto.

Significato e Limitazioni

Il documento afferma che MULTIHALUDET dimostra che il sondaggio dello stato interno può rilevare efficacemente le allucinazioni attraverso lingue diverse e architetture di modelli senza addestramento. Affronta la limitazione dei metodi attuali che non riescono a catturare confabulazioni a livello semantico in contesti non inglesi.

Tuttavia, gli autori riconoscono limitazioni specifiche:

• Requisito White-Box: Il framework richiede l'accesso agli stati nascosti interni e ai logit, rendendolo inapplicabile a modelli proprietari black-box (ad esempio, GPT-4, Claude).
• Sovraccarico Computazionale: Sebbene eviti l'addestramento, l'estrazione e l'elaborazione degli stati nascosti a piena profondità comportano un sovraccarico di memoria non trascurabile e richiedono passaggi in avanti completi.
• Artifatti di Traduzione: La valutazione multilingue si basa su dataset tradotti. Sebbene il controllo di qualità sia stato rigoroso, prompt nativi e naturalmente occorrenti in lingue a bassa risorsa potrebbero rivelare sfumature non completamente catturate dai benchmark tradotti.