Riepilogo Tecnico: D-Score per il Rilevamento delle Allucinazioni

Definizione del Problema

I Large Language Models (LLM) generano frequentemente testi fluidi che contengono affermazioni false, non supportate da prove o incoerenti con la conoscenza interna del modello, un fenomeno noto come allucinazione. Gli attuali metodi di rilevamento si affidano spesso a risorse esterne (sistemi basati sul recupero/retrieval) o a passaggi di generazione multipli (metodi basati sulla coerenza), il che aumenta i costi di inferenza e la complessità. Esiste la necessità di meccanismi di rilevamento che operino direttamente sugli stati interni di un modello durante un singolo passaggio in avanti (forward pass), senza richiedere verificatori esterni o campionamenti ripetuti.

Metodologia: Il D-Score

Il documento introduce il D-Score, una statistica spettrale derivata dalla geometria delle attivazioni nascoste all'interno di un modello transformer. L'intuizione centrale è che un testo ben supportato induce una traiettoria nascosta coerente concentrata lungo alcune direzioni dominanti. Al contrario, quando un modello elabora un testo contenente un'affermazione non supportata che entra in conflitto con la sua conoscenza interna, la rappresentazione nascosta può codificare sia il contenuto assertivo sia tracce di contro-evidenza, incertezza o mancanza di supporto. Questo conflitto causa la diffusione della traiettoria nascosta su direzioni singolari aggiuntive, aumentando la dimensionalità "effettiva" della matrice di attivazione.

Formulazione Matematica

Dato un modello $m$ fisso, uno specifico strato $j$, e un testo di input $\mathbf{x} = (x_1, \dots, x_T)$, il metodo costruisce una matrice di attivazione nascosta $H^{(j)}(\mathbf{x}; m) \in \mathbb{R}^{d \times T}$, dove le colonne rappresentano gli stati nascosti dei token allo strato $j$.

Siano $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$ i valori singolari non nulli di $H^{(j)}(\mathbf{x}; m)$. Il D-Score è definito come il rango numerico relativo di questa matrice:
$$D^{(j)}_{\tau}(\mathbf{x}; m) = \max \{ n \le r : \frac{\sigma_1(H)}{\sigma_n(H)} \le \tau \}$$
dove $\tau > 1$ è un parametro di tolleranza. Il punteggio conta quante direzioni singolari rimangono significative rispetto al valore singolare principale $\sigma_1$.

Regola di Rilevamento

Il rilevatore classifica un input come allucinato se il D-Score supera un livello decisionale calibrato $\bar{D}$:
$$\hat{Y}(\mathbf{x}) = 1 \quad \text{se} \quad D_{\tau}(\mathbf{x}) > \bar{D}$$
Questo approccio richiede un solo passaggio in avanti e il calcolo dei principali valori singolari (fino al punto in cui scendono sotto la soglia relativa), il che può essere stimato efficientemente utilizzando metodi iterativi come il metodo della potenza sulla matrice di Gram $H^\top H$, evitando il costo computazionale di una SVD completa per modelli ad alta dimensionalità.

Giustificazione Teorica

Il documento definisce l'allucinazione interna al modello come un'affermazione non supportata alla quale il modello assegna una bassa convinzione di verità interna. Si postula che tali affermazi introducano "direzioni di conflitto" nello spazio degli stati nascosti. Una proposizione teorica dimostra che se il contenuto non supportato introduce $q$ direzioni sufficientemente forti ortogonali alla rappresentazione coerente, il D-Score aumenta di almeno $q$. Pertanto, un D-Score elevato funge da proxy per la presenza di queste direzioni di conflitto.

Contributi Chiave

1. Introduzione del D-Score: Una semplice statistica spettrale che rappresenta il rango numerico relativo della matrice di attivazione nascosta, progettata per misurare la diffusione della traiettoria dello stato nascosto.
2. Definizione Operativa: Una definizione formale di allucinazione interna al modello basata su affermazioni non supportate con bassa convinzione di verità interna, distinguendole dagli errori che il modello non può rilevare internamente.
3. Argomentazione Geometrica: Una giustificazione teorica che mostra come i testi allucinati possano aumentare il D-Score diffondendo la traiettoria nascosta attraverso direzioni di conflitto aggiuntive (incertezza, contro-evidenza).
4. Valutazione Empirica: Valutazione esaustiva che dimostra come il D-Score sia un segnale forte per il rilevamento delle allucinazioni attraverso molteplici modelli e dataset.

Risultati Sperimentali

Il D-Score è stato valutato su due benchmark: FAVA-Annotation (errori fattuali nella generazione open-domain) e RAGTruth (allucinazioni nella generazione aumentata da recupero/RAG). Gli esperimenti sono stati condotti su tre modelli open-weight: Llama-2-7B, Llama-3-8B e Vicuna-7B.

• Performance: Il D-Score ha superato costantemente i baseline allo stato dell'arte, inclusi lo Hidden Score (un precedente metodo spettrale), i punteggi basati sulla perplessità e le metriche basate sull'entropia.
  • Su FAVA-Annotation, il D-Score ha ottenuto l'AUROC più alto su tutti i modelli (ad esempio, 66,98% per Llama-3-8B contro il 57,10% di Hidden Score).
  • Su RAGTruth, il D-Score ha mantenuto una performance robusta (ad esempio, 61,53% di AUROC per Llama-3-8B), mentre la performance di Hidden Score è scesa significativamente su Vicuna-7B (vicino al caso casuale), mentre il D-Score è rimasto efficace (60,20%).
• Correlazione con la Capacità del Modello: Il divario di performance tra D-Score e i baseline è stato più pronunciato nei modelli più capaci (ad esempio, Llama-3-8B), suggerendo che il metodo cattura efficacemente le allucinazioni che il modello riconosce internamente come non fattuali.
• Analisi dei Sottoinsiemi: Quando valutato su un sottoinsieme di dati in cui l'autovalutazione esplicita del modello era allineata con le annotazioni umane (filtrando i casi in cui il modello non riusciva a riconoscere i propri errori), il D-Score ha raggiunto punteggi AUROC ancora più elevati (fino al 72,51% su Llama-3-8B), confermando che il metodo si basa sulla rappresentazione interna dell'errore del modello.

Significato e Rivendicazioni

Il documento sostiene che il D-Score fornisca un forte segnale negli stati nascosti per il rilevamento delle allucinazioni che opera sotto rigidi vincoli di efficienza:

• Efficienza a Passaggio Singolo: Richiede un solo passaggio in avanti attraverso il modello.
• Nessuna Dipendenza Esterna: Non richiede recupero esterno, verificatori esterni o un secondo modello.
• Nessuna Generazione Multipla: A differenza dei metodi basati sulla coerenza, non richiede il campionamento di molteplici output.

Gli autori posizionano il D-Score non come una caratterizzazione universale della verità, ma come un punteggio di rischio calibrato. È particolarmente efficace nel rilevare le "allucinazioni interne al modello" — errori in cui il modello possiede le informazioni necessarie per riconoscere l'incoerenza ma non riesce a sopprimerla nell'output finale. Il metodo evidenzia come la topologia della traiettoria dello stato nascosto (specificamente, la diffusione dei valori singolari) contenga informazioni diagnostiche sulla fiducia del modello e sulla presenza di segnali interni contrastanti.

Limitazioni

Gli autori riconoscono diverse limitazioni:

• Requisito White-Box: Il metodo richiede l'accesso alle attivazioni nascoste, rendendolo inapplicabile ai modelli closed-source a meno che tale accesso non venga fornito.
• Visibilità Interna: Può rilevare solo le allucinazioni che lasciano una traccia nello stato interno del modello; se il modello manca della conoscenza interna per riconoscere un errore, il D-Score potrebbe non segnalarlo.
• Confusione con la Complessità: Alti D-Score possono derivare anche da testi non allucinati lunghi, diversificati o semanticamente complessi, richiedendo una calibrazione attenta.
• Sensibilità dei Parametri: Sebbene robusto, il metodo dipende dalla scelta dello strato, del parametro di tolleranza $\tau$ e della soglia decisionale $\bar{D}$.