Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models

1. Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM) sono inclini a generare allucinazioni e affermazioni non fattuali, comportando rischi significativi in applicazioni critiche per la sicurezza. Sebbene la Quantificazione dell'Incertezza (UQ) sia un approccio primario per rilevare questi errori, i metodi esistenti presentano due limitazioni principali:

• Inefficacia dei Metodi Basati sulla Densità: Le tecniche UQ tradizionali basate sulla densità (ad es. Distanza di Mahalanobis) hanno avuto grande successo nella classificazione del testo, ma hanno fallito nel performare bene nelle attività di generazione del testo quando applicate a livello di sequenza. I precedenti tentativi hanno prodotto prestazioni paragonabili alla selezione casuale.
• Costo Computazionale: I metodi UQ all'avanguardia per gli LLM si basano spesso su approcci basati sulla coerenza (ad es. Entropia Semantica, campionamento di molteplici generazioni) o su ensemble profondi, che introducono un sovraccarico computazionale massiccio (aumento del 300–700% del tempo di inferenza), rendendoli poco pratici per applicazioni in tempo reale o su larga scala.
• Limitazioni delle Caratteristiche: I recenti metodi supervisionati che utilizzano stati interni degli LLM spesso si affidano a caratteristiche semplicistiche o non riescono a incorporare in modo efficace metriche basate sulla densità robuste e consolidate.

2. Metodologia

Gli autori propongono un nuovo framework UQ supervisionato, a livello di token e basato sulla densità che adatta la Distanza di Mahalanobis (MD) per i modelli generativi. L'innovazione principale risiede nel passaggio dagli embedding a livello di sequenza agli embedding a livello di token e nella loro aggregazione intelligente.

Componenti Chiave:

1. Estrazione di Embedding a Livello di Token:

   • Invece di mediare gli embedding per formare un singolo vettore di sequenza, il metodo estrae gli embedding degli stati nascosti per ogni token generato da multiple layer dell'LLM.
   • Selezione degli Embedding: Per costruire la distribuzione di riferimento (centroide e matrice di covarianza), il metodo filtra i dati di addestramento includendo solo risposte di alta qualità (corrette). Ciò garantisce che il modello di densità rappresenti generazioni "veritiere".

2. Distanza di Mahalanobis (MD) per Layer:

   • Per ogni layer $l$, il metodo calcola la distanza di Mahalanobis tra l'embedding di un token e il centroide degli embedding di token "corretti" selezionati da quel layer.
   • MD Relativa (RMD): Il metodo implementa anche la Distanza di Mahalanobis Relativa, che sottrae la distanza rispetto a una distribuzione di sfondo (ad es. il dataset C4 generale) per distinguere meglio la veridicità nel dominio dal rumore generale.
   • Aggregazione: I punteggi a livello di token sono mediati lungo la sequenza per produrre un punteggio a livello di sequenza (Media MD a Livello di Token o ATMD / ATRMD).

3. Regressione Lineare Supervisionata:

   • Poiché il layer che performa meglio varia in base al compito, il metodo tratta i punteggi MD per layer come caratteristiche.
   • Un modello di Regressione Lineare viene addestrato per prevedere il punteggio di incertezza (mirato come metrica di qualità negativa, ad es. $-ROUGE$o$-Accuracy$) utilizzando questi punteggi per layer.
   • PCA: Per gestire la multicollinearità tra le caratteristiche dei layer, i primi 10 Componenti Principali (PCA) sono utilizzati come input per il regressore.
   • Punteggio Ibrido (HUQ): Il punteggio finale di incertezza può essere un ibrido del punteggio MD supervisionato e della probabilità della sequenza (Massima Probabilità di Sequenza, MSP), combinati tramite una funzione di ponderazione appresa.

3. Contributi Chiave

• Adattamento a Livello di Token: Il documento dimostra che l'applicazione di metodi basati sulla densità a livello di token (piuttosto che a livello di sequenza) è cruciale per il successo nella generazione degli LLM, superando il fallimento dei precedenti approcci di densità a livello di sequenza.
• Framework Supervisionato Efficiente: Introducono un metodo supervisionato computazionalmente leggero che combina punteggi di densità per layer con regressione lineare, evitando la necessità di campionamento costoso o ensemble.
• Valutazione Completa: Il metodo è stato validato su 11 dataset diversi (che coprono riassunti, QA con risposte lunghe/brevi e QA a scelta multipla) e due compiti: generazione selettiva a livello di sequenza e fact-checking a livello di affermazione.
• Generalizzazione: Il metodo mostra una forte robustezza in contesti fuori dominio, mantenendo le prestazioni anche quando addestrato su diversi tipi di compiti (ad es. addestramento su riassunti/QA e test su QA a scelta multipla).

4. Risultati Sperimentali

Gli esperimenti hanno utilizzato i modelli Llama 8b v3.1, Gemma 9b v2 e Mistral 7b.

• Prestazioni nella Generazione Selettiva:

  • I metodi proposti (SATRMD+MSP e HUQ-SATRMD) hanno superato significativamente tutti i baseline, inclusi i metodi non supervisionati all'avanguardia (Entropia Semantica, SAR) e altri metodi supervisionati (SAPLMA, Factoscope).
  • Metriche: Misurate tramite Prediction Rejection Ratio (PRR). I metodi proposti hanno ottenuto i ranghi medi più alti tra i dataset. Ad esempio, sul dataset MMLU, SATRMD+MSP ha superato significativamente il metodo successivo migliore.
  • Analisi dei Layer: Contrariamente ai compiti di classificazione dove spesso l'ultimo layer è il migliore, i risultati hanno mostrato che i layer intermedi spesso forniscono gli embedding più informativi per l'incertezza negli LLM decoder-only.

• Prestazioni nel Fact-Checking:

  • Sul fact-checking a livello di affermazione (Mistral 7b), HUQ-SATRMD ha ottenuto il miglior ROC-AUC (0.750), superando il baseline CCP del 3,4%.

• Efficienza Computazionale:

  • Sovraccarico: I metodi proposti introducono un sovraccarico computazionale minimo del 5,3% – 7,6% rispetto all'inferenza standard degli LLM.
  • Confronto: Questo è drasticamente inferiore ai metodi basati sul campionamento come l'Entropia Semantica o SAR, che comportano un sovraccarico del 315% – 700%.

• Robustezza:

  • Il metodo è robusto alla dimensione del dataset di addestramento (performando bene con solo 200–500 istanze).
  • Non è altamente sensibile alla soglia di correttezza utilizzata per filtrare gli embedding di addestramento.

5. Significato

Questo lavoro colma il divario tra l'UQ basata sulla densità efficace nella classificazione e il dominio impegnativo della generazione di testo degli LLM. Spostando la granularità a livello di token e utilizzando una combinazione lineare supervisionata di caratteristiche per layer, gli autori forniscono una soluzione che è:

1. Più Accurata: Supera significativamente i metodi UQ all'avanguardia attuali nel rilevamento delle allucinazioni.
2. Più Efficiente: Rende la stima dell'incertezza in tempo reale fattibile per gli ambienti di produzione evitando il campionamento costoso.
3. Generalizzabile: Dimostra la capacità di trasferire le capacità di stima dell'incertezza tra diversi domini e tipi di compiti, un requisito critico per il dispiegamento degli LLM in diverse applicazioni del mondo reale.

Il documento conclude che i metodi basati sulla densità, quando adeguatamente adattati all'architettura a livello di token degli LLM, sono un'alternativa superiore sia ai baseline banali basati sulla probabilità sia ai metodi di campionamento computazionalmente costosi.