Integrating Local and Global Entropy for Uncertainty Quantification in LLMs

Sintesi Tecnica: Integrazione dell'Entropia Locale e Globale per la Quantificazione dell'Incertezza negli LLM

Problematica

I Large Language Models (LLM) esibiscono frequentemente "allucinazioni sicure", producendo risposte fluenti e specifiche, ma fattualmente errate. Gli esistenti metodi di Quantificazione dell'Incertezza (UQ) si basano prevalentemente su segnali a livello di token (ad esempio, log-probabilità o coerenza del campionamento). Sebbene efficaci nel rilevare l'ambiguità locale, questi metodi spesso non riescono a identificare il modo di fallimento "sicuro-ma-sbagliato", in cui un modello genera risposte errate con un'elevata confidenza a livello di token. Inoltre, molti approcci esistenti impongono barriere pratiche, come la necessità di molteplici passaggi di generazione, supervisione specifica per il task, sensibilità alla lunghezza della risposta o assunzioni architettoniche specifiche. È necessario un metodo di UQ che sia non supervisionato, computabile in un singolo passaggio in avanti (forward pass), normalizzato rispetto alla lunghezza e capace di catturare la struttura geometrica della traiettoria interna del modello.

Metodologia

Il documento propone la Global-Local Uncertainty (GLU), un framework che integra due distinti segnali di incertezza derivati da diversi strati rappresentativi dell'LLM:

1. Incertezza Locale (Livello Token):

   • Derivata dallo strato di unembedding (predizione del token successivo).
   • Basata sul framework di apprendimento profondo evidentiziale, decomponendo l'incertezza in Incertezza Aleatoria (AU) (ambiguità distributiva) e Incertezza Epistemica (EU) (mancanza di evidenza).
   • L'AU è calcolata come l'entropia di Shannon di una distribuzione predittiva troncata sui top-$k$ token.
   • L'EU è stimata mappando i logit in parametri di concentrazione di Dirichlet (utilizzando una trasformazione softplus) e calcolando l'inverso della forza di Dirichlet.
   • Il punteggio locale ($\bar{R}$) è la media dell'interazione moltiplicativa tra AU ed EU attraverso i $m$ token più incerti della risposta.

2. Incertezza Globale (Complessità Geometrica):

   • Derivata dallo strato di embedding (spazio degli stati nascosti).
   • Basata sull'ipotesi che il recupero affidabile di informazioni corrisponda a stati nascosti che si muovono in una direzione stretta e coerente, mentre le allucinazioni corrispondono a un vagare attraverso direzioni debolmente correlate.
   • Il metodo costruisce una matrice di Gram ($K = HH^\top$) dalla traiettoria degli stati nascosti $H$ attraverso tutti i passi di generazione.
   • L'incertezza globale è quantificata come l'entropia di Rényi-2 (entropia di collisione) dello spettro degli autovalori normalizzato di $K$. Un'alta entropia indica una traiettoria diffusa e incoerente (alta incertezza), mentre una bassa entropia indica una traiettoria coerente e a basso rango.
   • Per garantire la comparabilità tra lunghezze di risposta e modelli diversi, l'entropia è normalizzata per $\log T$ e mediata attraverso tutti gli strati transformer.

3. Strategia di Fusione (GLU):

   • I due segnali sono fusi tramite un gate moltiplicativo: $GLU = (1 + \tilde{S}) \cdot \bar{R}$, dove $\tilde{S}$ è l'entropia geometrica globale normalizzata e $\bar{R}$ è l'incertezza locale aggregata.
   • Questo design moltiplicativo agisce come un amplificatore geometrico: se la traiettoria è diffusa (alta incertezza globale), il punteggio di incertezza locale viene pesato maggiormente. Questo mira specificamente al regime "sicuro-ma-sbagliato", dove l'entropia del token è bassa ma la coerenza geometrica è assente.
   • Il metodo richiede un solo passaggio in avanti, non richiede dati etichettati ed è indipendente dall'architettura.

Contributi Chiave

1. Estrazione dell'Incertezza Multi-Vista: Il documento estrae segnali complementari da due strati distinti: l'entropia geometrica globale dalle traiettorie degli stati nascosti e l'entropia locale a livello di token dai logit di output.
2. Ortogonalità Statistica: L'analisi empirica dimostra che i segnali globale e locale sono statisticamente quasi ortogonali. Il segnale globale recupera il modo di fallimento "sicuro-ma-sbagliato" che i segnali locali mancano sistematicamente.
3. Framework GLU: Introduzione di un punteggio leggero e non supervisionato che fonde questi segnali moltiplicativamente, evitando la necessità di riaddestramento, pseudo-etichette o molteplici passaggi di campionamento.
4. Validazione Esaustiva: Valutazione estesa su tre famiglie di modelli (Qwen2.5, Gemma3, Fanar1) e sei diversi benchmark (inclusi fattualità, matematica e QA in arabo), insieme a rigorosi studi di ablazione.

Risultati Sperimentali

• Performance: In 18 configurazioni modello-dataset, GLU ha ottenuto il miglior AUROC (Area Under the Receiver Operating Characteristic) in 13 casi e il miglior PRR (Prediction Rejection Ratio) in 12 casi. Ha superato costantemente sia i baseline basati solo sul livello locale (ad es., LogTokU) sia quelli basati solo sul livello globale (ad es., RAUQ).
• Studi di Ablazione:
  • Moltiplicativo vs. Additivo: La strategia di fusione moltiplicativa è stata critica. Una variante additiva ($Add\text{-}\tilde{S}$) è scesa significativamente in termini di performance (classificandosi 13ª su 14 metodi), confermando che il segnale globale deve agire come un modulatore piuttosto che come un offset fisso.
  • Robustezza: Il guadagno di performance è stato robusto rispetto alle diverse scelte di stimatori locali e globali, suggerendo che la complementarità è una proprietà strutturale degli LLM piuttosto che un artefatto di specifici iperparametri.
• Calibrazione: Sul benchmark TriviaQA, GLU ha dimostrato una relazione monotona tra i punteggi di incertezza e i tassi di errore empirico, separando efficacementamente le risposte corrette da quelle errate attraverso i decili di confidenza.

Significatività e Rivendicazioni

Il documento sostiene che la distinzione strutturale tra lo strato di embedding (direzione semantica) e lo strato di unembedding (probabilità del token) fornisce una base fondata sul motivo per cui i segnali a livello di token e quelli geometrici misurano aspetti diversi dell'incertezza. Integrando queste visioni, GLU offre una soluzione pratica e non supervisionata per la predizione dell'affidabilità che affronta un punto cieco critico degli attuali metodi di UQ: l'allucinazione sicura. Gli autori affermano che GLU eguaglia o supera tutti i baseline non supervisionati pur rimanendo normalizzato rispetto alla lunghezza e indipendente dall'architettura, rendendolo adatto all'implementazione nel mondo reale dove l'efficienza computazionale e l'assenza di supervisione sono fondamentali. Il lavoro suggerisce che la complementarità tra l'incertezza locale e quella globale è una proprietà strutturale fondamentale degli LLM.