Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals

Sintesi Tecnica: Fiducia in un Singolo Round – Stima della Confidenza per i Large Language Models tramite Segnali Strutturali

1. Definizione del Probleamento

I Large Language Models (LLM) sono sempre più impiegati in domini ad alto rischio (es. verifica dei fatti, assistenza scientifica) dove gli errori comportano costi significativi. Tuttavia, i metodi standard di stima della confidenza soffrono di critiche limitazioni:

• Gli stimatori basati sulla probabilità (es. log-probabilità dei token, entropia) sono spesso mal calibrati e fragili sotto variazioni della distribuzione (distribution shifts).
• Gli stimatori basati sulla similarità semantica (es. geometria degli embedding) degradano quando il testo in input diverge dalla distribuzione di pre-addestramento del modello.
• I metodi di coerenza multi-campione (es. SelfCheckGPT) richiedono molteplici generazioni stocastiche e modelli ausiliari (come classificatori NLI), con conseguente un costo di latenza e computazione proibitivo, non adatto a implementazioni su scala web in tempo reale o con risorse limitate.

Inoltre, la ricerca esistente sulla geometria degli stati nascosti rimane in gran parte diagnostica piuttosto che operativa, mancando di un framework unificato per la stima della confidenza in un singolo passaggio (single-pass). Il documento sostiene che gli approcci attuali falliscono perché si affidano a segnali superficiali (probabilità o embedding) ignorando la dinamica computazionale interna che produce le predizioni.

2. Metodologia: Confidenza Strutturale

Gli autori propongono la Confidenza Strutturale, un framework model-agnostic a passaggio singolo che stima la confidenza basandosi sulla stabilità strutturale della traiettoria degli stati nascosti.

Ipotesi Centrale: Le predizioni sicure corrispondono a traiettorie degli stati nascosti lisce, a bassa frequenza, con una geometria globale compatta. Al contrario, l'incertezza o l'allucinazione si manifestano come irregolarità spettrale, fluttuazioni locali brusche e una struttura globale frammentata.

Componenti Chiave:

• Traiettoria Proxy degli Stati Nascosti: Poiché gli LLM proprietari (es. GPT-4o) non espongono i propri stati interni, il metodo utilizza un trasformatore encoder-only congelato (BERT-base-uncased) per generare una traiettoria proxy. Il contesto di input e la risposta generata vengono concatenati e inseriti nell'encoder per estrarre gli stati nascosti dell'ultimo livello ($H$).
• Famiglie di Descrittori Strutturali: Dalla traiettoria $H$, vengono estratti tre descrittori strutturali multi-scala, indipendenti dalla lunghezza della sequenza:
  1. Stabilità Spettrale (48-d): Riassume la fluidità della traiettoria tramite la fluidità nel dominio della frequenza (DFT power delle basse frequenze) e la diffusione spettrale-grafica (autovalori del Laplaciano normalizzato).
  2. Variazione Locale (6-d): Cattura l'instabilità a breve raggio utilizzando statistiche dello spostamento token-per-token (es. lunghezza totale del percorso, varianza delle dimensioni dei passi).
  3. Coerenza di Forma (16-d): Riassume la dispersione globale tramite un istogramma normalizzato delle distanze a coppie tra gli stati nascosti.
• Modalità di Granularità: Il framework supporta le modalità Global (intera traiettoria), Local (finestre sovrapposte) e Two-scale (media tra globale e locale) per catturare diverse risoluzioni di instabilità.
• Stimatore di Confidenza: Un classificatore leggero LightGBM mappa le caratteristiche strutturali concatenate (e opzionalmente un embedding semantico della frase) a una probabilità di correttezza. Il metodo non richiede gradienti, né accesso agli interni del generatore, né modelli ausiliari.

3. Contributi Principali

1. Nuova Modalità di Confidenza: Introduce un segnale di confidenza basato sulla stabilità strutturale degli stati nascosti (descrittori spettrali, locali e globali), che integra gli esistenti stimatori basati su probabilità ed embedding.
2. Efficienza Model-Agnostic a Passaggio Singolo: Il framework opera su un singolo passaggio deterministico di un encoder proxy, senza richiedere campionamenti, modelli NLI ausiliari o accesso ai logit o agli stati nascosti del generatore.
   massimizzando l'efficienza.
3. Robustezza Cross-Domain: Una valutazione estesa su benchmark eterogenei (FEVER, SciFact, WikiBio-hallucination, TruthfulQA) dimostra che i segnali strutturali rimangono robusti sotto variazioni di dominio dove gli embedding semantici collassano.
4. Efficienza: Il metodo offre un'alternativa pratica ai controlli di coerenza basati sul campionamento, riducendo significativamente il costo computazionale e la latenza.

4. Risultati Sperimentali

Il framework è stato valutato su quattro benchmark utilizzando GPT-4o come generatore:

• Performance: La Confidenza Strutturale raggiunge prestazioni state-of-the-art tra i baseline a passaggio singolo in termini di AUROC e AUPR.
  • Su FEVER e WikiBio, il segnale strutturale fuso (struttura + semantica) raggiunge punteggi AUROC di 0.683 e 0.686, rispettivamente, superando gli euristiche basate sulla probabilità e eguagliando o superando le prestazioni dell'oneroso baseline SelfCheckGPT.
  • Su SciFact, dove gli embedding semantici collassano (AUROC ~0.255), il segnale strutturale rimane discriminante (AUROC ~0.460), dimostrando una superiore robustezza alla variazione di dominio.
• Calibrazione: I descrittori strutturali e il modello fuso mostrano una migliore calibrazione (Brier Score e Expected Calibration Error più bassi) rispetto ai baseline basati solo sulla probabilità su FEVER e WikiBio.
• Efficienza: Rispetto al baseline NLI-based di SelfCheckGPT, la Confidenza Strutturale comporta circa 6× meno FLOPs e 5× meno latenza nella fase di stima della confidenza. È inoltre più efficiente delle pipeline strutturali stile RACE.
• Generalizzazione Cross-Domain: Un modello addestrato su un pool di domini misti (FEVER, SciFact, WikiBio) mantiene prestazioni stabili sul benchmark out-of-domain TruthfulQA, mentre i baseline semantici mostrano cali di prestazione significativi.

5. Significato e Rivendicazioni

Il documento afferma che la stabilità strutturale degli stati nascosti è una base promettente e poco esplorata per la stima della confidenza post-hoc. Spostando l'attenzione dalle probabilità e dagli spazi semantici alla dinamica interna delle attivazioni del modello, la Confidenza Strutturale offre:

• Robustezza: Una soluzione che rimane efficace sotto variazione di dominio e per testi lunghi o specializzati dove altri metodi falliscono.
• Praticità: Un meccanismo pronto per il deployment in applicazioni su scala Web che rispetta i vincoli rigorosi di passaggio singolo e black-box.
• Approfondimento Teorico: Evidenza del fatto che l'incertezza nella decodifica autoregressiva si manifesta come irregolarità geometriche e spettrali nella traiettoria degli stati nascosti, che possono essere catturate da un encoder proxy leggero.

Gli autori concludono che, sebbene lo studio sia limitato a specifici benchmark fattuali e a un singolo modello proprietario, l'approccio punta verso una linea di lavoro nell'IA affidabile centrata sulle dinamiche interne delle attivazioni del modello, offrendo una soluzione efficiente e model-agnostic per valutare l'affidabilità degli LLM.