Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models

1. Enunciato del Problema

I Large Language Models (LLM) sono inclini a generare allucinazioni e output di bassa qualità. La Quantificazione dell'Incertezza (UQ) è un meccanismo critico per rilevare questi errori, tipicamente assegnando un punteggio di confidenza al testo generato. Tuttavia, i metodi UQ esistenti affrontano una limitazione fondamentale: la dipendenza condizionale.

• Il Problema Centrale: I LLM generano testo in modo autoregressivo (token per token). La probabilità del token corrente $y_i$ è condizionata da tutti i token precedenti $y_{<i}$. Se un token iniziale è un'allucinazione (un errore), il modello lo tratta come verità fondamentale per i passaggi successivi. Di conseguenza, il modello genera i token successivi con alta confidenza, anche se l'intera sequenza è difettosa.
• Il Divario: I metodi UQ standard calcolano l'incertezza basandosi sulla probabilità condizionale immediata $p(y_i | y_{<i})$. Non riescono a propagare l'incertezza dei passaggi precedenti. Se il primo token è errato ma il modello è sicuro del prossimo token dato quel contesto errato, l'intera sequenza viene considerata "sicura", portando ad allucinazioni non rilevate.
• Limitazioni Attuali: I tentativi precedenti di modellare questa dipendenza si basano su euristiche (ad esempio, penalizzare i punteggi in base alla massima attenzione precedente) o richiedono un campionamento computazionalmente costoso (generare più output per verificare la coerenza).

2. Metodologia: Dipendenza Apprendibile Basata sull'Attenzione (TAD)

Gli autori propongono TAD, un approccio supervisionato e guidato dai dati per apprendere l'incertezza "incondizionata" di un token modellando le complesse dipendenze tra i passaggi di generazione.

A. Concetto Chiave

Invece di affidarsi esclusivamente alla probabilità condizionale grezza del LLM, TAD apprende una funzione di regressione $C(\cdot)$ che stima la confidenza incondizionata di un token $y_i$. Questa funzione incorpora:

1. Probabilità del Passo Corrente: Le probabilità dei token $p(y_i | y_{<i})$ fornite dal LLM.
2. Mappe di Attenzione: I pesi di attenzione dal token corrente ai token precedenti, che codificano il focus interno del modello e la struttura delle dipendenze.
3. Incertezza Ricorrente: I punteggi di confidenza incondizionata stimati dei token precedenti ($C_{<i}$).

La formulazione è:
$$C(y_i) = C(Att_i, p(y_i | y_{<i}), C_{<i})$$

B. Procedura di Addestramento (Due Fasi)

Poiché la variabile target (confidenza incondizionata) dipende dall'output del modello stesso (ricorrenza), gli autori impiegano una procedura di addestramento in due fasi:

1. Fase 1: Addestrare un modello di regressione utilizzando solo le probabilità del token corrente e i pesi di attenzione. Il target per il primo token è la similarità semantica tra la sequenza generata e la verità fondamentale. Per i token successivi, il target rimane la similarità con la verità fondamentale, ma il modello impara a prevedere basandosi sulle caratteristiche immediate.
2. Fase 2: Riaddestrare il modello utilizzando le previsioni della Fase 1 come caratteristiche. Nello specifico, i "punteggi di incertezza calcolati ricorsivamente" dai passaggi precedenti (previsti dal modello della Fase 1) vengono immessi nel modello della Fase 2. Questo permette al modello di apprendere come propagare l'incertezza attraverso la sequenza.

C. Ingegneria delle Caratteristiche

• Target: La verità fondamentale per l'addestramento è derivata dalla similarità semantica (utilizzando metriche come COMET, AlignScore o Accuratezza) tra l'intera sequenza generata e la risposta di riferimento.
• Input: Per ogni token $y_i$, il vettore delle caratteristiche include i pesi di attenzione verso i $N$ token precedenti, le loro probabilità condizionali e la confidenza incondizionata stimata di quei token precedenti.

D. Inferenza

Durante l'inferenza, TAD elabora i token in sequenza. Per il primo token, utilizza la probabilità grezza. Per i token successivi, calcola ricorsivamente la confidenza incondizionata utilizzando la funzione appresa $C$, aggregando questi punteggi a livello di token (tramite media o log-sum) per produrre un punteggio di incertezza a livello di sequenza.

3. Contributi Chiave

1. Approccio Supervisionato Innovativo: TAD è il primo metodo ad apprendere esplicitamente la dipendenza condizionale tra i passaggi di generazione utilizzando un modello di regressione supervisionato addestrato su mappe di attenzione e punteggi di incertezza ricorrenti.
2. Integrazione di Caratteristiche Ricorrenti: Il paper dimostra che incorporare punteggi di incertezza calcolati ricorsivamente è essenziale per una UQ accurata, propagando efficacemente il "rischio" di errori iniziali all'intera sequenza.
3. Addestramento in Due Fasi: Gli autori introducono un protocollo di addestramento specifico per gestire la dipendenza circolare della previsione dell'incertezza basata sulle previsioni di incertezza precedenti, prevenendo l'overfitting e migliorando la convergenza.
4. Efficienza: A differenza dei metodi basati sul campionamento (ad esempio, Entropia Semantica) che richiedono più passaggi in avanti, TAD aggiunge un sovraccarico computazionale minimo (circa il 5% rispetto all'inferenza standard) perché utilizza una regressione lineare leggera o un MLP su un singolo passaggio in avanti.

4. Risultati Sperimentali

Gli autori hanno valutato TAD su 10 dataset (che coprono riassunto, traduzione automatica e varie attività di QA) e 3 LLM (LLaMA-3.1 8B, Gemma-2 9B, Qwen-2.5 7B).

• Prestazioni: TAD ha raggiunto le migliori prestazioni complessive su tutti i modelli e dataset.
  • Ha superato significativamente i metodi non supervisionati all'avanguardia (ad esempio, Perplexity, Entropia Semantica) e i baseline supervisionati (ad esempio, LookBackLens, SATRMD, Sheeps).
  • Sul dataset TruthfulQA, TAD ha migliorato il Prediction Rejection Ratio (PRR) di 0,045 rispetto al secondo miglior baseline.
  • Su MedQUAD, ha superato il secondo classificato di 0,077 PRR.
• Studi di Ablazione:
  • Caratteristiche: La rimozione dei pesi di attenzione o delle caratteristiche ricorrenti ha degradato significativamente le prestazioni, confermando che entrambe sono critiche.
  • Addestramento: La procedura di addestramento in due fasi è stata dimostrata essenziale; un approccio a fase singola non è riuscito a catturare le dipendenze necessarie.
  • Livelli: I pesi di attenzione dai livelli intermedi sono risultati essere i più informativi, sebbene anche il primo e l'ultimo livello abbiano contribuito.
• Generalizzazione: TAD ha mostrato una promettente generalizzazione fuori dominio (OOD). Mentre la maggior parte dei metodi supervisionati falliva quando addestrati su QA e testati su riassunto/traduzione, TAD ha mantenuto prestazioni robuste, superando i baseline su domini QA non visti.
• Efficienza: TAD ha introdotto solo un 5% di sovraccarico di runtime, mentre i metodi basati sul campionamento (come l'Entropia Semantica) hanno comportato un sovraccarico del 400–600%.

5. Significato e Conclusione

Questo paper affronta un punto cieco critico nella sicurezza degli LLM: l'incapacità delle metriche di incertezza standard di rilevare errori a cascata causati da allucinazioni iniziali.

• Impatto Pratico: TAD offre una soluzione efficiente dal punto di vista computazionale e plug-and-play per la generazione selettiva (rifiuto di output di bassa qualità). Consente un deployment più sicuro degli LLM in applicazioni ad alto rischio senza il costo proibitivo della verifica basata sul campionamento.
• Insight Teorico: Il lavoro convalida che le mappe di attenzione contengono informazioni ricche sulle dipendenze condizionali dei passaggi di generazione e che queste dipendenze possono essere apprese per stimare la "veridicità" incondizionata.
• Direzioni Future: Gli autori suggeriscono di estendere TAD alla Generazione Aumentata dal Recupero (RAG) per valutare l'affidabilità delle prove recuperate, migliorando ulteriormente l'affidabilità delle applicazioni LLM intensive di conoscenza.

In sintesi, TAD rappresenta un passo significativo avanti nel rendere gli LLM più affidabili passando da controlli statici di probabilità a livello di token a una stima dinamica e consapevole del contesto dell'incertezza che comprende la "catena di pensiero" e il suo potenziale di propagazione degli errori.