Riepilogo Tecnico: Calibrazione Linguistica Aumentata con Recupero (RALC)

Enunciato del Problema

Una stima affidabile della confidenza è fondamentale per il deployment affidabile dei Modelli Linguistici di Grandi Dimensioni (LLM) nel processo decisionale umano. Sebbene i metodi esistenti rappresentino la confidenza come valori di probabilità scalari (ad esempio, probabilità a livello di token o punteggi verbalizzati), gli esseri umani faticano a ragionare accuratamente con probabilità numeriche. Di conseguenza, i marcatori linguistici (ad esempio, "probabile", "potrebbe") sono preferiti come interfacce naturali. Tuttavia, trattare questi marcatori come scalari scarta la soggettività intrinseca dell'interpretazione linguistica: diversi lettori mappano la stessa espressione su diversi valori di probabilità percepiti. Inoltre, gli indizi linguistici co-occorrenti e le variazioni contestuali pongono sfide uniche che le rappresentazioni scalari non riescono a catturare. I metodi di calibrazione post-hoc attuali operano interamente nello spazio numerico, privi di meccanismi per propagare segnali calibrati indietro nel linguaggio naturale, mentre le strategie linguistiche esistenti spesso funzionano come procedure a scatola nera senza un controllo principiale.

Metodologia

1. Modellazione Distribuzionale della Confidenza Linguistica

Gli autori modellano la confidenza linguistica non come un singolo scalare, ma come una distribuzione sui valori di probabilità percepiti plausibili che un'affermazione sia corretta.

• Formalismo: La confidenza è rappresentata come una distribuzione Beta, $S = \text{Beta}(\alpha, \beta)$.
  • La media $\mu = \alpha/(\alpha+\beta)$ cattura la tendenza centrale della confidenza percepita tra i lettori.
  • La concentrazione $\kappa = \alpha + \beta$ codifica la forza dell'accordo (varianza) tra i lettori.
• Stima: Un stimatore di confidenza $g$ mappa una risposta $R$ su una distribuzione Beta. Questo è parametrizzato adattando una distribuzione Beta ai punteggi generati da un ensemble di LLM che agiscono come surrogato di un pubblico umano, catturando l'interazione di molteplici indizi linguistici e del contesto.

2. Divergenza di Fedeltà (FD)

Per valutare la confidenza oltre la calibrazione a livello di popolazione (Errore di Calibrazione Atteso, ECE), il paper introduce la Fedeltà come una dimensione a livello di istanza.

• Definizione: La fedeltà misura la "sorpresa" indotta nelle credenze del pubblico al momento della rivelazione della verità fondamentale.
• Metrica: La Divergenza di Fedeltà (FD) è definita come un costo di aggiornamento bayesiano ponderato per la concentrazione:
  $$FD_i := (\alpha_i + \beta_i) \cdot \text{KL}(S^*_i \parallel S_i)$$
  dove $S_i$ è la distribuzione a priori e $S^*_i$ è la distribuzione a posteriori aggiornata con l'etichetta di verità fondamentale $y_i$.
• Razionale: FD quantifica la sorpresa informazionale, pesando la divergenza KL per la concentrazione (dimensione effettiva del campione). Una credenza disallineata ad alta concentrazione comporta una penalità (sorpresa) più elevata rispetto a un disallineamento a bassa concentrazione, riflettendo l'intuizione che credenze errate fortemente sostenute sono più sorprendenti.

3. Calibrazione Linguistica Aumentata con Recupero (RALC)

RALC è una pipeline leggera, post-hoc, che trasforma le risposte grezze degli LLM in output calibrati e fedeli direttamente nello spazio linguistico. La pipeline consta di tre fasi:

1. Calibrazione nello Spazio dei Segnali: La media della distribuzione di confidenza stimata viene calibrata utilizzando il Platt scaling (regressione logistica) rispetto alle etichette di correttezza binarie. Il parametro di concentrazione viene preservato, in quanto rappresenta la forza dell'accordo piuttosto che un obiettivo per la calibrazione.
2. Costruzione del Lessico: Un lessico pre-costruito mappa le espressioni di attenuazione (ad esempio, "tendono a", "certamente") alle loro corrispondenti distribuzioni Beta di confidenza percepita. Queste distribuzioni sono derivate facendo valutare a un ensemble di LLM affermazioni non verificabili riscritte contenenti specifici indizi di attenuazione.
3. Riscrittura Aumentata con Recupero: La distribuzione calibrata funge da segnale di recupero. Il sistema esegue una ricerca in due stadi dei K-Nearest Neighbors (KNN):
   • Preselezione: Basata sulla distanza assoluta tra la media calibrata e le medie delle voci del lessico.
   • Classifica: Basata sulla distanza 1-Wasserstein per abbinare sia la tendenza centrale sia la dispersione (concentrazione) della distribuzione.
   • Riscrittura: Le espressioni di attenuazione recuperate (top-$k$) vengono passate a un editor LLM insieme alla risposta originale per riscrivere il testo, assicurando che la nuova confidenza percepita della risposta sia allineata al segnale calibrato.

La pipeline è compatibile con segnali a monte diversi, inclusi confidenza linguistica, probabilità di token e incertezza semantica (derivata dal campionamento di auto-consistenza).

Contributi Chiave

1. Quadro Distribuzionale: Formalizzare la confidenza linguistica come una distribuzione Beta per catturare l'interazione degli indizi e la variabilità dell'interpretazione del lettore, andando oltre la mappatura discreta e la quantificazione scalare.
2. Metrica di Fedeltà: Introdurre la Divergenza di Fedeltà (FD) come una nuova dimensione di valutazione a livello di istanza che quantifica la sorpresa informazionale delle credenze di confidenza al momento della rivelazione della verità, affrontando i limiti delle metriche scalari come il punteggio Brier e la NLL in contesti distribuzionali.
3. Pipeline RALC: Proporre un framework generalizzabile, post-hoc, che calibra la confidenza nello spazio linguistico tramite riscrittura aumentata con recupero, compatibile con vari segnali di stima della confidenza.

Risultati Sperimentali

Il framework è stato valutato su cinque famiglie di LLM (GPT-OSS-20B, Llama-3.1-8B, Qwen3-8B, Mistral-7B, Gemma-4-31B) e tre benchmark (MMLU, SQuAD 2.0, TruthfulQA).

• Miglioramenti delle Prestazioni: RALC ha migliorato la fedeltà nel dominio fino al 66% e la calibrazione (ECE generalizzato) fino al 58% rispetto alle linee di base pre-calibrazione.
• Confronto: RALC ha superato sia le linee di base a scatola nera (Hedged QA, che richiede attenuazione senza segnali calibrati) sia le linee di base a scatola grigia (Direct Beta-Guided Rewrite, che manca di recupero strutturato del lessico).
• Robustezza del Segnale: L'incertezza semantica è emersa come il segnale di confidenza più robusto, producendo i miglioramenti più forti sia nella calibrazione sia nella fedeltà in tutti i domini.
• Trasferimento Cross-Dominio: La pipeline ha dimostrato una forte trasferibilità; in alcuni casi, i calibratori cross-domain hanno superato quelli nel dominio quando il dominio target presentava un bias di miscalibrazione debole, permettendo a una sorgente con bias più forte di apprendere una correzione più decisiva.
• Validazione della Metrica: Gli esperimenti hanno confermato che FD classifica correttamente i livelli di sorpresa coerenti con i profili distribuzionali (penalizzando i disallineamenti ad alta concentrazione), mentre la divergenza KL, il punteggio Brier e la NLL non sono riusciti a recuperare questo ordinamento.

Significato

Il paper sostiene che la confidenza linguistica è intrinsecamente distribuzionale a causa della soggettività dell'interpretazione. Modellando questa distribuzione e introducendo la Fedeltà come dimensione di valutazione complementare, il lavoro fornisce un modo principiale per valutare quanto bene la confidenza espressa da un modello si allinei con la realtà a livello di istanza. La pipeline RALC dimostra che i segnali di confidenza calibrati possono essere efficacemente propagati indietro nel linguaggio naturale attraverso la riscrittura aumentata con recupero, offrendo una soluzione scalabile, post-hoc, che migliora l'affidabilità degli LLM senza richiedere l'accesso agli interni del modello o il riaddestramento. I risultati suggeriscono che il recupero strutturato del lessico è superiore alla generazione non vincolata per allineare l'output linguistico con la confidenza calibrata.