GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models

1. Il Problema

La valutazione dell'affidabilità dei Large Language Models (LLM) è cruciale per il loro utilizzo in settori ad alto rischio come sanità, finanza e diritto. Le attuali tecniche di elicitazione della confidenza (la capacità del modello di quantificare quanto sia sicuro di una risposta) presentano due limiti principali:

• Metodi post-generazione: Richiedono una fase di valutazione separata dopo la generazione del testo (usando modelli ausiliari o prompt aggiuntivi), il che aumenta notevolmente la latenza e il costo computazionale.
• Confidenza verbalizzata: I modelli che esprimono la confidenza tramite parole (es. "probabilmente", "sicuro") o numeri testuali tendono a essere mal calibrati (spesso sovrastimano la propria sicurezza) e le espressioni linguistiche sono vaghe e difficili da quantificare.

L'obiettivo è sviluppare un metodo che generi confidenza in tempo reale (durante la generazione), sia ben calibrato (la confidenza corrisponda alla reale accuratezza) e abbia un costo computazionale trascurabile.

2. Metodologia: GrACE

Gli autori propongono GrACE (Generative Approach to Confidence Elicitation), un framework che integra l'estrazione della confidenza direttamente nel processo di generazione del modello.

Meccanismo di Elicitazione

• Token Speciale <CNF>: Viene aggiunto un nuovo token speciale <CNF> al vocabolario del modello.
• Generazione In-Context: Il modello viene addestrato a generare questo token alla fine della sua risposta.
• Calcolo della Confidenza: Invece di generare un numero testuale, la confidenza è calcolata in tempo reale come la somiglianza (similarity) tra l'ultimo stato nascosto del modello ($z_L$) e l'embedding del token <CNF> ($e_{<CNF>}$).
  • Formula: $c = \text{sim}(z_L, e_{<CNF>})$.
  • Questo sfrutta la capacità intrinseca del modello di proiettare gli stati nascosti sullo spazio del vocabolario, permettendo un calcolo continuo e fluido senza passaggi aggiuntivi.

Addestramento e Calibrazione

Per garantire che il modello impari a esprimere una confidenza accurata, gli autori utilizzano una strategia di calibrazione sofisticata:

1. Target di Calibrazione: Invece di usare etichette binarie (corretto/sbagliato), il dataset di addestramento viene raggruppato in "bin" (fascie) basati su un punteggio di confidenza grezzo ottenuto tramite un probe lineare.
2. Obiettivo Empirico: Per ogni gruppo (bin), viene calcolata l'accuratezza empirica. Questa accuratezza diventa il target numerico ($t_i$) che il modello deve predire per quel gruppo.
3. Funzione di Perdita: Il modello viene fine-tunato (usando LoRA per efficienza) minimizzando l'errore quadratico medio (MSE) tra la confidenza generata e il target calibrato, mantenendo al contempo una perdita di addestramento supervisionato (SFT) per non degradare le prestazioni generali di generazione.

Applicazione al Test-Time Scaling (TTS)

GrACE viene integrato in due strategie di scaling durante l'inferenza:

• GrACE-SC (Self-Consistency): Invece di un semplice voto a maggioranza, le risposte vengono pesate in base al loro punteggio di confidenza calibrato.
• GrACE-ES (Early Stopping): Il processo di campionamento si interrompe non appena viene generata una risposta con una confidenza superiore a una soglia $\tau$, riducendo drasticamente il numero di campioni necessari senza sacrificare l'accuratezza.

3. Contributi Chiave

• Meccanismo Generativo Scalabile: Un approccio che elimina la necessità di modelli ausiliari o fasi di valutazione post-generazione, fornendo confidenza "on-the-fly".
• Calibrazione Superiore: L'uso di target basati sull'accuratezza empirica dei gruppi permette al modello di apprendere la vera distribuzione della correttezza delle predizioni.
• Efficienza nel TTS: Dimostrazione che l'uso di confidenze ben calibrate migliora sia l'efficacia (accuratezza finale) che l'efficienza (riduzione del numero di campioni) nelle tecniche di Test-Time Scaling.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset open-ended (TriviaQA, SciQ) e task di ragionamento (MathQA, ARC-Challenge) con diversi modelli (Phi-3, Llama-2, Llama-3).

• Calibrazione e Discriminazione: GrACE supera lo stato dell'arte (es. Apricot, P(True), Verbal) in tutte le metriche chiave:
  • ECE (Expected Calibration Error): Ridotto significativamente (es. 5.94% su Llama-3.1 vs 9.80% di Apricot).
  • Brier Score: Migliore allineamento tra confidenza e accuratezza.
  • AUROC: GrACE ottiene i punteggi più alti, indicando che la confidenza è un ottimo indicatore della fattualità della risposta.
• Generalizzazione: GrACE mostra una forte capacità di generalizzazione su domini non visti (Out-of-Domain), mantenendo prestazioni stabili dove altri metodi (come Apricot) crollano drasticamente.
• Test-Time Scaling:
  • Accuratezza: L'uso di GrACE-SC migliora l'accuratezza rispetto alla Self-Consistency classica (es. +2.6% su MathQA).
  • Efficienza: GrACE-ES riduce il numero medio di campioni necessari per ottenere una risposta affidabile. Su ARC-Challenge, l'80% delle query si ferma al primo campione, riducendo i costi computazionali senza perdere accuratezza.

5. Significato e Impatto

Il lavoro di GrACE rappresenta un passo avanti significativo per l'implementazione pratica e sicura degli LLM.

• Sicurezza Operativa: Fornisce un meccanismo affidabile per "sapere cosa il modello sa", fondamentale per applicazioni critiche dove un errore può avere conseguenze gravi.
• Efficienza Economica: Riducendo la necessità di modelli ausiliari e di campionamenti eccessivi, rende l'uso di LLM in produzione più economico e veloce.
• Paradigma di Calibrazione: Sposta il focus dalla calibrazione post-hoc o verbale a una calibrazione intrinseca e continua, allineando meglio il comportamento del modello con la realtà statistica delle sue predizioni.

In sintesi, GrACE offre una soluzione pratica, scalabile e ad alte prestazioni per integrare la stima della confidenza direttamente nei LLM, abilitando un uso più sicuro ed efficiente in scenari reali.