Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

Sintesi Tecnica: Quantificazione dell'Incertezza per i Modelli Linguistici

Problematica
I Large Language Models (LLM) sono sempre più impiegati in domini ad alto rischio come la sanità e la finanza, dove l'accuratezza fattuale è critica. Un rischio primario in queste applicazioni è l'allucinazione, definita qui come la generazione di contenuti che sembrano plausibili ma che sono fattualmente errati. Sebbene le valutazioni pre-deployment, che confrontano il testo generato con la verità di base (ground truth), siano comuni, esse non supportano il monitoraggio in tempo reale dei sistemi distribuiti. Inoltre, molti metodi di rilevamento esistenti si basano sull'accesso al contenuto sorgente o a database di verità di base, che non sono disponibili in contesti "closed-book" (a libro chiuso). Il documento affronta la necessità di un framework versatile e closed-book in grado di calcolare punteggi di confidenza a livello di risposta al momento della generazione, per rilevare le allucinazioni senza accesso a risposte di riferimento o database esterni.

Metodologia
Gli autori propongono un framework unificato che adatta le tecniche esistenti di Quantificazione dell'Incertezza (UQ) in punteggi di confidenza standardizzati compresi tra 0 e 1 (dove 1 indica un'alta confidenza). Il framework categorizza i valutatori (scorers) in tre tipologie distinte e introduce un approccio ensemble sintonizzabile:

1. Scorer UQ Black-Box: Questi metodi sfruttano la natura stocastica degli LLM generando molteplici risposte candidate ($m$) dallo stesso prompt e confrontandole con la risposta originale. Il documento implementa e normalizza diversi approcci:

   • Exact Match Rate (EMR): Misura la proporzione di candidati identici alla risposta originale.
   • Non-Contradiction Probability (NCP): Utilizza un modello di Natural Language Inference (NLI) per calcolare la probabilità che i candidati non contraddicano la risposta originale.
   • BERTScore (BSC): Calcola il punteggio F1 medio basato su embedding di parole contestualizzate tra la risposta originale e quella candidata.
   • Normalized Cosine Similarity (NCS): Misura la similarità semantica utilizzando sentence transformer, normalizzata nell'intervallo [0, 1].
   • Normalized Semantic Negentropy (NSN): Una versione normalizzata della Semantic Entropy che raggruppa le risposte per implicazione reciproca per misurare la volatilità della risposta.

2. Scorer UQ White-Box: Questi sfruttano le probabilità interne dei token durante il processo di generazione dell'LLM:

   • Length-Normalized Token Probability (LNTP): La media geometrica delle probabilità dei token, normalizzata per la lunghezza della risposta.
   • Minimum Token Probability (MTP): La probabilità più bassa tra tutti i token nella risposta generata.

3. Scorer LLM-as-a-Judge: Un LLM separato viene istruito per valutare la correttezza fattuale di una coppia domanda-risposta, restituendo un punteggio su una scala da 0 a 100 che viene poi normalizzato a [0, 1].

4. Approccio Ensemble Sintonizzabile: Il contributo principale è una media ponderata dei singoli scorer descritti sopra. I pesi ($w$) sono ottimizzati utilizzando un set fornito dall'utente di risposte di LLM graduate (dove le etichette di verità di base sono note) e una funzione obiettivo di classificazione (ad esempio, AUROC o F1-score). Ciò consente all'ensemble di essere personalizzato per specifici casi d'uso, LLM e dataset.

Contributi Chiave

• Framework Standardizzato: Il documento delinea un metodo per trasformare diverse tecniche di UQ in una metrica di confidenza coerente a livello di risposta, adatta al rilevamento delle allucinazioni in tempo reale e in modalità closed-book.
• Toolkit Open-Source: Gli autori rilasciano uqlm, un pacchetto Python che fornisce implementazioni pronte all'uso di tutti gli scorer proposti e il meccanismo di sintonizzazione dell'ensemble.
• Estensibilità: Il design dell'ensemble è modulare, consentendo ai professionisti di incorporare nuovi metodi di scoring man mano che la ricerca evolve.
• Approfondimenti Empirici: Lo studio fornisce una guida basata sui dati per la selezione dello scorer, come i rendimenti decrescenti del campionamento di ulteriori risposte candidate e la correlazione tra l'accuratezza di generazione di un modello e la sua efficacia come giudice.

Risultati Sperimentali
Gli autori hanno valutato il framework attraverso sei benchmark (GSM8K, SVAMP, CSQA, AI2-ARC, PopQA, NQ-Open) utilizzando quattro LLM (GPT-4o, GPT-4o-mini, Gemini-2.5-Flash, Gemini-2.5-Flash-Lite).

• Performance dell'Ensemble: L'ensemble sintonizzabile ha superato costantemente i singoli componenti in 20 scenari su 24 (LLM-dataset) per l'AUROC e in 17 su 24 per il punteggio F1.
• Variabilità degli Scorer: Le performance dei singoli scorer variavano significativamente in base al dataset. Gli scorer black-box basati su NLI (NSN e NCP) hanno generalmente superato altri metodi black-box.
• Selezione del Giudice: L'accuratezza di un modello su un determinato dataset correla positivamente con la sua performance come giudice per lo stesso dataset. Ad esempio, Gemini-2.5-Flash eccelle come giudice nei benchmark matematici, mentre GPT-4o ottiene le migliori prestazioni nei benchmark a risposta breve.
• White-Box vs. Black-Box: Gli scorer white-box (LNTP, MTP) hanno ottenuto prestazioni circa uguali tra loro, ma sono stati generalmente inferiori rispetto ai migliori metodi black-box o all'ensemble in molti scenari, specialmente quando le probabilità dei token non erano il segnale primario di incertezza.
• Efficacia del Filtraggio: L'applicazione di soglie di confidenza per filtrare le risposte a bassa confidenza ha portato a un aumento monotono dell'accuratezza del modello. Ad esempio, il filtraggio delle risposte di GPT-4o su GSM8K con lo scorer dell'ensemble ha aumentato l'accuratezza da una baseline di 0.55 a 0.93 con una soglia di 0.6.

Significatività e Rivendicazioni
Il documento sostiene che le strategie di rilevamento delle allucinazioni personalizzate, specificamente attraverso ensemble sintonizzabili, offrono una soluzione pratica ed efficace per migliorare l'affidabilità degli LLM in produzione. Gli autori sottolineano che non esiste una soluzione "one-size-fits-all"; piuttosto, l'approccio ottimale dipende dallo specifico LLM, dal dataset e dai vincoli operativi (ad esempio, latenza, accesso API alle probabilità dei token).

Gli autori mantengono una posizione modesta riguardo ai limiti, osservando che le loro scoperte potrebbero non generalizzarsi alla generazione di testi lunghi o alla generazione di codice senza modifiche. Avvertono inoltre che i punteggi di confidenza riflettono l'incertezza del modello piuttosto che la correttezza della verità di base, sconsigliando il loro uso come garanzie assolute di decisione in domini ad alto rischio senza revisione umana. Il lavoro funge da toolkit pratico per i professionisti che desiderano implementare un rilevamento delle allucinazioni in tempo reale e agnostico rispetto al modello.