Riepilogo Tecnico: Punteggi di Confidenza Verbalizzati per i LLM

Enunciato del Problema

L'integrazione crescente dei Modelli Linguistici su Grande Scala (LLM) nella vita quotidiana ha creato un bisogno critico di meccanismi di affidabilità. A differenza dei motori di ricerca tradizionali o dei forum di domande e risposte che utilizzano il voto umano o il ranking di rilevanza per indicare l'affidabilità, le risposte degli LLM spesso mancano di indicatori intrinseci di fiducia. L'uso acritico di questi sistemi comporta rischi, rendendo necessarie robuste metodologie di Quantificazione dell'Incertezza (UQ).

Gli approcci UQ esistenti si basano tipicamente su:

1. Conoscenza Interna: Campionamento di più risposte per misurare la coerenza o utilizzo dei logit interni dei token. Questi metodi spesso falliscono nell'essere agnostici rispetto al modello (i logit sono inaccessibili nei modelli black-box) o comportano un elevato sovraccarico computazionale (campionamento).
2. Conoscenza Esterna: Utilizzo di modelli proxy o basi di conoscenza. Questi spesso mancano di generalizzazione attraverso diversi prompt e compiti.

Il documento indaga i punteggi di confidenza verbalizzati, un metodo in cui l'LLM è invitato a produrre esplicitamente un punteggio di confidenza insieme alla sua risposta. Sebbene questo approccio sia agnostico rispetto al prompt, agnostico rispetto al modello e comporti un basso sovraccarico, la sua affidabilità è contestata. Studi precedenti hanno riportato risultati contrastanti riguardo alla calibrazione di questi punteggi, suggerendo che il metodo di formulazione del prompt possa essere il fattore decisivo.

Metodologia

Gli autori conducono un'analisi empirica completa per determinare come le caratteristiche del dataset, la capacità del modello e l'ingegneria dei prompt influenzino l'affidabilità dei punteggi di confidenza verbalizzati.

Configurazione Sperimentale

• Dataset: 10 dataset diversificati (ad es. ARC, MMLU, TruthfulQA, CommonsenseQA) che coprono vari domini (scienza, logica, senso comune sociale) e livelli di difficoltà. La valutazione è limitata a domande a libro chiuso, a risposta chiusa e oggettive, per garantire che la correttezza della verità fondamentale possa essere determinata.
• Modelli: 11 LLM che vanno da piccoli modelli open-source (ad es. Gemma 2B, Llama 3 8B) a modelli di grandi dimensioni (ad es. Llama 3 70B, Qwen 110B, GPT-4o).
• Metodi di Prompt: 17 variazioni distinte di prompt categorizzate per:
  • Intervallo del Punteggio: Percentuali (0-100), decimali (0-1), lettere discrete (A-E) o etichette testuali.
  • Formulazione del Punteggio: Richiesta di "confidenza" rispetto a "probabilità di correttezza".
  • Descrizione Avanzata: Istruzione esplicita al modello di considerare l'incertezza del prompt, la difficoltà del compito e la disponibilità di conoscenze.
  • Prompting Few-Shot: Fornitura di 1 o 5 esempi di coppie risposta-confidenza.
  • Complessità: Variazioni che includono Chain-of-Thought (CoT) o la classificazione di più ipotesi.

Metriche di Valutazione

L'affidabilità dei punteggi è valutata utilizzando tre criteri di alto livello:

1. Calibrazione: Misurata dall'Errore di Calibrazione Atteso (ECE) e dallo SmoothECE (smECE). Un punteggio calibrato $C$ implica $P(\text{corretto} | C=c) = c$.
2. Informatività: Misurata dalla varianza e dal numero di valori distinti nei punteggi di confidenza previsti. Un modello che produce sempre lo stesso punteggio è poco informativo.
3. Significatività: Misurata dalla divergenza di Kullback-Leibler (KL) tra la distribuzione della confidenza di un dataset specifico e la distribuzione globale. Questo valuta se il modello adatta la sua confidenza in base alla difficoltà del compito.

Risultati Chiave

1. Dipendenza dalla Strategia di Prompting

Lo studio conferma che l'affidabilità dei punteggi di confidenza verbalizzati non è intrinseca al modello, ma dipende fortemente da come viene chiesto al modello.

• Risoluzione delle Disaggregazioni: Il documento risolve la letteratura contrastante (ad es. Tian et al. contro Xiong et al.) mostrando che diverse formulazioni di prompt producono risultati di calibrazione molto diversi.
• Piccoli vs Grandi Modelli:
  • Piccoli LLM: Beneficiano maggiormente di formulazioni di prompt semplici. Metodi complessi come il prompting few-shot o la classificazione di più ipotesi degradano significativamente l'affidabilità. La formulazione "punteggio di probabilità" (richiesta di una probabilità 0-1) ha fornito il miglior miglioramento.
  • Grandi LLM: Beneficiano di metodi di prompt complessi. La combinazione di formulazione probabilistica, descrizioni avanzate (menzionando esplicitamente le fonti di incertezza) ed esempi few-shot ha prodotto i migliori risultati.

2. Prestazioni di Calibrazione

• Sovrastima: La maggior parte dei modelli mostra sovrastima, con punteggi di confidenza che rimangono alti anche quando l'accuratezza diminuisce su dataset difficili.
• Capacità del Modello: Sebbene l'accuratezza aumenti con le dimensioni del modello, i miglioramenti nella calibrazione sono guidati principalmente dall'aumento dell'accuratezza piuttosto che da una riduzione della sovrastima.
• Migliori Prestazioni: Per i grandi LLM, il metodo "combo" (formulazione probabilistica + descrizione avanzata + esempi few-shot) ha raggiunto una deviazione media del 7% dall'accuratezza empirica (ECE $\approx$ 0.07), rappresentando un miglioramento qualitativo significativo nel comportamento di calibrazione.

3. Informatività e Significatività

• I prompt semplici spesso risultano in una bassa varianza (informatività), con i modelli che si raggruppano attorno a una confidenza elevata.
• I prompt complessi per i grandi modelli hanno incoraggiato con successo la generazione di punteggi di confidenza diversificati che riflettevano meglio la difficoltà del dataset sottostante (maggiore significatività).

Contributi Chiave

1. Decomposizione Intuitiva dell'Incertezza: Gli autori propongono una decomposizione dell'incertezza degli LLM in incertezza di Input, Modello e Output, concentrandosi specificamente sull'incertezza di output relativa alla correttezza oggettiva.
2. Specificazione Precisa dell'Affidabilità: Il documento definisce e valuta l'affidabilità attraverso una triade di metriche: Calibrazione, Informatività e Significatività, andando oltre i semplici controlli di accuratezza.
3. Insight Empirici: Lo studio fornisce un'analisi granulare di come la difficoltà del dataset, la capacità del modello e tecniche specifiche di ingegneria dei prompt interagiscano per determinare la qualità della confidenza verbalizzata.
4. Open Source: Il codice di valutazione e i template di prompt sono resi pubblicamente disponibili per facilitare ulteriori ricerche.

Significato e Affermazioni

Il documento sostiene che i punteggi di confidenza verbalizzati rappresentano un metodo promettente, semplice e versatile per la quantificazione dell'incertezza che soddisfa i requisiti di essere agnostico rispetto al prompt, agnostico rispetto al modello e a basso sovraccarico.

Tuttavia, gli autori mantengono una posizione modesta riguardo allo stato attuale della tecnologia:

• Non una Soluzione Magica: L'affidabilità di questi punteggi è attualmente "fortemente influenzata dal modo di chiedere". Non sono ancora pienamente affidabili per il dispiegamento nel mondo reale senza un'attenta ingegneria dei prompt.
• Potenziale Futuro: Gli autori suggeriscono che, sebbene gli LLM possano essere insegnati a esprimere punteggi di confidenza diversificati e significativi attraverso prompt semplici, raggiungere una piena calibrazione e autoconsapevolezza potrebbe richiedere ulteriori avanzamenti nell'ottimizzazione dei prompt, nell'ingegneria guidata dagli LLM o nel fine-tuning.
• Limitazione di Scopo: Il lavoro attuale è limitato alla correttezza oggettiva. Non affronta domande soggettive o compiti di generazione aperta in cui la "correttezza" è mal definita.

In conclusione, il documento stabilisce che la confidenza verbalizzata è un percorso praticabile verso l'affidabilità degli LLM, a condizione che la strategia di prompting sia attentamente adattata alla dimensione specifica del modello e alla complessità del compito.