Riepilogo Tecnico: LLM come Imputatori Impliciti

Enunciato del Problema

I Large Language Models (LLM) sono sempre più impiegati in scenari in cui il contesto di input è incompleto, troncato o degradato (ad esempio, recupero parziale nei sistemi RAG). Nonostante operino sotto tali deficit informativi, gli LLM generano tipicamente risposte singole con un'alta apparente certezza. Ciò solleva una domanda critica: le stime di incertezza degli LLM riflettono adeguatamente la quantità di informazioni mancanti?

Le valutazioni attuali si concentrano spesso sulla calibrazione statica (corrispondenza tra confidenza e accuratezza sotto input fissi). Tuttavia, manca una comprensione di whether le stime di incertezza scalano dinamicamente man mano che gli input diventano meno informativi. L'articolo sostiene che un sistema predittivo adeguato dovrebbe esibire un'incertezza che aumenta all'aumentare della frazione di informazioni mancanti, un principio fondato sull'apprendimento profondo bayesiano e sulla teoria dei dati mancanti.

Metodologia

Quadro Teorico: Imputazione Multipla Implicita

Gli autori operazionalizzano la valutazione dell'incertezza degli LLM traendo un'analogia con l'Imputazione Multipla (MI) [Rubin, 1987]. Nella MI, l'incertezza deriva da variabili non osservate ed è quantificata dalla variabilità tra più dataset completati.

• Analogia: Il campionamento ripetuto da un LLM in contesto incompleto è visto come la generazione di "completamenti impliciti" delle informazioni mancanti.
• Criterio: Un imputatore adeguato (e quindi un LLM adeguato) deve esibire un'incertezza che scala con la quantità di informazioni mancanti. Se il contesto viene rimosso, la variabilità (incertezza) delle risposte generate dovrebbe aumentare.

Impostazione Sperimentale

• Dataset: SQuAD (Comprensione della lettura), utilizzando span di risposte brevi estratti da paragrafi di contesto.
• Condizioni di Evidenza: Un framework controllato in cui la disponibilità del contesto è variata tramite un parametro $\alpha \in [0, 1]$. Il contesto $C(\alpha)$ è costruito mantenendo i primi $100 \cdot \alpha$ percento dei caratteri del contesto originale.
  • $\alpha = 1$: Contesto completo.
  • $\alpha = 0$: Nessun contesto.
• Campionamento: Utilizzando gpt-4o-mini con temperatura $T=0.7$, vengono generate $m=10$ risposte stocastiche per input $(q, C)$. Per minimizzare la correlazione, ogni campione è ottenuto tramite una chiamata API separata.
• Normalizzazione: Le risposte sono normalizzate per gestire lievi variazioni lessicali (ad esempio, omissione di articoli) ma non generalizzazioni semantiche.

Misure di Incertezza

Due misure black-box sono stimate dalla distribuzione empirica di $m$ risposte campionate:

1. Confidenza basata sul Campionamento ($c$): La frequenza empirica della risposta più frequente ($c = \max_k p_k$). Questa misura la concentrazione modale.
2. Entropia della Risposta ($H$): Entropia di Shannon della distribuzione normalizzata delle risposte ($H = -\sum p_k \log p_k$). Questa misura la dispersione tra risposte concorrenti.
3. Rapporto di Risoluzione ($\rho_R(\alpha)$): Una metrica diagnostica che stima la proporzione di incertezza di base risolta dal livello di contesto $\alpha$.
   $$\rho_R(\alpha) = \frac{[H_0 - H(\alpha)]_+}{H_0}$$
   Dove $H_0$ è l'entropia in assenza di contesto. $\rho_R = 0$ implica che il contesto non fornisce alcuna riduzione dell'incertezza; $\rho_R = 1$ implica che l'incertezza è completamente risolta.

Indice di Dipendenza Informativa (IDI)

Definito come $\Delta = Acc_1 - Acc_0$, questa metrica quantifica l'estensione in cui l'accuratezza predittiva dipende dalla presenza del contesto.

Contributi Chiave

1. Framework di Valutazione: Un framework principiato per valutare l'incertezza degli LLM sotto osservabilità parziale, fondato sul requisito che l'incertezza debba aumentare all'aumentare della diminuzione delle informazioni.
2. Analogia MI: Collegamento esplicito del campionamento ripetuto degli LLM all'Imputazione Multipla, motivando l'entropia come proxy black-box per l'incertezza predittiva indotta da informazioni mancanti.
3. Strumento Diagnostico: Introduzione del Rapporto di Risoluzione $\rho_R(\alpha)$, un euristico che misura la frazione di incertezza di base risolta dal contesto, stimabile esclusivamente dal campionamento black-box.
4. Validazione Empirica: Evidenza quantitativa che dimostra che l'entropia traccia l'incertezza delle informazioni mancanti più fedelmente della confidenza, con un vantaggio significativo nella varianza spiegata (gap quadratico $R^2$ fino a 0.057).

Risultati

Tassonomia del Comportamento del Modello

L'analisi di 400 contesti ha rivelato tre regimi distinti sotto rimozione del contesto:

1. Memorizzato: Alta accuratezza con e senza contesto; entropia vicina allo zero ($H_0 \approx 0$). Il modello si basa su conoscenza parametrica.
2. Pregiudicato: Alta accuratezza con contesto, ma alta accuratezza con risposte errate senza contesto; entropia vicina allo zero ($H_0 \approx 0$). Il modello è deterministicamente sbagliato quando manca il contesto.
3. Incerto: Alta accuratezza con contesto, ma bassa accuratezza e alta entropia senza contesto. Questo regime riflette una genuina incertezza indotta da informazioni mancanti.

• Distribuzione: Il regime "Incerto" è stato il più grande (43.8%), indicando che la maggior parte delle domande richiede contesto e ammette risposte diverse quando questo manca.

Performance delle Misure di Incertezza

• Entropia vs. Confidenza: Man mano che il contesto viene rimosso ($\alpha$ diminuisce), l'accuratezza diminuisce monotonicamente.
  • Entropia ($H$): Aumenta monotonicamente man mano che il contesto viene rimosso, tracciando da vicino la perdita di accuratezza.
  • Confidenza ($c$): Diminuisce molto più lentamente e rimane alta anche quando crolla l'accuratezza. Nel sottoinsieme sensibile al contesto, l'accuratezza è scesa a 0.05 mentre la confidenza è rimasta a 0.52.
• Potere Predittivo: L'analisi di regressione ha mostrato che l'entropia spiega costantemente più varianza nell'accuratezza rispetto alla confidenza a tutti i livelli di evidenza.
  • A $\alpha = 0.5$ (Campionamento completo), l'entropia ha spiegato il 24.3% della varianza contro il 18.6% per la confidenza ($\Delta R^2 = 0.057$).
  • L'entropia ha spiegato circa il 31% in più di varianza rispetto alla confidenza a questo livello.
• Calibrazione: Il grafico di calibrazione (Accuratezza vs. Confidenza) ha rivelato una sostanziale sovrastima della certezza che peggiorava man mano che il contesto veniva rimosso. L'entropia, al contrario, si è comportata in modo coerente con il criterio MI.

Rapporto di Risoluzione

Il Rapporto di Risoluzione $\rho_R(\alpha)$ ha mostrato che il contesto completo risolve circa l'80% dell'incertezza di base nel campione completo. Nel sottoinsieme sensibile al contesto, $\rho_R(\alpha)$ ha previsto l'accuratezza in modo monotono, mentre la confidenza ha esibito pattern non monotoni guidati dal regime "pregiudicato".

Significato e Affermazioni

L'articolo afferma che l'entropia della risposta è una misura di incertezza black-box più reattiva della confidenza basata sul campionamento in contesti incompleti.

• Allineamento Teorico: L'entropia si comporta in accordo con il requisito bayesiano che l'incertezza debba scalare con le informazioni mancanti. La confidenza fallisce sistematicamente questo requisito, spesso rimanendo alta anche quando la distribuzione sottostante è diffusa (una condizione in cui un imputatore adeguato dovrebbe segnalare alta incertezza).
• Utilità Pratica: Le metriche proposte (Entropia e $\rho_R$) non richiedono accesso agli interni del modello (pesi, logit) o classificatori di implicazione. Sono applicabili a qualsiasi LLM accessibile tramite API.
• Implicazioni per la Progettazione degli LLM: Gli autori suggeriscono che la "sovrastima della certezza" osservata nel regime pregiudicato possa derivare dall'operazione softmax, che concentra la massa di probabilità sulla risposta modale. Propongono che il Predictive Mean Matching (PMM) – campionamento da un pool implicito di donatori invece di passare attraverso softmax – potrebbe produrre un'incertezza meglio calibrata, allineando il comportamento degli LLM con la teoria dell'imputazione adeguata.

L'articolo conclude che l'importazione dei criteri di Imputazione Multipla nell'ambito degli LLM fornisce uno standard ispirato alla teoria per valutare l'incertezza, indipendente da compiti o modelli specifici, e apre un canale tra la letteratura statistica sui dati mancanti e la ricerca sull'incertezza degli LLM.