An Isotropic Approach to Efficient Uncertainty Quantification with Gradient Norms

1. Il Problema

Con l'implementazione crescente dei Large Language Models (LLM) in applicazioni critiche (diagnosi medica, analisi legale, consulenza finanziaria), diventa fondamentale poter quantificare l'incertezza predittiva. Tuttavia, i metodi esistenti presentano due limiti principali:

1. Intrattabilità computazionale: Metodi bayesiani rigorosi come gli ensemble profondi o le approssimazioni di Monte Carlo sono troppo costosi per i modelli moderni.
2. Dipendenza dai dati di addestramento: Metodi come l'approssimazione di Laplace richiedono l'accesso ai dati di addestramento per calcolare la matrice Hessiana o la covarianza dei parametri, dati che sono tipicamente non disponibili per gli LLM pre-addestrati.

Inoltre, è cruciale distinguere tra due tipi di incertezza:

• Incertezza Aleatoria (Aleatoric): Rumore intrinseco nei dati (es. domande ambigue con più risposte valide).
• Incertezza Epistemica (Epistemic): Mancanza di conoscenza del modello dovuta a dati di addestramento insufficienti (es. domande su fatti sconosciuti al modello).

2. Metodologia

Gli autori propongono un approccio leggero per decomporre l'incertezza in una singola passata forward-backward su un modello pre-addestrato non modificato, senza bisogno di ensemble o campionamento. La metodologia si basa su due approssimazioni chiave:

A. Espansione di Taylor del Primo Ordine (Metodo Delta)

L'incertezza epistemica è derivata espandendo la distribuzione predittiva $p(y|x, \theta)$ attorno alla stima puntuale dei parametri $\theta^*$ (ottenuta tramite addestramento standard).
L'incertezza epistemica è definita come la varianza della predizione rispetto ai parametri:
$$\text{Var}_\theta[p(y_c | x, \theta)] \approx g^\top \text{Cov}[\theta] g$$
Dove $g = \nabla_\theta p(y_c | x, \theta^*)$ è il gradiente della predizione rispetto ai parametri.

B. Assunzione di Isotropia della Covarianza

Il termine $\text{Cov}[\theta]$ (matrice di covarianza dei parametri) è tipicamente impossibile da calcolare senza i dati di addestramento. Gli autori assumono che la covarianza sia isotropa, ovvero $\text{Cov}[\theta] \approx \sigma^2 I$ (dove $I$ è la matrice identità).
Sotto questa assunzione, l'incertezza epistemica si riduce alla norma quadrata del gradiente:
$$\text{Epistemic Uncertainty} \approx \|g\|^2$$

Giustificazione dell'assunzione di isotropia:

1. Bias Strutturato: Stimare la covarianza usando dati "proxy" (diversi da quelli di addestramento reali) introduce distorsioni strutturate e dipendenti dai dati, peggiori dell'errore uniforme introdotto dall'assunzione di isotropia.
2. Spettro dell'Hessiana: Teoremi sulla spettroscopia delle reti neurali profonde indicano che, su larga scala, la maggior parte degli autovalori dell'Hessiana è vicina a zero. L'aggiunta di un termine di regolarizzazione (damping) per stabilizzare l'inversione fa sì che l'inverso dell'Hessiana converga verso una matrice proporzionale all'identità.
3. Priori Isotropi: L'uso del weight decay durante l'addestramento equivale a un prior gaussiano isotropo, che domina la distribuzione a posteriori nelle direzioni non vincolate dai dati.

C. Stima dell'Incertezza Aleatoria

L'incertezza aleatoria viene stimata direttamente dalla varianza Bernoulli della predizione puntuale:
$$\text{Aleatoric Uncertainty} \approx p(y_c | x, \theta^*) (1 - p(y_c | x, \theta^*))$$
Per le sequenze (LLM generativi), queste stime vengono estese calcolando la media dei gradienti e delle varianze sui token della sequenza.

3. Contributi Chiave

1. Derivazione Sistematica: Forniscono la prima giustificazione sistematica dell'assunzione di isotropia attraverso l'analisi del bias dei proxy, la teoria spettrale e precedenti empirici.
2. Validazione MCMC: Validano gli estimatori confrontandoli con stime di riferimento ottenute tramite Markov Chain Monte Carlo (MCMC) su problemi sintetici, mostrando una forte corrispondenza (correlazione di Spearman da 0.44 a 0.99) che migliora all'aumentare delle dimensioni del modello.
3. Analisi di Utilità nei QA: Investigano quando l'incertezza aleatoria ed epistemica sono utili per prevedere la correttezza delle risposte in compiti di Question Answering (QA) con LLM.

4. Risultati Sperimentali

Validazione Sintetica

• Classificazione: L'approccio basato sulla norma del gradiente ($\|g\|^2$) traccia fedelmente le stime MCMC in problemi di classificazione binaria e multiclasse.
• Scalabilità: La correlazione tra la stima proposta e MCMC segue una traiettoria a "U" in funzione delle dimensioni del modello: è alta per modelli piccoli, scende a dimensioni intermedie (dove l'assunzione di isotropia è meno valida) e migliora significativamente per modelli molto grandi (fino a $10^6$ parametri), supportando la teoria che l'isotropia sia una buona approssimazione su larga scala.
• Regressione: In problemi di regressione non lineare, l'assunzione di isotropia fallisce (l'approssimazione di Laplace completa performa meglio), confermando che l'errore principale deriva dall'isotropia e non dall'espansione di Taylor.

Applicazione agli LLM (Question Answering)

Gli autori hanno testato il metodo su TriviaQA (ricordo fattuale) e TruthfulQA (mitigazione di allucinazioni e misconcezioni comuni):

• TruthfulQA: L'estimatore combinato (Epistemico + Aleatorio) ottiene l'AUROC più alta (0.63), superando significativamente i baselines come P(True) (auto-valutazione del modello) e l'entropia semantica. Questo suggerisce che l'incertezza epistemica è cruciale quando c'è un conflitto tra risposte plausibili e fatti veri.
• TriviaQA: L'incertezza epistemica scende quasi al livello del caso (AUROC ~0.52), mentre P(True) domina. Questo indica che per il semplice richiamo fattuale, l'incertezza a livello di parametri non è informativa quanto l'auto-valutazione del modello.
• Efficienza Computazionale: Il metodo proposto è 46-107 volte più veloce dei baselines, richiedendo una sola passata backward invece di multiple passate forward per il campionamento.
• Complementarità: L'incertezza epistemica basata sui gradienti e l'auto-valutazione (P(True)), pur essendo debolmente correlate, catturano segnali diversi e complementari.

5. Significato e Implicazioni

• Efficienza: Offre un metodo scalabile per la quantificazione dell'incertezza su LLM senza richiedere dati di addestramento o modifiche architetturali.
• Nuova Prospettiva sull'Allucinazione: I risultati suggeriscono che l'incertezza epistemica (basata sui parametri) potrebbe non essere lo strumento migliore per rilevare le allucinazioni in compiti di puro richiamo fattuale (dove il modello può essere "sicuro" ma sbagliato), ma è estremamente utile quando il compito implica conflitti concettuali o ambiguità strutturali.
• Limiti: L'approccio non generalizza bene tra architetture diverse (un classificatore addestrato su un modello non funziona bene su un altro) e l'assunzione di isotropia introduce errori in modelli di dimensioni intermedie o in contesti di regressione altamente anisotropi.

In sintesi, il paper dimostra che, per i grandi modelli, la semplice norma del gradiente è un proxy efficace e computazionalmente economico per l'incertezza epistemica, offrendo un segnale complementare e spesso superiore ai metodi di auto-valutazione in scenari complessi.