Riepilogo Tecnico: Lettura dell'Incertezza Calibrata dalle Traiettorie dei Modelli Linguistici

1. Enunciato del Problema

Gli approcci attuali alla Quantificazione dell'Incertezza (UQ) per i Modelli Linguistici su larga scala (LLM) con output strutturato devono affrontare un compromesso tra efficienza computazionale e calibrazione. Il metodo predefinito, la Probabilità Massima Softmax (MSP), è computazionalmente gratuito ma spesso mal calibrato, assegnando un'alta confidenza a previsioni errate. Al contrario, i metodi esistenti che sondano le attivazioni interne trattano tipicamente gli stati nascosti come istantanee statiche (provenienti da un singolo strato o mediate), scartando la traiettoria strato per strato secondo cui una rappresentazione viene formata. Questa visione statica ignora come le evidenze si accumulino, si rafforzino o si invertano attraverso la profondità della rete, potenzialmente oscurando segnali di incertezza presenti nel percorso computazionale ma non nella distribuzione dell'output finale.

2. Metodologia

Gli autori propongono un metodo che tratta le attivazioni del modello non come stati statici, ma come traiettorie rappresentazionali. L'approccio comprende tre componenti principali:

2.1. Il Substrato: Vettori di Scrittura MLP

Invece di analizzare gli stati nascosti grezzi, il metodo si concentra sui vettori di scrittura MLP ($m_\ell$) contribuiti dal Perceptron Multistrato (MLP) di ciascun blocco transformer al flusso residuo. Lavori precedenti sull'interpretabilità meccanica suggeriscono che gli MLP sono siti critici per l'archiviazione della conoscenza fattuale.

• Il metodo cattura la sequenza di questi vettori nella posizione finale del prompt (posizione di lettura) durante una singola passata in avanti.
• Costruisce una traiettoria discreta nello spazio delle rappresentazioni calcolando la somma cumulativa di questi vettori: $s_\ell = \sum_{k \le \ell} m_k$.
• La traiettoria è definita dallo stato iniziale ($s_0 = 0$) fino al punto finale ($s_L$).

2.2. Estrazione di Caratteristiche Geometriche

La traiettoria è riassunta utilizzando undici caratteristiche geometriche invarianti di scala per strato, raggruppate in quattro categorie:

1. Distribuzione della Profondità: Misura come lo sforzo computazionale (magnitudine dell'aggiornamento) è distribuito tra gli strati (ad esempio, carico iniziale vs. carico finale).
2. Forma della Traiettoria Locale: Cattura la coerenza direzionale (coseno consecutivo), i cambiamenti bruschi (curvatura) e se gli aggiornamenti rafforzano o contraddicono lo stato precedente (allineamento aggiornamento-stato).
3. Relazione con il Punto Finale: Misura come gli strati si relazionano alla direzione finale, inclusa la convergenza (direzione verso il finale), l'allineamento degli aggiornamenti individuali (aggiornamento verso il finale) e l'identificazione degli strati che si oppongono attivamente al punto finale (supporto contraddittorio).
4. Efficienza: Misura il rapporto tra spostamento netto e lunghezza totale del percorso (coerenza cumulativa), indicando quanto direttamente la traiettoria raggiunge il suo punto finale.

2.3. Sonda Lineare Sparsa

Queste caratteristiche vengono inviate a una sonda lineare sparsa (regressione logistica sparsa) per prevedere la probabilità di errore.

• Input: Il vettore di 11 caratteristiche per strato ($\phi(x)$) e il punteggio MSP del modello ($p_{msp}$).
• Interazione: Il modello include termini di interazione tra le caratteristiche e MSP, permettendo alla sonda di pesare i segnali geometrici in modo diverso in base alla confidenza di base del modello.
• Addestramento: La sonda è addestrata per minimizzare l'entropia incrociata binaria bilanciata per classe rispetto a un indicatore di errore, regolarizzata con una penalità elastic-net per imporre la sparsità. Ciò permette al modello di identificare direttamente le caratteristiche predittive senza una fase di selezione separata.

3. Contributi Chiave

1. UQ Basata su Traiettoria: Gli autori propongono un insieme compatto di caratteristiche geometriche che descrivono l'evoluzione delle rappresentazioni attraverso la profondità della rete. Quando alimentate a una sonda lineare sparsa, questo metodo supera MSP sotto astensione selettiva, con guadagni di prestazioni che scalano con la malcalibrazione della baseline (fino a un miglioramento di 21 punti AURC).
2. Interpretabilità End-to-End: A differenza delle sonde dense opache sulle attivazioni grezze, ogni caratteristica ha un significato geometrico in forma chiusa. I coefficienti della sonda rivelano come si verificano gli errori: identificando quali strati si impegnano prematuramente, quali contraddicono lo stato in corso e dove le traiettorie si discostano dal loro punto finale.
3. Valutazione Empirica Completa: Il metodo è stato valutato su 9 LLM addestrati su istruzioni (famiglie Qwen, Llama, DeepSeek, che vanno da 3B a 72B parametri) su cinque diversi compiti NLP (MMLU, CosmosQA, HellaSwag, HaluDial, HaluSum).

4. Risultati Sperimentali

• Prestazioni: La sonda ha migliorato MSP su 41 su 45 coppie modello-dataset. I guadagni sono stati più significativi dove MSP ha performato peggio (alta malcalibrazione), riducendo l'AURC (Area Under the Risk-Coverage curve) da 11,45 a 21,83 punti nelle configurazioni più difficili.
• Confronto con le Baseline: La sonda ha eguagliato o superato una sonda "ad alta capacità su attivazioni grezze" (addestrata su stati nascosti completi) in 24 configurazioni e si è mantenuta entro 2 punti AURC in altre 6, nonostante l'uso di sole 11 caratteristiche scalari.
• Selettività: La sonda produce curve rischio-copertura lisce e monotone, evitando i picchi instabili a bassa copertura spesso osservati con MSP. Separa efficacemente le previsioni corrette da quelle errate anche quando i punteggi di confidenza MSP sono identici.
• Risultati sull'Interpretabilità:
  • Corretto vs Errato: Le previsioni con punteggi MSP identici mostrano firme di traiettoria distinte. Ad esempio, le previsioni errate mostrano spesso un allineamento prematuro con la direzione finale negli strati iniziali, seguito da un "doppio ritorno" o una deriva.
  • Specificità del Compito: Le firme geometriche degli errori variano in base al compito. Su HaluSum, gli errori si manifestavano come un impegno prematuro seguito da una correzione tardiva che rompeva lo stato. Su CosmosQA, gli errori apparivano come una deriva a metà profondità ortogonale alla direzione della risposta.
  • Analisi dei Coefficienti: I coefficienti della sonda localizzano i meccanismi di errore. Ad esempio, su HaluSum, i segnali di errore si concentravano nell'ultimo quarto della rete, mentre su CosmosQA erano distribuiti lungo la profondità.

5. Significato e Affermazioni

Il paper afferma che trattare le attivazioni come movimento piuttosto che come istantanee statiche offre una "via di mezzo trattabile" tra l'opacità delle sonde dense e il segnale limitato di MSP.

• Incertezza Auditabile: Poiché le caratteristiche sono interpretabili per costruzione, il segnale di confidenza risultante permette ai praticanti di ispezionare non solo se un modello è incerto, ma dove nella sua computazione nasce tale incertezza (ad esempio, strati specifici o deviazioni geometriche).
• Efficienza: Il metodo aggiunge un costo computazionale trascurabile durante l'inferenza, richiedendo solo una singola passata in avanti e semplici calcoli geometrici, evitando l'alto costo degli approcci basati su campionamento o ensemble.
• Limitazioni: Gli autori notano che la loro analisi è limitata a contesti di scelta discreta (domande a scelta multipla) e che la sonda è attualmente adattata per (modello, compito), con la trasferibilità tra modelli e compiti che rimane una questione aperta.

In sintesi, il lavoro dimostra che la geometria di come un modello linguistico assembla una previsione contiene segnali ricchi e interpretabili sull'incertezza che sono invisibili alla distribuzione dell'output finale, rendendo possibile una previsione selettiva più affidabile e auditabile.