Riepilogo Tecnico: Perturbazione degli Embedding per l'Incertezza nei Passaggi Intermedi nel Ragionamento degli LLM

Enunciazione del Problema

I Large Language Models (LLM) hanno raggiunto significativi progressi nei compiti di ragionamento, ma rimangono soggetti a produrre output inaffidabili o fuorvianti. Sebbene esistano tecniche di Quantificazione dell'Incertezza (UQ) per stimare la confidenza di un modello nelle sue risposte finali, queste sono spesso inadeguate per l'incertezza nei passaggi intermedi nelle catene di ragionamento. I metodi esistenti affrontano diverse limitazioni:

• Gli approcci basati sul campionamento (ad es., auto-consistenza) richiedono la generazione di molteplici risposte per verificare l'accordo. Sebbene efficaci per le risposte finali, sono computazionalmente costosi e faticano a individuare il passaggio intermedio specifico da cui origina un errore.
• Le metriche basate sulla probabilità (ad es., probabilità del token, entropia, margine) spesso non riescono a distinguere tra token a bassa probabilità che sono linguisticamente rari ma corretti, e quelli che rappresentano errori genuini di ragionamento. Inoltre, faticano a catturare le dipendenze contestuali a lungo termine necessarie per l'audit degli errori di ragionamento.
• I metodi basati su Bayes (ad es., perturbazione dei pesi) possono essere computazionalmente onerosi, in particolare per i modelli di grandi dimensioni.

Il problema centrale affrontato è la mancanza di metriche efficienti e a grana fine in grado di identificare i token o i passaggi specifici all'interno di una catena di ragionamento in cui l'incertezza del modello è più elevata, indicando così un potenziale errore.

Metodologia

Gli autori propongono la Perturbazione degli Embedding come un approccio innovativo per quantificare l'incertezza intermedia. L'ipotesi di fondo è che i passaggi di ragionamento errati contengano token altamente sensibili a piccole perturbazioni negli embedding dei token precedenti. Questa sensibilità riflette l'esitazione interna del modello tra molteplici continuazioni in competizione (ovvero, il modello è "incerto" se procedere con il token corrente o con un token rivale).

Il metodo opera sul presupposto che gli LLM siano autoregressivi; la generazione di un token $x_t$ dipende esclusivamente dai token precedenti $x_{1:t-1}$. Gli autori definiscono la probabilità di generazione del token come una funzione degli embedding dei token precedenti $H_{1:t-1}$. Misurano la sensibilità del modello alle perturbazioni su questi embedding utilizzando due metriche specifiche:

1. Perturbazione Casuale (Rand. Pert.):

   • Viene aggiunto rumore Gaussiano casuale $\Delta \sim \mathcal{N}(0, \sigma^2 I)$ agli embedding di tutti i token nell'input e nella risposta.
   • La metrica è definita come la varianza della log-probabilità del token target $x_t$ su più campioni di rumore:
     $$\text{Pert.}(x_t) = \text{Var}_{\Delta} [\log \text{Pr}(x_t | \tilde{H}_{1:t-1})]$$
   • Questo cattura l'instabilità della selezione del token sotto lievi variazioni del contesto.

2. Perturbazione Avversariale (Adv. Pert.):

   • Invece del campionamento casuale, gli embedding vengono modificati lungo la direzione che massimizza la diminuzione della log-probabilità totale della risposta generata (utilizzando un gradente con segno).
   • La metrica è la differenza nella log-probabilità prima e dopo la perturbazione:
     $$\text{Pert.}(x_t) = \log \text{Pr}(x_t | H_{1:t-1}) - \log \text{Pr}(x_t | \hat{H}_{1:t-1})$$
   • Questo identifica i token più disturbati da uno spostamento avversario, indicando una prossimità al confine decisionale tra il token selezionato e un "token rivale".

Insight Teorico:
Il paper fornisce un'analisi teorica che mostra come queste sensibilità alla perturbazione approssimino inversamente la distanza geometrica dall'embedding corrente al confine decisionale tra il token selezionato e un token rivale. Un punteggio di sensibilità elevato implica che l'embedding è vicino a un confine in cui verrebbe selezionato un token diverso (potenzialmente portando a un percorso di ragionamento diverso), segnalando un'alta incertezza. Crucialmente, gli autori sostengono che questa metrica sia meno distorta dalle frequenze naturali dei token del linguaggio rispetto alle metriche basate sulla probabilità grezza.

Contributi Chiave

1. Nuove Metriche UQ: Introduzione di metriche basate sulla perturbazione (Casuale e Avversariale) specificamente progettate per catturare l'incertezza nei passaggi intermedi nel ragionamento degli LLM, distinte dalla confidenza sulla risposta finale.
2. Giustificazione Teorica: Una dimostrazione formale che la sensibilità alla perturbazione approssima la norma del gradiente, che a sua volta approssima inversamente la distanza dal confine decisionale tra percorsi di ragionamento in competizione.
3. Efficienza: I metodi proposti si dimostrano computazionalmente efficienti. La perturbazione avversariale richiede solo un singolo passaggio in avanti e uno all'indietro, mentre la perturbazione casuale può riutilizzare un singolo insieme di perturbazioni per l'intera sequenza, evitando l'enorme sovraccarico di molteplici tentativi di campionamento.
4. Validazione Empirica: Esperimenti estensivi che dimostrano come queste metriche superino le linee di base esistenti nell'identificare il primo passaggio errato nelle catene di ragionamento.

Risultati Sperimentali

Gli autori hanno valutato il loro metodo su compiti di Ragionamento Matematico (dataset MATH) e Ragionamento Logico (BIG-Bench Hard) su quattro modelli (Llama-3.1, OpenMath, Qwen, Mistral).

• Prestazioni: Sia le metriche di perturbazione Casuale che Avversariale hanno costantemente superato le linee di base, tra cui:
  • Livello di token: Negative Log-Likelihood (NLL), Entropia, Margine di Probabilità e TokUR basato su Bayes.
  • Livello di frase: CCP, TokenSAR e Graph Uncertainty (campionamento multiplo).
  • Nel dataset MATH, la Perturbazione Avversariale ha raggiunto un tasso di rilevamento top-3 di 0.65 per Llama (vs. 0.55 per TokUR) e 0.61 per Qwen (vs. 0.56 per TokUR).
• Efficienza: Su una singola GPU NVIDIA GH200, la Perturbazione Avversariale ha aggiunto solo 0.28 secondi per generazione, e la Perturbazione Casuale (con 20 iterazioni) ha aggiunto 0.90 secondi. Questo è significativamente più veloce rispetto agli approcci a campionamento multiplo.
• Rilevamento delle Allucinazioni: Quando testato sul dataset FactScore per il rilevamento di allucinazioni fattuali, i metodi basati sulla perturbazione hanno prestato peggio rispetto ai metodi a campionamento multiplo. Gli autori attribuiscono ciò alla differenza fondamentale nei pattern di errore: le allucinazioni spesso derivano da correlazioni spurie o da un ancoraggio debole che rimangono stabili sotto perturbazione, mentre gli errori di ragionamento coinvolgono un'instabilità genuina nella selezione del percorso.

Significato e Affermazioni

Il paper afferma che la perturbazione degli embedding fornisce un modo più efficace ed efficiente per auditare il processo di ragionamento degli LLM rispetto ai metodi esistenti. Identificando i token con alta sensibilità alle perturbazioni degli embedding, i praticanti possono:

• Individuare l'esatta posizione in cui un modello inizia a deviare da un percorso di ragionamento corretto.
• Abilitare interventi a grana fine, come meccanismi basati sulla riflessione o auto-correzione, attivati specificamente nei passaggi incerti.
• Facilitare lo sviluppo di modelli di verifica fornendo segnali di incertezza interpretabili derivati dal processo di generazione stesso.

Gli autori riconoscono modestamente le limitazioni: il metodo potrebbe non rilevare allucinazioni guidate da correlazioni spurie e non riesce sempre a disgiungere perfettamente l'incertezza relativa alla correttezza dall'incertezza derivante dalla selezione tra molteplici percorsi di ragionamento validi. Tuttavia, lo studio stabilisce che le metriche basate sulla perturbazione sono uno strumento superiore per rilevare errori di ragionamento procedurale rispetto alle linee di base basate sulla probabilità o sul campionamento.