🤖 machine learning

From Drift to Coherence: Stabilizing Beliefs in LLMs

Questo articolo dimostra che, sebbene i grandi modelli linguistici inizialmente esibiscano una deriva delle credenze che viola la proprietà di martingala durante il campionamento autoregressivo delle risposte, essi alla fine si auto-stabilizzano in distribuzioni predittive coerenti, un fenomeno sfruttato per proporre strategie di prompting e di fine-tuning che riducano la deriva e migliorino la coerenza senza sacrificare l'accuratezza.

Autori originali: SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

Pubblicato 2026-06-17

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: SongEun Kim, Seungyoo Lee, Edwin Fong, Hyungi Lee, Juho Lee

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un robot molto intelligente e colto (un Large Language Model o LLM) a cui poni una domanda. Di solito, ti aspetti che ti dia una risposta e che rimanga fedele al suo ragionamento. Ma questo articolo scopre qualcosa di strano: se chiedi al robot di fornire la stessa risposta più volte di seguito, la sua fiducia vacilla.

Ecco la storia di come gli autori hanno risolto quel vacillamento, spiegata in modo semplice.

Il Problema: Il "Cervello Traballante" del Robot

Pensa al cervello del robot come a una persona che cerca di indovinare il meteo.

L'Ideale: Se il robot fosse un perfetto pensatore bayesiano (un termine elegante per un indovino probabilistico perfetto), la sua fiducia dovrebbe essere stabile. Se pensa che ci sia una probanza del 70% di pioggia, quel 70% non dovrebbe cambiare solo perché ci ha pensato un secondo dopo.
La Realtà: Gli autori hanno scoperto che quando chiedevano al robot di generare una sequenza di risposte alla stessa domanda, la sua fiducia interna "deriva".
- Analogia: Immagina di chiedere a un amico: "Pioverà?". Lui risponde: "Sono sicuro al 70%". Poi, senza guardare fuori di nuovo, lo interroghi immediatamente. Potrebbe improvvisamente dire: "In realtà, sono sicuro solo al 50%". Poi lo interroghi ancora e dice: "Aspetta, forse l'80%!".
- Questo "vacillare" significa che le sue convinzioni sono instabili nel breve termine. È come una bussola che gira selvaggiamente prima di puntare finalmente a Nord.

La Scoperta: Alla Fine si Stabilizza

I ricercatori hanno notato qualcosa di interessante: se continuavi a chiedere al robot di rispondere alla stessa domanda molte volte (come 20 o 30 volte di seguito), il vacillamento alla fine si fermava. La fiducia del robot si stabilizzava e si assestava su un numero coerente.

La Metafora: È come scuotere un barattolo di biglie mescolate. All'inizio i colori vorticano caoticamente. Ma se lasci il barattolo fermo, le biglie si assestano e puoi finalmente vedere il vero rapporto tra i colori. Il robot ha bisogno di un "periodo di assestamento" (chiamato fase di burn-in) per trovare la sua vera convinzione.

La Soluzione: Due Trucchi per Fermare il Vacillamento

Il problema è che aspettare che il robot si assesti richiede molto tempo e consuma molta potenza di calcolo. Gli autori hanno ideato due modi per rendere il robot stabile immediatamente.

1. Il Trucco del "Riscaldamento" (Answer Seeding)

Inveve di far partire il robot a freddo, gli autori forniscono prima una lista di risposte di "riscaldamento".

Come funziona: Chiedono al robot di generare alcune risposte casuali alla domanda una sola volta, e poi rialimentano il robot con quelle risposte come parte del prompt prima di chiedergli di iniziare la sequenza reale.
L'Analogia: È come un musicista che accorda il proprio strumento prima di un concerto. Invece di iniziare la canzone con una nota stridente e stonata, suona alcune note veloci per regolare l'intonazione. Il robot usa queste risposte "seme" per saltare direttamente nella zona stabile, saltando il vacillamento caotico iniziale.

2. Il Trucco dell' "Allenamento" (Self-Consistency Loss)

Gli autori hanno anche insegnato al robot a essere stabile cambiando il modo in cui apprende.

Come funziona: Hanno creato una lezione matematica speciale (una "funzione di perdita" o loss function) in cui mostravano al robot le proprie risposte future. Dicevano al robot: "La tua risposta in questo momento deve corrispondere a ciò che dirai tra 5 passi".
L'Analogia: Immagina uno studente che di solito si agita e cambia idea durante un esame. L'insegnante gli dà una regola: "Qualunque cosa scrivi alla domanda n. 1, devi essere in grado di sostenerla quando arrivi alla domanda n. 10". Praticando questa regola, lo studente impara a essere coerente fin dal primo secondo, così non ha bisogno di "vacillare" per trovare la sua fiducia in seguito.

I Risultati

Quando hanno testato questi trucchi su domande a scelta multipla standard (come quiz di cultura generale o scientifici):

Meno Vacillamento: La fiducia del robot ha smesso di derivare ed è rimasta coerente.
Migliore Capacità di Indovinare: Il robot è diventato più bravo a sapere quanto era sicuro delle sue risposte (calibrazione).
Stessa Accuratezza: Fondamentalmente, rendere il robot più stabile non lo ha reso meno intelligente. Otteneva le risposte giuste con la stessa frequenza di prima, ma ora era più affidabile nel sapere quando aveva ragione.

In Breve

L'articolo dimostra che, sebbene i modelli di IA spesso inizino con un sistema di credenze "vacillante" quando generano sequenze, essi tendono naturalmente alla coerenza. Usando un po' di dati di "riscaldamento" o addestrandoli a corrispondere ai propri "sé futuri", possiamo renderli stabili e affidabili immediatamente, senza dover aspettare che si assestino da soli.

Sintesi Tecnica: Dalla Deriva alla Coerenza: Stabilizzare le Credenze nei LLM

Formulazione del Problema
Si ipotizza frequentemente che i Large Language Models (LLM) eseguano un'inferenza bayesiana implicita, in particolare nel contesto dell'apprendimento in-context (ICL). Una condizione critica per tale coerenza bayesiana è la proprietà di martingala delle credenze predittive: l'aspettativa delle credenze future, condizionata alla storia attuale, deve essere uguale alla credenza attuale. Lavori precedenti (Falck et al., 2024) hanno dimostrato che gli LLM violano questa proprietà in contesti sintetici controllati (ad es., generazione di numeri casuali), suggerendo che non siano generalmente bayesiani. Tuttavia, tali compiti sintetici oscurano la reale distribuzione predittiva del modello e potrebbero non riflettere i regimi di utilizzo tipici.

Questo articolo indaga se gli LLM esibiscano violazioni della martingala in un contesto più pratico: il risolvimento di domande a scelta multipla (MCQA) generico. Gli autori definiscono il processo predittivo come una sequenza di risposte generate autoregressivamente per una query fissa. Osservano che, sebbene gli LLM si stabilizzino infine, essi esibiscono una significativa deriva iniziale delle credenze (initial belief drift), in cui la distribuzione predittiva si sposta sistematicamente durante le prime fasi di campionamento, violando la proprietà di martingala. Questa deriva implica che lo stato di credenza interna del modello non sia immediatamente coerente, richiedendo un periodo di "burn-in" per raggiungere una distribuzione limite stabile.

Metodologia
Gli autori propongono un framework per analizzare e correggere questa deriva utilizzando la natura discreta degli spazi di risposta MCQA, che consente il calcolo esatto delle distribuzioni predittive senza approssimazioni di campionamento.

Prompted Predictive Resampling (PPR): Il protocollo sperimentale centrale prevede l'istruire un LLM a generare una sequenza di risposte alla stessa domanda ripetutamente. Ciò crea un processo predittivo dipendente dalla storia $\theta_n(x_Q)$ , in cui il modello si condiziona sui propri output precedenti.
Answer Seeding: Per mitigare la deriva nelle fasi iniziali, gli autori introducono una strategia di prompting in cui al modello viene fornita inizialmente una breve sequenza di risposte "seed" campionate i.i.d. dalla distribuzione standard del modello (senza istruzioni di resampling). Questi seed agiscono come un riassunto "mean-field" dell'incertezza del modello, guidando il processo generativo verso un regime stabile più rapidamente.
Martingale Amortization (Self-Consistency Loss): Per eliminare il costo computazionale di lunghe sequenze di resampling o di seeding esterno durante l'inferenza, gli autori propongono un obiettivo di fine-tuning chiamato Self-Consistency (SC) loss. Questa perdita minimizza la divergenza tra le predizioni a breve orizzonte del modello e le sue predizioni a lungo orizzonte (approssimate tramite rollout Monte Carlo). Addestrando il modello a corrispondere alle proprie statistiche marginali future, la SC loss "ammortizza" il processo di stabilizzazione, consentendo al modello di produrre immediatamente una distribuzione di credenza coerente (zero-shot) senza richiedere una fase di burn-in.

Contributi Chiave

Caratterizzazione Empirica della Deriva: Il documento fornisce prove empiriche del fatto che, sebbene gli LLM violino la proprietà di martingala nelle fasi iniziali del resampling predittivo, essi si stabilizzano spontaneamente dopo un numero sufficiente di passi, convergendo verso una distribuzione predittiva coerente (una posteriore di martingala).
Meccanismi di Stabilizzazione: Gli autori introducono due metodi per raggiungere la coerenza:
- Al tempo di inferenza: L'answer seeding, che riduce il periodo di burn-in fornendo un contesto stocastico.
- Al tempo di addestramento: La SC loss, che insegna al modello a interiorizzare la stabilità, collassando efficacementmente l'orizzonte di convergenza.
Giustificazione Teorica: Il documento stabilisce che la minimizzazione della SC loss assicura che il processo predittivo si avvicini a una martingala approssimata, a condizione che la classe di modelli sia sufficientemente espressiva. I limiti teorici mostrano che la violazione residua della martingala è proporzionale al valore della SC loss.

Risultati
Gli esperimenti sono stati condotti su benchmark standard di MCQA (CSQA, AI2-ARC, TinyMMLU) utilizzando modelli istruiti (LLAMA-3.1-8B e OLMO-3-7B).

Riduzione della Deriva: Sia l'answer seeding che l'addestramento con SC loss hanno ridotto significativamente l'Expected Martingale Drift (EMD). La SC loss (AM-PPR) ha costantemente superato il PPR standard, ottenendo valori di deriva inferiori in tutti i dataset e i modelli.
Calibrazione e Accuratezza: Le distribuzioni predittive stabilizzate hanno dimostrato una migliore calibrazione dell'incertezza (minore Expected Calibration Error e Brier Score) rispetto ai baseline di query diretta standard e al PPR non stabilizzato. Fondamentalmente, questi miglioramenti nella coerenza e nella calibrazione sono stati ottenuti senza sacrificare l'accuratezza predittiva.
Efficienza: Il metodo AM-PPR ha permesso al modello di accedere immediatamente al proprio stato di credenza stabile (usando la distribuzione del primo token), eliminando la necessità di costosi rollout prolungati o della generazione di seed ausiliari durante l'inferenza.

Significatività e Rivendicazioni
Il documento sostiene che i LLM pratici esibiscono una deriva di credenza transitoria che può essere sostanzialmente ridotta attraverso specifiche strategie di prompting e addestramento. Operazionalizzando la coerenza di tipo martingala, gli autori dimostrano che è possibile migliorare l'affidabilità e la calibrazione dell'incertezza degli LLM in compiti di ragionamento ad alto rischio senza compromettere l'accuratezza.

Gli autori notano con moderazione che ridurre le violazioni della martingala è una condizione necessaria ma non sufficiente per un'inferenza completamente bayesiana e ben calibrata; le credenze stabilizzate rimangono internamente coerenti ma non garantiscono la correttezza fattuale o l'allineamento con la verità di base (ground truth). Inoltre, il metodo si basa attualmente sul prompt engineering per elicitare un comportamento di resampling sequenziale. Il documento conclude che, sebbene il framework sia stato validato su MCQA discreti, esso è intrinsecamente estendibile a traiettorie di ragionamento più ricche (ad es., Chain-of-Thought), suggerendo una promettente via per la ricerca futura sulla stabilizzazione di percorsi di pensiero stocastici in scenari di ragionamento complessi.