Sintesi Tecnica: Gli LLM sono Bayesiani in Aspettativa, non nella Realizzazione

1. Definizione del Problema

Il paper affronta una tensione fondamentale tra l'interpretazione Bayesiana dell'In-Context Learning (ICL) e la realtà architettonica dei Transformer.

• La Visione Bayesiana: L'ICL è spesso interpretato come un processo in cui gli esempi di supporto identificano un task latente, e il modello genera la distribuzione predittiva a posteriori per il prossimo token. Secondo questa visione, per dati scambiabili, la predittiva a posteriori dovrebbe essere invariante rispetto all'ordine del set di supporto.
• La Realtà Empirica: I Transformer sono modelli autoregressivi che elaborano sequenze con codifiche posizionali. Diagnostici recenti (test martingala) mostrano che permutare un set di supporto non ordinato spesso modifica le probabilità del next-token, violando l'esatta scambiabilità.
• Il Conflitto: Queste violazioni sono state interpretate come una confutazione dell'ipotesi di ICL Bayesiana. Gli autori sostengono che si tratti di un errore di categoria: si confonde l'invarianza strutturale (una proprietà della legge a posteriori esatta) con la performance operativa (il costo della predizione in un contesto online).

La domanda centrale non è se i Transformer siano campionatori esatti della distribuzione a posteriori scambiabile (non lo sono), ma se rimangano Bayes-competitivi in termini di prequential log loss nonostante la sensibilità all'ordine indotta dalla serializzazione.

2. Metodologia e Framework Teorico

2.1 Ponte Teorico: Prequential Regret e Divergenza KL

Gli autori spostano l'obiettivo della valutazione dall'invarianza binaria all'eccesso di lunghezza del codice prequenziale.

• Identità di Confronto Prequenziale (Teorema 1): Dimostrano che l'aspettata perdita logaritmica in eccesso di un modello $Q$ rispetto a un riferimento Bayesiano $B$ è esattamente la somma cumulativa delle divergenze di Kullback-Leibler (KL) predittive:
  $$E_B[L_n(Q) - L_n(B)] = \sum_{t=1}^n E_{H_t} [KL(b_t(\cdot|H_t) \parallel q_t(\cdot|H_t))]$$
  Questo stabilisce che le violazioni della scambiabilità contano operativamente solo se accumulano una significativa KL predittiva.

• Decomposizione della Media dell'Ordine (Teorema 2): Per stati informativi non ordinati che devono essere serializzati, il regret di un singolo ordine si decompone in:

  1. Il regret del predittore mediato sull'ordine (l'aspettativa su tutti gli ordini che preservano il task).
  2. Un guadagno di media dell'ordine ($J_t$) non negativo, che rappresenta l'ulteriore log loss pagata utilizzando una singola serializzazione arbitraria invece della distribuzione mediata.
  • Implicazione: Il fallimento della scambiabilità non è una "confutazione" binaria, ma un costo quantificabile espresso in bit.

2.2 Protocollo Sperimentale

Gli autori valutano questa teoria utilizzando Qwen2.5-7B/14B e Llama-3.1-8B su diversi fronti:

1. Audit Bayesiani in Forma Chiusa: Test su task discreti (Beta-Bernoulli, Dirichlet-categorical) e task continui (Coarsened Bayesian Linear Regression - BLR) dove la vera predittiva a posteriori Bayesiana è nota.
2. Baseline Frequentiste: Confronto delle performance del modello rispetto a stime di Massima Verosimiglianza (MLE) e predittori plug-in di Laplace, per garantire che il comportamento del modello sia distinto dal semplice conteggio frequentista.
3. Interventi:
   • Interventi sulla Posizione: Modifica di position_ids durante l'inferenza per distinguere tra ordine che preserva il task (dove l'ordine non dovrebbe contare) e ordine semantico (dove la posizione trasporta segnale).
   • Ablazione From-Scratch: Addestramento di piccoli transformer con e senza codifiche posizionali per isolare la fonte della sensibilità all'ordine.
   • Patching delle Attivazioni: Test per verificare se le statistiche sufficienti (conteggi e posizioni) siano usate causalmente per determinare le predizioni.
4. Diagnostica a Valle: Misurazione del costo dell'ordine arbitrario su MMLU, GSM8K e task di QA basati su evidenze usando miscele di permutazioni.

3. Contributi Chiave

1. Formalizzazione dell'Obiettivo di Valutazione: Il paper definisce la lunghezza del codice prequenziale in eccesso come metrica operativa per la Bayes-competitività, sostituendo il test binario "è scambiabile?" con una metrica quantitativa: "quanto costa in termini di KL la violazione?".
2. Decomposizione della Media dell'Ordine: Fornisce una decomposizione teorica che mostra come il regret di una singola serializzazione sia uguale al regret del predittore mediato sull'ordine più un misurabile "guadagno di media dell'ordine".
3. Safe-Code Floors e Decomposizione dei Candidati: Introduce un metodo per valutare i modelli su set di candidati fissi senza nascondere la massa di probabilità, utilizzando un "safe-code floor" (miscelazione con l'uniforme) per garantire l'ammissibilità a orizzonte finito e la segnalazione esplicita dell'overhead.
4. Verifica Causale dei Meccanismi Bayesiani: Attraverso il patching delle attivazioni e il linear probing, gli autori dimostrano che i modelli non solo contengono statistiche sufficienti (conteggi, posizioni), ma le usano causalmente per modellare le distribuzioni del next-token.

4. Risultati Chiave

4.1 KL Predittiva e Bayes-Competitività

• Task Discreti: Su task Bernoulli e categorical a 4 vie con dimensione del supporto 256, i modelli mostrano lunghezze di codice prequenziale in eccesso a un passo estremamente basse:
  • Bernoulli: 0.020 bit (7B) e 0.011 bit (14B).
  • Categorical: 0.039 bit (7B) e 0.022 bit (14B).
  • La massa dei candidati (probabilità assegnata agli eventi valutati) supera lo 0.999.
• Task Continui (BLR): Al crescere della dimensione del supporto, la distribuzione dei digit indotta dal modello corrisponde sempre più alla predittiva a posteriori Bayesiana grossolanamente approssimata (coarsened). Con un supporto di 100, le correlazioni con l'aspettativa Bayesiana raggiungono lo ~0.988 (1-covariata) e lo ~0.965 (2-covariate).

4.2 Distinzione dai Plug-in Frequentisti

• Regime di Piccoli Dati: Il modello è significativamente più vicino alla predittiva a posteriori Bayesiana rispetto al plug-in MLE.
  • L'MLE è spesso degenero (assegna probabilità zero a simboli non visti), portando a una lunghezza del codice infinita.
  • Con un supporto di 4, il modello è circa 3.3 bit (7B) e 3.8 bit (14B) più vicino al riferimento Bayesiano rispetto all'MLE per i task categorical a 4 vie.
• Convergenza: Man mano che il supporto cresce, il divario tra il modello, il riferimento Bayesiano e il plug-in frequentista svanisce, in linea con la teoria asintotica.

4.3 Origine della Sensibilità all'Ordine

• Codifica Posizionale: Gli interventi sulla posizione rivelano che le posizioni assolute delle dimostrazioni guidano la varianza della serializzazione. Resettare le posizioni all'interno delle dimostrazioni riduce la varianza dell'ordine di circa 21× nei task di predizione Bayesiana.
• Ablazione: I Transformer addestrati senza codifica posizionale raggiungono una scambiabilità quasi perfetta (varianza $\approx 10^{-16}$). Quelli con codifiche assolute apprese, sinusoidali, RoPE o ALiBi mostrano una varianza nell'ordine di $10^{-8}$ a $10^{-6}$. Ciò conferma che la sensibilità all'ordine è una proprietà della codifica, non dell'architettura stessa.
• Uso Causale: Il patching delle attivazioni conferma che le statistiche sufficienti (conteggi e posizioni) sono causalmente collegate ai logit del next-token.

4.4 Costi a Valle

• Guadagno di Media dell'Ordine: Su MMLU e GSM8K, la media delle predizioni su permutazioni casuali produce miglioramenti piccoli ma misurabili nella NLL (Negative Log-Likelihood) e nella calibrazione, confermando che una serializzazione arbitraria comporta un piccolo costo di log-loss.
• QA basata su Evidenze: In task con chunk di evidenza non ordinati, i guadagni della media dell'ordine sono misurabili (es. 0.1041 nats/token per Qwen2.5-7B), suggerendo che trattare un ordine arbitrario come il task sia subottimale.

5. Significato e Rivendicazioni

Il paper rivendica una riconciliazione quantitativa tra l'ipotesi di ICL Bayesiana e l'architettura Transformer:

• Confutazione dell' "Esattezza": I Transformer non sono distribuzioni predittive a posteriori scambiabili esatte per ogni serializzazione.
• Validazione della "Competitività": Sono predittori prequenziali Bayes-competitivi. Il costo operativo della sensibilità all'ordine è piccolo (misurato in frazioni di un bit) ed è limitato.
• Cambio di Prospettiva: Il fallimento della scambiabilità esatta non deve essere visto come una confutazione binaria dell'ICL Bayesiana. Dovrebbe invece essere visto come un costo pagato. Il "prezzo" è il guadagno di media dell'ordine, che è sufficientemente piccolo da permettere al modello di rimanere competitivo con il predittore Bayesiano ottimale in contesti di predizione online.

Gli autori sottolineano che questo è un framework diagnostico. Non affermano che i Transformer siano letteralmente campionatori a posteriori, ma che le loro distribuzioni predittive si collocano più vicino alla predittiva a posteriori Bayesiana rispetto ai plug-in frequentisti, e che la deviazione causata dalla serializzazione è operativamente trascurabile in molti contesti.