Technische Samenvatting: LLM's zijn Bayesiaans in Verwachting, niet in Realisatie

1. Probleemstelling

Het paper behandelt een fundamentele spanning tussen de Bayesiaanse interpretatie van In-Context Learning (ICL) en de architecturale realiteit van Transformers.

• De Bayesiaanse visie: ICL wordt vaak geïnterpreteerd als een proces waarbij ondersteunende voorbeelden een latente taak identificeren, en het model de posterior predictieve distributie genereert voor het volgende token. Onder deze visie zou de posterior predictieve distributie voor verwisselbare (exchangeable) data invariant moeten zijn voor de ordening van de ondersteunende set.
• De empirische realiteit: Transformers zijn autoregressieve modellen die sequenties verwerken met positionele encodings. Recente diagnostiek (martingaal-tests) laat zien dat het permuteren van een ongeordende ondersteunende set vaak de waarschijnlijkheden van het volgende token verandert, wat exacte verwisselbaarheid schendt.
• Het conflict: Deze schendingen zijn geïnterpreteerd als een weerlegging van de Bayesiaanse ICL-hypothese. De auteurs stellen dat dit een categoriefout is: het verwart structurele invariantie (een eigenschap van de exacte posterior wet) met operationele prestaties (de kosten van voorspelling in een online setting).

De centrale vraag is niet of Transformers exacte verwisselbare posterior samplers zijn (dat zijn ze niet), maar of ze Bayes-competitief blijven in termen van prequential log-loss ondanks de door serialisatie veroorzaakte gevoeligheid voor ordening.

2. Methodologie en Theoretisch Kader

2.1 Theoretische Brug: Prequential Regret en KL-divergentie

De auteurs verschuiven het evaluatietarget van binaire invariantie naar excess prequential code length.

• Prequential Comparison Identity (Theorem 1): Ze bewijzen dat de verwachte excessieve log-loss van een model $Q$ ten opzichte van een Bayesiaanse referentie $B$ exact de cumulatieve som is van de predictieve Kullback-Leibler (KL) divergenties:
  $$E_B[L_n(Q) - L_n(B)] = \sum_{t=1}^n E_{H_t} [KL(b_t(\cdot|H_t) \parallel q_t(\cdot|H_t))]$$
  Dit stelt vast dat schendingen van verwisselbaarheid alleen relevant zijn als ze significante predictieve KL accumuleren.

• Order-Averaging Decomposition (Theorem 2): Voor ongeordende informatieve toestanden die geserialiseerd moeten worden, decomponereert de regret van een enkele ordening in:

  1. De regret van de order-averaged predictor (de verwachting over alle taak-preserverende ordeningen).
  2. Een niet-negatieve order-averaging gain ($J_t$), die de extra log-loss vertegenwoordigt die betaald wordt door het gebruik van een enkele willekeurige serialisatie in plaats van de gemiddelde distributie.
  • Implicatie: Het falen van verwisselbaarheid is geen binaire "weerlegging", maar een kwantificeerbare kost geprijsd in bits.

2.2 Experimenteel Protocol

De auteurs evalueren deze theorie met behulp van Qwen2.5-7B/14B en Llama-3.1-8B op verschillende fronten:

1. Closed-Form Bayesian Audits: Testen op discrete taken (Beta-Bernoulli, Dirichlet-categorical) en continue taken (Coarsened Bayesian Linear Regression - BLR) waar de ware Bayesiaanse posterior predictieve bekend is.
2. Frequentistische Baselines: Vergelijken van modelprestaties met Maximum Likelihood Estimation (MLE) en Laplace plug-in predictors om te garanderen dat het gedrag van het model onderscheidend is van eenvoudige frequentistische tellingen.
3. Interventies:
   • Positie-interventies: Het aanpassen van position_ids tijdens inferentie om onderscheid te maken tussen taak-preserverende orde (waar orde er niet toe doet) en semantische orde (waar positie signalen draagt).
   • From-Scratch Ablatie: Het trainen van kleine transformers met en zonder positionele encodings om de bron van orde-gevoeligheid te isoleren.
   • Activation Patching: Testen of voldoende statistieken (counts en posities) causaal worden gebruikt om voorspellingen te bepalen.
4. Downstream Diagnostiek: Meten van de kosten van willekeurige ordening op MMLU, GSM8K en evidence-grounded QA-taken met permutatie-mengsels.

3. Belangrijkste Bijdragen

1. Formalisering van Evaluatietarget: Het paper definieert excess prequential code length als de operationele metriek voor Bayes-competitiviteit, waarbij de binaire "is het verwisselbaar?" test wordt vervangen door een kwantitatieve "hoeveel KL kost de schending?" metriek.
2. Order-Averaging Decomposition: Het biedt een theoretische decompositie die aantoont dat de regret van een enkele serialisatie gelijk is aan de regret van de order-averaged predictor plus een meetbare "order-averaging gain".
3. Safe-Code Floors en Candidate Decomposition: Het introduceert een methode om modellen te scoren op vaste kandidaat-sets zonder probabiliteitsmassa te verbergen, gebruikmakend van een "safe-code floor" (mengen met een uniforme distributie) om finite-horizon admissibleheid en expliciete overhead-rapportage te garanderen.
4. Causale Verificatie van Bayesiaanse Mechanismen: Door middel van activation patching en linear probing demonstreren de auteurs dat modellen niet alleen bevatten voldoende statistieken (counts en posities), maar deze ook causaal gebruiken om de next-token distributies vorm te geven.

4. Belangrijkste Resultaten

4.1 Predictieve KL en Bayes-Competitiviteit

• Discrete Taken: Op Bernoulli en 4-way categorical taken met een support grootte van 256, vertonen de modellen extreem lage one-step excess prequential code lengths:
  • Bernoulli: 0.020 bits (7B) en 0.011 bits (14B).
  • Categorical: 0.039 bits (7B) en 0.022 bits (14B).
  • Kandidaat-massa (toegewezen waarschijnlijkheid aan gescoorde gebeurtenissen) overstijgt 0.999.
• Continue Taken (BLR): Naarmate de support grootte groeit, komt de geïnduceerde digit-distributie van het model steeds meer overeen met de coarsened Bayesiaanse posterior predictieve. Bij een support van 100 bereiken de correlaties met de Bayesiaanse verwachting ~0.988 (1-covariate) en ~0.965 (2-covariate).

4.2 Onderscheid van Frequentistische Plug-ins

• Small Data Regime: Het model is significant dichter bij de Bayesiaanse posterior predictieve dan bij de MLE plug-in.
  • MLE is vaak degenerat (wijst nul waarschijnlijkheid toe aan ongeziene symbolen), wat leidt tot een oneindige code length.
  • Bij een support van 4 is het model ~3.3 bits (7B) en ~3.8 bits (14B) dichter bij de Bayesiaanse referentie dan bij MLE voor 4-way categorical taken.
• Convergentie: Naarmate de support groeit, verdwijnt het gat tussen het model, de Bayesiaanse referentie en de frequentistische plug-in, wat consistent is met asymptotische theorie.

4.3 Bron van Orde-gevoeligheid

• Positionele Encoded: Positie-interventies onthullen dat absolute demonstratie-posities de serialisatie-variantie drijven. Het resetten van posities binnen demonstraties vermindert de orde-variantie met ~21× in Bayesiaanse voorspellings-taken.
• Ablatie: Transformers getraind zonder positionele encoding bereiken bijna perfecte verwisselbaarheid (variantie $\approx 10^{-16}$). Modellen met geleerde absolute, sinusoidale, RoPE of ALiBi encodings vertonen variantie in de orde van $10^{-8}$ tot $10^{-6}$. Dit bevestigt dat orde-gevoeligheid een eigenschap is van de encoding, en niet van de architectuur zelf.
• Causaal Gebruik: Activation patching bevestigt dat voldoende statistieken (counts en posities) causaal verbonden zijn met de next-token logits.

4.4 Downstream Kosten

• Order-Averaging Gain: Op MMLU en GSM8K levert het middelen van voorspellingen over willekeurige permutaties kleine maar meetbare verbeteringen in Negative Log-Likelihood (NLL) en kalibratie, wat bevestigt dat een willekeurige serialisatie een kleine log-loss kost.
• Evidence QA: In taken met ongeordende evidence chunks zijn order-averaging gains meetbaar (bijv. 0.1041 nats/token voor Qwen2.5-7B), wat suggereert dat het behandelen van één willekeurige orde als de taak suboptimaal is.

5. Betekenis en Claims

Het paper claimt een kwantitatieve verzoening van de Bayesiaanse ICL-hypothese met de Transformer-architectuur:

• Weerlegging van "Exactheid": Transformers zijn niet exacte verwisselbare posterior-predictieve distributies voor elke serialisatie.
• Validatie van "Competitiviteit": Ze zijn Bayes-competitieve prequential predictors. De operationele kosten van orde-gevoeligheid zijn klein (gemeten in fracties van een bit) en begrensd.
• Verschuiving in Perspectief: Het falen van exacte verwisselbaarheid moet niet worden gezien als een binaire weerlegging van Bayesiaanse ICL. In plaats daarvan moet het worden beschouwd als een geprijsde kost. De "prijs" is de order-averaging gain, die klein genoeg is zodat het model competitief blijft met de optimale Bayesiaanse predictor in online voorspellingssettings.

De auteurs benadrukken dat dit een diagnostisch kader is. Het claimt niet dat Transformers letterlijke posterior samplers zijn, maar dat hun predictieve distributies dichter bij de Bayesiaanse posterior predictieve liggen dan bij frequentistische plug-ins, en dat de afwijking veroorzaakt door serialisatie in veel contexten operationeel verwaarloosbaar is.