Résumé technique : Les LLM sont bayésiens en espérance, pas en réalisation

1. Énoncé du problème

L'article traite d'une tension fondamentale entre l'interprétation bayésienne de l'apprentissage en contexte (In-Context Learning - ICL) et la réalité architecturale des Transformers.

• La vision bayésienne : L'ICL est souvent interprété comme un processus où les exemples de support identifient une tâche latente, et le modèle génère la distribution prédictive a posteriori pour le jeton suivant. Selon cette vue, pour des données échangeables, la distribution prédictive a posteriori devrait être invariante à l'ordre de l'ensemble de support.
• La réalité empirique : Les Transformers sont des modèles autoregressifs qui traitent des séquences avec des encodages positionnels. Des diagnostics récents (tests de martingales) montrent que permuter un ensemble de support non ordonné modifie souvent les probabilités du jeton suivant, violant ainsi l'échangeabilité exacte.
• Le conflit : Ces violations ont été interprétées comme une réfutation de l'hypothèse de l'ICL bayésien. Les auteurs soutiennent qu'il s'agit d'une erreur de catégorie : cela confond l'invariance structurelle (une propriété de la loi a posteriori exacte) avec la performance opérationnelle (le coût de la prédiction dans un cadre en ligne).

La question centrale n'est pas de savoir si les Transformers sont des échantillonneurs de distribution a posteriori exactement échangeables (ils ne le sont pas), mais s'ils restent compétitifs sur le plan bayésien en termes de perte de log préquentielle malgré la sensibilité à l'ordre induite par la sérialisation.

2. Méthodologie et cadre théorique

2.1 Pont théorique : Regret préquentiel et divergence KL

Les auteurs déplacent la cible d'évaluation de l'invariance binaire vers la longueur de code préquentielle excédentaire.

• Identité de comparaison préquentielle (Théorème 1) : Ils prouvent que l'espérance de la perte de log excédentaire d'un modèle $Q$ par rapport à une référence bayésienne $B$ est exactement la somme cumulée des divergences de Kullback-Leibler (KL) prédictives :
  $$E_B[L_n(Q) - L_n(B)] = \sum_{t=1}^n E_{H_t} [KL(b_t(\cdot|H_t) \parallel q_t(\cdot|H_t))]$$
  Cela établit que les violations d'échangeabilité ne comptent opérationnellement que si elles accumulent une divergence KL prédictive significative.

• Décomposition par moyenne d'ordre (Théorème 2) : Pour les états d'information non ordonnés qui doivent être sérialisés, le regret d'un ordre unique se décompose en :

  1. Le regret du prédicteur moyenné par l'ordre (l'espérance sur tous les ordonnancements préservant la tâche).
  2. Un gain de moyenne d'ordre ($J_t$) non négatif, représentant la perte de log supplémentaire payée en utilisant une seule sérialisation arbitraire au lieu de la distribution moyennée.
  • Implication : L'échec de l'échangeabilité n'est pas une « réfutation » binaire, mais un coût quantifiable exprimé en bits.

2.2 Protocole expérimental

Les auteurs évaluent cette théorie en utilisant Qwen2.5-7B/14B et Llama-3.1-8B sur plusieurs fronts :

1. Audits bayésiens à forme fermée : Tests sur des tâches discrètes (Beta-Bernoulli, Dirichlet-catégorique) et des tâches continues (Régression Linéaire Bayésienne Coarsened - BLR) où la distribution prédictive a posteriori bayésienne exacte est connue.
2. Lignes de base fréquentistes : Comparaison de la performance du modèle par rapport à l'Estimation du Maximum de Vraisemblance (MLE) et aux prédicteurs de type "Laplace plug-in" pour s'assurer que le comportement du modèle est distinct d'un simple comptage fréquentiste.
3. Interventions :
   • Interventions de position : Modification des position_ids lors de l'inférence pour distinguer entre l'ordre préservant la tâche (où l'ordre ne devrait pas importer) et l'ordre sémantique (où la position porte un signal).
   • Ablation de base (From-Scratch) : Entraînement de petits transformers avec et sans encodages positionnels pour isoler la source de la sensibilité à l'ordre.
   • Patching d'activation : Test pour déterminer si les statistiques suffisantes (comptages et positions) sont utilisées causalement pour déterminer les prédictions.
4. Diagnostics en aval : Mesure du coût de l'ordonnancement arbitraire sur MMLU, GSM8K et les tâches de QA fondées sur des preuves via des mélanges de permutations.

3. Contributions clés

1. Formalisation de la cible d'évaluation : L'article définit la longueur de code préquentielle excédentaire comme la métrique opérationnelle de la compétitivité bayésienne, remplaçant le test binaire « est-ce échangeable ? » par une métrique quantitative « quel est le coût en KL de la violation ? ».
2. Décomposition par moyenne d'ordre : Il fournit une décomposition théorique montrant que le regret d'une sérialisation unique est égal au regret du prédicteur moyenné par l'ordre plus un « gain de moyenne d'ordre » mesurable.
3. Planchers de code sûrs et décomposition de candidats : Il introduit une méthode pour noter les modèles sur des ensembles de candidats fixes sans masquer la masse de probabilité, en utilisant un « plancher de code sûr » (mélange avec une distribution uniforme) pour assurer l'admissibilité à horizon fini et un rapport explicite sur les surcoûts.
4. Vérification causale des mécanismes bayésiens : Par le biais du patching d'activation et du sondage linéaire, les auteurs démontrent que les modèles ne font pas que contenir des statistiques suffisantes (comptages, positions), mais les utilisent causalement pour façonner les distributions du jeton suivant.

4. Résultats clés

4.1 KL prédictif et compétitivité bayésienne

• Tâches discrètes : Sur des tâches de Bernoulli et catégorielles à 4 voies avec une taille de support de 256, les modèles présentent des longueurs de code préquentielles excédentaires à un pas extrêmement faibles :
  • Bernoulli : 0,020 bit (7B) et 0,011 bit (14B).
  • Catégorielle : 0,039 bit (7B) et 0,022 bit (14B).
  • La masse des candidats (probabilité assignée aux événements scorés) dépasse 0,999.
• Tâches continues (BLR) : À mesure que la taille du support augmente, la distribution de chiffres induite par le modèle correspond de plus en plus à la distribution prédictive a posteriori bayésienne grossière. À un support de 100, les corrélations avec l'espérance bayésienne atteignent ~0,988 (1-covariable) et ~0,965 (2-covariables).

4.2 Distinction des plug-ins fréquentistes

• Régime de petites données : Le modèle est nettement plus proche de la distribution prédictive a posteriori bayésienne que du plug-in MLE.
  • Le MLE est souvent dégénéré (assignant une probabilité nulle aux symboles non vus), entraînant une longueur de code infinie.
  • À un support de 4, le modèle est environ 3,3 bits (7B) et 3,8 bits (14B) plus proche de la référence bayésienne que du MLE pour les tâches catégorielles à 4 voies.
• Convergence : À mesure que le support croît, l'écart entre le modèle, la référence bayésienne et le plug-in fréquentiste s'amenuise, ce qui est cohérent avec la théorie asymptotique.

4.3 Source de la sensibilité à l'ordre

• Encodage positionnel : Les interventions de position révèlent que les positions absolces des démonstrations pilotent la variance de la sérialisation. Réinitialiser les positions au sein des démonstrations réduit la variance de l'ordre d'environ 21× dans les tâches de prédiction bayésienne.
• Ablation : Les Transformers entraînés sans encodage positionnel atteignent une échangeabilité quasi parfaite (variance $\approx 10^{-16}$). Ceux possédant des encodages absolus, sinusoïdaux, RoPE ou ALiBi montrent une variance dans la plage de $10^{-8}$ à $10^{-6}$. Cela confirme que la sensibilité à l'ordre est une propriété de l'encodage, et non de l'architecture elle-même.
• Utilisation causale : Le patching d'activation confirme que les statistiques suffisantes (comptages et positions) sont liées causalement aux logits du jeton suivant.

4.4 Coûts en aval

• Gain de moyenne d'ordre : Sur MMLU et GSM8K, la moyenne des prédictions sur des permutations aléatoires produit des améliorations mesurables mais faibles de la NLL (log-perte négative) et de la calibration, confirmant qu'une sérialisation arbitraire entraîne un faible coût de perte de log.
• QA fondé sur des preuves : Dans les tâches avec des blocs d'évidence non ordonnés, les gains de moyenne d'ordre sont mesurables (ex: 0,1041 nats/token pour Qwen2.5-7B), suggérant que traiter un ordre arbitraire comme étant la tâche est sous-optimal.

5. Signification et revendications

L'article propose une réconciliation quantitative de l'hypothèse de l'ICL bayésien avec l'architecture Transformer :

• Réfutation de l'« exactitude » : Les Transformers ne sont pas des distributions prédictives a posteriori exactement échangeables pour chaque sérialisation.
• Validation de la « compétitivité » : Ils sont des prédicteurs préquentiels compétitifs sur le plan bayésien. Le coût opérationnel de la sensibilité à l'ordre est faible (mesuré en fractions de bit) et borné.
• Changement de perspective : L'échec de l'échangeabilité exacte ne doit pas être vu comme une réfutation binaire de l'ICL bayésien, mais plutôt comme un coût tarifé. Ce « prix » est le gain de moyenne d'ordre, qui est suffisamment petit pour que le modèle reste compétitif avec le prédicteur bayésien optimal dans des contextes de prédiction en ligne.

Les auteurs soulignent qu'il s'agit d'un cadre de diagnostic. Ils ne prétendent pas que les Transformers sont des échantillonneurs de la distribution a posteriori au sens littéral, mais que leurs distributions prédictives sont plus proches de la distribution prédictive a posteriori bayésienne que des plug-ins fréquentistes, et que la déviation causée par la sérialisation est opérationnellement négligeable dans de nombreux contextes.