🤖 machine learning

What does a Bayes-filtered transformer believe? A predictive Monte Carlo approach

Cet article introduit le Predictive Monte Carlo (PMC), une nouvelle méthode d'interprétabilité qui utilise uniquement la génération du jeton suivant pour approximer directement les distributions implicites de l'a priori et de l'a posteriori sur les tâches latentes apprises par les transformeurs filtrés par Bayes, surmontant ainsi les limites des comparaisons fragiles dans l'espace de prédiction.

Auteurs originaux : Afiq Abdillah Effiezal Aswadi, Haotong Ma, Susan Wei

Publié 2026-07-21

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Afiq Abdillah Effiezal Aswadi, Haotong Ma, Susan Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de comprendre ce qu'un robot mystérieux et super intelligent pense. Vous ne pouvez pas regarder à l'intérieur de son cerveau ou lire son journal intime ; vous ne pouvez que le regarder jouer à un jeu de « deviner le mot suivant ». Chaque fois que vous donnez une phrase au robot, il prédit le mot suivant avec une précision déconcertante. Mais voici l'énigme : le robot est-il simplement en train de mémoriser une liste géante de réponses qu'il a vues pendant son entraînement, ou est-il réellement en train d'apprendre les règles cachées de l'univers pour faire des prédictions intelligentes sur de nouvelles situations ? Cette question est au cœur d'un domaine appelé l'apprentissage automatique, plus précisément l'étude de la façon dont les modèles d'IA apprennent à partir du contexte. Pour comprendre cela, nous devons connaître les « priors » (la supposition initiale du robot avant de voir des indices) et les « posteriors » (comment sa supposition change après avoir vu les preuves). Les scientifiques se demandent depuis longtemps si ces robots pratiquent réellement le raisonnement bayésien — une façon sophistiquée de mettre à jour ses croyances en fonction de nouvelles données — ou s'ils se contentent de mimer l'apparence de ce raisonnement sans en comprendre la logique.

Ce document présente une nouvelle astuce ingénieuse pour regarder derrière le rideau. Les chercheurs, travaillant avec des « transformeurs filtrés par Bayes » (un type d'IA entraîné sur des séquences générées par des règles cachées), ont développé une méthode appelée Monte Carlo Prédictif (PMC). Imaginez l'IA comme un chef qui a goûté des millions de soupes. Si vous demandez au chef de décrire la recette, il pourrait simplement dire « ça a le goût de poulet ». Mais si vous lui demandez de cuisiner une nouvelle fournée de soupe en fonction d'un ingrédient spécifique que vous lui donnez, puis de goûter cette nouvelle soupe pour découvrir ce qu'il pense réellement de la recette, vous obtenez une image bien plus claire. Les auteurs utilisent cette méthode de « cuisine » pour générer des milliers de séquences futures fictives à partir de l'IA. En analysant ces futurs fictifs, ils peuvent reconstruire les « croyances » cachées de l'IA sur le monde.

L'étude a testé cette méthode sur trois types de puzzles différents : un jeu de tirage de boules colorées dans une urne, une tâche de régression linéaire (trouver une ligne à travers des points dispersés) et un jeu de déplacements entre des états, comme un jeu de plateau. Dans chaque cas, ils ont entraîné l'IA sur un mélange de différentes « tâches » (différentes recettes) et ont ensuite utilisé le PMC pour voir ce que l'IA croit réellement. Ils ont découvert que les croyances internes de l'IA changent de manière fascinante. Lorsqu'une IA est entraînée sur seulement quelques types de tâches, elle agit comme un mémorisateur, restant rigide sur les exemples spécifiques qu'elle a vus. Mais à mesure que la variété des tâches d'entraînement augmente, l'IA bascule vers un rôle de « généralisateur », apprenant les règles plus larges qui s'appliquent à tout. Curieusement, l'article montre que ce changement ne se produit pas de manière fluide ; à certains moments, l'IA agit brièvement comme un génie généralisateur avant de revenir à un mode mémorisateur. Crucialement, les auteurs démontent que regarder uniquement les prédictions finales de l'IA (la partie « deviner le mot suivant ») ne suffit pas pour voir cela. Deux systèmes de croyances internes différents peuvent produire exactement les mêmes prédictions, rendant la véritable nature de l'IA invisible jusqu'à ce que vous utilisiez le PMC pour observer l'« espace latent » où se déroule la véritable réflexion.

Le nouvel outil du détective

Alors, comment fonctionne réellement ce nouvel outil, le PMC ? Imaginez que l'IA est une voyante qui a été entraînée sur un ensemble spécifique de règles. Vous donnez à la voyante une amorce, comme « Le ciel est bleu parce que... » et elle commence à prédire les mots suivants. Habituellement, vous prenez simplement sa première prédiction et vous passez à la suite. Mais avec le PMC, vous ne vous arrêtez pas là. Vous demandez à la voyante de continuer, en générant toute une longue histoire basée sur ce début. Vous faites cela des centaines de fois, créant des centaines d'histoires différentes possibles.

Une fois que vous avez ces longues histoires fictives, vous observez les motifs à l'intérieur d'elles. Si l'IA a été entraînée dans un monde où « bleu » suit toujours « ciel », les histoires refléteront cela. Mais plus important encore, en analysant l'intégralité de ces histoires générées, vous pouvez rétro-concevoir ce que l'IA pense être les « règles du jeu ». C'est comme si vous regardiez un magicien sortir un lapin d'un chapeau, et qu'au lieu de simplement voir le lapin, vous le regardiez sortir mille lapins différents de mille chapeaux différents pour comprendre exactement comment le chapeau est truqué. Cela permet aux chercheurs de cartographier le « prior » de l'IA (ce qu'elle croyait avant de recevoir votre amorce) et son « posterior » (ce qu'elle croit après avoir reçu votre amorce).

Le grand basculement : Mémorisateur vs Généralisateur

Les chercheurs ont utilisé cette méthode pour tester une grande question en IA : le modèle apprend-il à mémoriser des exemples spécifiques, ou apprend-il à généraliser des règles ? Ils ont mis en place des expériences avec trois différentes « familles » de tâches.

D'abord, ils ont examiné les Boules et Urnes. Imaginez une urne remplie de boules rouges et bleues. Le travail de l'IA est de deviner la prochaine boule. La « tâche » est le mélange spécifique de boules rouges et bleues dans l'urne. Si l'IA est entraînée sur seulement quelques urnes spécifiques, elle devient un Mémorisateur. Elle apprend : « Oh, cette urne spécifique contient 80 % de boules rouges, donc je vais deviner rouge ». Mais si l'IA est entraînée sur une immense variété d'urnes avec des mélanges différents, elle devient un Généralisateur. Elle apprend la règle : « Le mélange de boules est aléatoire, je dois donc regarder l'historique pour deviner la suivante ».

L'article a trouvé un « seuil » pour ce basculement. Lorsque le nombre de tâches différentes (différents mélanges d'urnes) sur lesquelles l'IA est entraînée est faible, elle agit comme un mémorisateur. Mais à mesure que le nombre de tâches augmente, l'IA bascule soudainement pour agir comme un généralisateur. Cela confirme un phénomène appelé le Seuil de Diversité des Tâches.

Mais c'est ici que cela devient encore plus intéressant. Les chercheurs ont également observé une Généralisation Transitoire. C'est comme observer un étudiant qui apprend un nouveau sujet. Au début, il peut essayer de comprendre la vue d'ensemble (généraliser), puis il s'embrouille et commence à mémoriser des faits spécifiques pour réussir l'examen. L'article a montré que durant le processus d'entraînement, à un niveau moyen de diversité des tâches, l'IA commence par agir comme un généralisateur, mais ensuite, à mesure que l'entraînement continue, elle dérive vers un comportement de mémorisateur. C'est une phase de brillance temporaire avant de s'installer dans une habitude plus rigide.

Pourquoi regarder la réponse ne suffit pas

L'une des découvertes les plus importantes de ce papier est que vous ne pouvez pas savoir ce que fait l'IA simplement en regardant ses réponses. Les auteurs utilisent une excellente analogie : imaginez deux cartes différentes d'une ville. L'une est un dessin détaillé et précis des rues. L'autre est un croquis qui ne montre que les routes principales. Si vous demandez des directions à l'un ou l'autre pour aller à un café spécifique, ils pourraient vous donner exactement les mêmes instructions. Si vous ne regardez que les directions (les prédictions), vous ne pouvez pas savoir quelle est la vraie carte.

Dans le monde de l'IA, différentes croyances internes (posteriors) peuvent conduire aux mêmes prédictions exactes. L'article soutient que les études précédentes, qui comparaient seulement les prédictions de l'IA à un « standard de référence », étaient fragiles car elles ne pouvaient pas distinguer un modèle qui comprenait réellement les règles d'un modèle qui avait juste la chance de deviner la même chose. En utilisant le PMC pour regarder à l'intérieur de l'« espace latent » (le système de croyance caché), les chercheurs ont pu voir que la carte interne de l'IA changeait effectivement, passant du croquis d'un mémorisateur à la carte détaillée d'un généralisateur, puis revenant en arrière.

Les limites de la boule de cristal

Les auteurs notent prudemment que cette méthode n'est pas une baguette magique qui résout tout. La validité du PMC repose sur la satisfaction de certaines conditions mathématiques, qui sont difficiles à prouver pour les modèles d'IA massifs du monde réel. Dans leurs expériences, ils ont utilisé des tâches synthétiques (comme les boules et les urnes et des problèmes mathématiques simples) où ils connaissaient la vérité de terrain. Ils ont constaté que le PMC fonctionnait parfaitement là, réussissant à récupérer les croyances cachées de l'IA.

Cependant, ils admettent que pour les modèles d'IA géants utilisés dans le monde réel (comme ceux qui écrivent des essais ou discutent avec vous), nous ne savons pas encore si les mathématiques tiennent parfaitement la route. Il est possible que la logique interne de l'IA soit si complexe que notre méthode de « voyance » puisse manquer certaines nuances. Mais malgré ces limites, le papier fournit un nouvel outil puissant pour investiguer l'IA. Il suggère qu'en générant et en analysant les propres scénarios de type « et si » de l'IA, nous pouvons enfin commencer à comprendre ce que ces modèles pensent réellement, plutôt que de simplement ce qu'ils disent.

En fin de compte, ce papier ne se contente pas de nous dire comment l'IA apprend ; il nous offre un nouveau prisme pour observer le processus d'apprentissage lui-même. Il montre que l'IA n'est pas seulement une base de données statique de faits, mais un système dynamique qui oscille entre la mémorisation et la compréhension, et que nous pouvons suivre ces changements si nous savons poser les bonnes questions.

Résumé technique : « Que croit un transformeur filtré par Bayes ? Une approche de Monte Carlo prédictive »

Énoncé du problème

Les transformeurs filtrés par Bayes (BFT - Bayes-filtered transformers) sont des modèles entraînés sur des séquences générées de manière hiérarchique : une tâche latente est tirée d'un a priori, et les observations sont générées de manière conditionnelle à cette tâche. Dans des conditions idéales (capacité infinie, données infinies, optimisation parfaite), un BFT minimise la perte logarithmique autorégressive pour devenir la distribution prédictive postérieure (PPD - posterior predictive distribution) bayésienne. Cependant, en pratique, les BFT entraînés ne sont que des approximations de cet idéal.

Cela soulève une question d'interprétabilité critique : quel a priori et quel a posteriori de la tâche latente un BFT entraîné a-t-il réellement intériorisé ? La littérature existante traite cela en comparant les prédictions du BFT à des a posteriori de « référence » (par exemple, un a priori mémorisant vs un a priori généralisant). Les auteurs soutiennent que cette comparaison dans l'espace de prédiction est fragile : des a posteriori distincts peuvent produire des prédictions identiques (par exemple, des moyennes postérieures identiques), ce qui rend impossible la distinction des structures de croyance sous-jacentes uniquement par des métriques de sortie.

Méthodologie : Monte Carlo prédictif (PMC)

Le papier introduit le Monte Carlo prédictif (PMC) comme un outil d'interprétabilité général pour passer de l'évaluation dans l'espace de prédiction à l'espace latent. Le PMC récupère l'a priori et l'a posteriori implicites d'un BFT entraîné en utilisant uniquement la génération du prochain jeton (token), sans inspecter les composants internes du modèle.

La procédure fonctionne comme suit :

Rollout (Déroulement) : Étant donné un prompt $y_{1:\ell}$ (qui peut être vide), le BFT génère de manière autorégressive $R$ déroulements indépendants de longueur $N$ .
Évaluation : Pour chaque déroulement terminé, le paramètre de la tâche latente $\hat{\theta}$ $\hat{θ}$ est calculé comme une fonction de la séquence complète.
- Boules et urnes : Fréquences empiriques des jetons.
- Régression linéaire : Estimateur des moindres carrés ordinaires (OLS) sur les paires $(x, y)$ .
- Chaînes de Markov : Matrice de transition empirique (avec lissage de Laplace).
Inférence :
- Avec un prompt vide, la distribution de $\{\hat{\theta}^{(r)}\}$ approxime l'a priori implicite du BFT.
- Avec un prompt non vide, la distribution approxime l'a posteriori implicite.

La validité de cette récupération repose sur le fait que le processus induit par le BFT satisfait des théorèmes de représentation (de Finetti pour les processus échangeables ; Diaconis–Freedman pour les processus de Markov échangeables), garantissant que la tâche latente est une fonction du chemin infini.

Contributions clés

Unification : Les auteurs unifient trois études disparates d'apprentissage en contexte (ICL) synthétique (boules et urnes, régression linéaire et chaînes de Markov) sous le cadre des BFT $k$ -markoviens échangeables.
Évaluation dans l'espace latent : Ils détournent le PMC en tant qu'outil de boîte noire pour évaluer l'ICL directement dans l'espace latent, contournant l'ambiguïté des comparaisons dans l'espace de prédiction.
Première application : Il s'agit de la première application du PMC aux BFT.
Reproduction phénoménologique : L'étude reproduit deux phénomènes connus d'ICL — le seuil de diversité des tâches et la généralisation transitoire — directement dans l'espace latent des croyances du modèle.

Résultats

Les auteurs ont appliqué le PMC à des BFT entraînés sur trois familles de tâches avec une diversité de tâches ( $M$ ) variable :

Récupération de l'espace latent : Dans toutes les familles, l'a priori récupéré par le PMC correspondait étroitement à l'a priori d'entraînement (a priori empirique $\Pi_M$ ), et l'a posteriori correspondait à l'a posteriori conjugué ou de référence lorsqu'il était conditionné par des prompts de distribution intra-population (in-distribution).
Seuil de diversité des tâches : À mesure que le nombre de tâches de pré-entraînement ( $M$ ) augmentait, l'a posteriori récupéré par le PMC passait d'un suivi de la base mémorisante (a priori empirique) vers la base généralisante (a priori de la population). Cette transition était observable dans l'espace latent même lorsque les métriques de l'espace de prédiction ne montraient pas de transition claire (par exemple, dans le cas des boules et des urnes).
Généralisation transitoire : À une diversité de tâches intermédiaire ( $M=32$ pour la régression linéaire, $M=32$ pour les boules et les urnes, $M=8$ pour les chaînes de Markov), le BFT approchait initialement la base généralisante pendant l'entraînement avant de se spécialiser plus tard dans la base mémorisante. Cette dynamique a été capturée dans l'évolution de l'a posteriori latent, confirmant que le phénomène existe dans les croyances internes du modèle, et pas seulement dans ses sorties.
Comportement hors-distribution (OOD) : Sur les prompts OOD, l'a posteriori du PMC s'écartait souvent des deux bases de référence, suggérant que le modèle ne respecte peut-être pas strictement l'un ou l'autre de ces schéèmes dans ces régimes, ou que les conditions suffisantes de validité du PMC sont mises à l'épreuve.

Signification et affirmations

Les auteurs affirment que l'identifiabilité est la motivation principale pour déplacer l'évaluation de l'ICL vers l'espace latent. Puisque des a posteriori distincts peuvent produire des prédictions identiques, les diagnostics dans l'espace de prédiction sont insuffisants pour déterminer ce qu'un modèle « croit ». En utilisant le PMC, les auteurs démontrent que :

Les BFT ne se contentent pas de mimer les mises à jour bayésiennes ; ils intériorisent des structures spécifiques d'a priori/a posteriori qui peuvent être directement mesurées.
Le « seuil de diversité des tâches » et la « généralisation transitoire » sont des phénomènes robustes qui persistent dans l'espace latent des croyances du modèle.
Le PMC fournit une méthode rigoureuse et agnostique au modèle pour sonder la mécanique bayésienne interne des transformeurs entraînés sur des données hiérarchiques.

Les auteurs restent modestes quant au transfert de ces résultats aux modèles de fondation à grande échelle (LLM). Ils notent que les conditions suffisantes de validité du PMC (échangeabilité asymptotique) sont difficiles à vérifier théoriquement pour de vrais transformeurs et exigeantes empiriquement (nécessitant des budgets de Monte Carlo massifs). Par conséquent, bien que les BFT servent de banc d'essai contrôlé pour ces phénomènes, l'application directe aux LLM de pointe reste une question ouverte nécessitant une vérification supplémentaire de ces conditions théoriques.