🤖 machine learning

MetaOthello: A Controlled Study of Multiple World Models in Transformers

Cet article introduit MetaOthello, une suite contrôlée de variantes d'Othello démontrant que les transformers entraînés sur de multiples règles de jeu n'isolent pas leur apprentissage en sous-modèles distincts, mais convergent plutôt vers une représentation partagée et causalement transférable de l'état du plateau qui organise de multiples modèles de monde à travers une spécialisation par couches et un alignement géométrique.

Auteurs originaux : Aviral Chawla, Galen Hall, Juniper Lovato

Publié 2026-07-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aviral Chawla, Galen Hall, Juniper Lovato

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot chef géant et super intelligent. Habituellement, nous pensons à ces robots comme apprenant une recette à la fois. Mais dans le monde réel, un robot pourrait devoir savoir comment cuire un gâteau, cuire un steak et faire des sushis tout à la fois, en passant de l'un à l'autre instantanément selon la commande du client.

La grande question que les chercheurs se sont posée est la suivante : Comment ce robot garde-t-il ces différents « mondes » dans sa tête sans s'embrouiller ? Construit-il trois cuisines séparées à l'intérieur de son cerveau ? Ou utilise-t-il une seule grande cuisine en changeant simplement les règles à la volée ?

Pour le découvrir, les auteurs ont créé un terrain de jeu appelé MetaOthello.

Le terrain de jeu : Un jeu aux règles multiples

Considérez l'Othello (également connu sous le nom de Reversi) comme un jeu de plateau où l'on place des disques noirs et blancs. Le but est de retourner les disques de l'adversaire à votre couleur.

Les chercheurs n'ont pas seulement créé une version du jeu. Ils ont créé un « multivers » d'Othello :

Othello Classique : Les règles standards.
NoMidFlip : Identique au Classique, mais vous ne pouvez retourner que les disques les plus extérieurs, pas ceux du milieu.
DelFlank : Une version sauvage où les disques peuvent être supprimés au lieu d'être retournés, et où le jeu commence avec des pièces réparties différemment.
Iago : Exactement les mêmes règles que le Classique, mais les noms des mouvements sont brouillés (comme appeler « A1 » au lieu de « 1,1 »).

Ils ont entraîné de petits modèles d'IA (des Transformers) pour jouer à ces jeux. Parfois, ils les ont entraînés sur un seul jeu ; d'autres fois, ils les ont jetés dans le grand bain, en les nourrissant d'un mélange aléatoire de toutes ces différentes versions.

La grande découverte : Un cerveau, plusieurs chapeaux

Les chercheurs s'attendaient à ce que si l'IA apprend plusieurs jeux, elle puisse diviser son cerveau en « sous-modèles » distincts — comme si un « Chef Classique » et un « Chef DelFlank » vivaient dans la même tête.

Ils se sont trompés.

Au lieu de cela, l'IA a appris à partager une « carte mentale » unique et universelle du plateau.

La Carte Partagée : Que l'IA joue au Classique ou au NoMidFlip, elle utilise exactement la même représentation interne pour comprendre où se trouvent les pièces. C'est comme si le robot chef utilisait la même image mentale d'un plan de travail, qu'il prépare un gâteau ou un steak.
La Preuve : Les chercheurs ont utilisé une « sonde » (un outil simple qui lit l'esprit de l'IA) entraînée sur l'Othello Classique. Lorsqu'ils ont utilisé cet outil pour lire l'esprit de l'IA pendant qu'elle jouait au NoMidFlip, cela a fonctionné presque parfaitement. L'IA n'utilisait pas deux cartes différentes ; elle utilisait une seule carte partagée pour les deux.

Comment gère-t-elle la confusion ?

Voici la partie délicate. Au début d'une partie, un mouvement peut être légal à la fois dans le Classique et dans le NoMidFlip. Mais plus tard, un mouvement peut être légal dans l'un mais illégal dans l'autre. Comment l'IA sait-elle quel manuel de règles suivre ?

Les chercheurs ont découvert que l'IA utilise un circuit de « policier de la circulation » spécialisé au milieu de son cerveau (plus précisément autour de la Couche 5).

Le Substrat Partagé : L'IA conserve la carte partagée du plateau pour tout le monde.
Le Détecteur de Conflit : Lorsqu'elle voit un mouvement qui pourrait appartenir à n'importe lequel des deux jeux, une partie spécifique du cerveau s'allume pour calculer : « Est-ce un mouvement Classique ou un mouvement NoMidFlip ? »
Le Commutateur : Ce policier de la circulation redirige ensuite l'information. S'il décide que c'est du « Classique », l'IA suit les règles du Classique. Si c'est du « NoMidFlip », elle suit ces règles.

C'est comme une gare avec une voie principale (le plateau partagé) qui se divise en deux lignes différentes (les règles spécifiques) juste avant la destination. L'IA ne construit pas deux gares distinctes ; elle possède simplement une gare avec un commutateur intelligent.

Le rebondissement de l'« Out of Distribution »

Les chercheurs ont également testé ce qui se passe lorsque les jeux sont très différents (comme le Classique vs le DelFlank). Dans ce cas, les jeux divergent si rapidement qu'après seulement quelques coups, il est presque impossible qu'une séquence soit valide dans les deux versions.

Ici, l'IA change de stratégie. Au lieu de garder les deux possibilités actives et d'attendre un commutateur, elle se décide tôt. Elle choisit un monde (généralement celui qu'elle voit le plus souvent) et abandonne l'autre. Si vous essayez de lui faire mémoriser le jeu « oublié » plus tard, vous devez intervenir très tôt dans son processus de réflexion pour la faire changer de voie.

L'expérience « Iago » : Même jeu, langage différent

Enfin, ils ont testé la version « Iago », où les règles sont identiques au Classique, mais les mots utilisés pour les mouvements sont brouillés.

Le Résultat : L'IA a appris exactement la même structure interne. La seule différence était une simple « rotation » mathématique (comme tourner une carte de 90 degrés).
La Signification : L'IA ne se souciait pas des mots de surface (le vocabulaire) ; elle a appris la structure abstraite du jeu. C'est comme réaliser qu'une carte de Londres ressemble à la même chose, que l'on lise les noms de rues en anglais ou en français.

Résumé

L'article conclut que lorsque les Transformers apprennent plusieurs « mondes » (règles ou contextes différents), ils ne construisent pas des pièces séparées pour chacun. Au lieu de cela, ils :

Partagent une représentation centrale de l'état (le plateau).
Localisent le conflit dans un circuit spécifique et restreint qui sert de commutateur.
Économisent les ressources en ne construisant des mécanismes supplémentaires que là où les règles s'affrontent réellement.

Cela suggère que même les modèles d'IA complexes sont étonnamment efficaces : ils n'ont pas besoin d'un cerveau séparé pour chaque tâche ; ils ont juste besoin d'un cerveau partagé avec un moyen intelligent de changer de vitesse.

Résumé technique : MetaOthello : Une étude contrôlée de modèles de monde multiples dans les Transformers

Énoncé du problème

Les modèles de fondation sont entraînés sur des données diverses et doivent simultanément apprendre de multiples processus génératifs, en changeant souvent de processus selon le contexte. Bien que l'interprétabilité mécaniste ait identifié avec succès des « modèles de monde » (représentations internes de l'état latent) dans des contextes à tâche unique comme Othello-GPT, il reste difficile de savoir comment un transformer unique organise plusieurs modèles de monde, potentiellement conflictuels, au sein d'un espace de représentation partagé. Les études précédentes isolent généralement un seul système de règles, échouant ainsi à traiter la manière dont les modèles gèrent des données hétérogènes où plusieurs systèmes de règles coexistent et peuvent entrer en conflit.

Méthodologie : Le cadre MetaOthello

Pour combler cette lacune, les auteurs introduisent MetaOthello, un cadre synthétique contrôlé pour étudier l'organisation des modèles de monde multiples.

Variantes de jeu : Le cadre définit un univers de jeux de type Othello joués sur un plateau de $8 \times 8$ $8 \times 8$ avec un vocabulaire partagé (64 positions + passe). Les jeux diffèrent par leur physique sous-jacente :
- Classic : Règles standard de l'Othello.
- NoMidFlip : Initialisation et validation identiques à Classic, mais la règle de mise à jour ne retourne que les deux tuiles les plus externes encadrées.
- DelFlank : Utilise une règle de validation basée sur le voisinage (les mouvements doivent être adjacents à une pièce) et une règle de mise à jour où les pièces encadrées sont supprimées plutôt que retournées.
- Iago : Une variante de permutation où le vocabulaire des jetons est permuté via une bijection (Carte de Syntaxe) par rapport aux mouvements physiques du plateau, tandis que la logique sous-jacente reste identique à Classic.
Régime d'entraînement : De petits Transformers décodeurs uniquement (8 couches, 8 têtes, $d_{model}=512$ $d_{m o d e l} = 512$ ) sont entraînés sur :
- Jeux purs : Séquences issues d'une seule variante de jeu.
- Jeux mixtes : Séquences échantillonnées à partir de paires de variantes (ex: Classic + NoMidFlip), créant des préfixes « ambigus » qui sont valides sous les deux ensembles de règles mais mènent à des états de plateau différents.
Métriques d'évaluation :
- $\alpha$ -Score : Une métrique de performance normalisée tenant compte de l'entropie de l'ensemble des mouvements valides, permettant la comparaison entre des jeux ayant des facteurs de branchement différents.
- Sondes linéaires (Linear Probes) : Entraînées pour décoder les états du plateau (mien/vôtre/vide) et l'identité du jeu à partir du flux résiduel.
- Intervention causale : Utilisation des poids des sondes pour diriger l'état interne du modèle (ex: retourner l'état d'une tuile dans la représentation) afin de tester l'efficacité causale.
- Alignement de Procruste : Utilisé pour mesurer la similitude géométrique entre les poids des sondes à travers différentes variantes de jeu, identifiant des rotations orthogonales qui alignent les représentations.

Principaux résultats

1. Alignement inter-variantes et représentations partagées

Les transformers entraînés sur des données mixtes ne partitionnent pas leur capacité en sous-modèles isolés. Au lieu de cela, ils apprennent une représentation partagée de l'état du monde :

Alignement géométrique : Des sondes linéaires entraînées sur une variante (ex: Classic) peuvent effectivement intervenir sur l'état interne d'une autre variante (ex: NoMidFlip ou DelFlank).
Invariance par rotation : Pour les jeux isomorphes avec une tokenisation permutée (Iago), les représentations sont équivalentes à une rotation orthogonale unique qui se généralise à travers toutes les couches. Cela indique que le modèle apprend une structure abstraite indépendante des jetons de surface.
Efficacité causale : Les interventions par sondes croisées sont presque aussi efficaces que les interventions par sondes appariées, suggérant que la géométrie causale sous-jacente de l'état du plateau est partagée.

2. Économisation et résolution de conflits

Le modèle ne maintient pas deux modèles de monde entièrement distincts simultanément. Il procède plutôt à une économie en partageant les représentations là où les règles concordent et en localisant le conflit :

Substrat partagé : La représentation de l'état du plateau est véritablement partagée.
Conflit localisé : Une « caractéristique de conflit » (conflict feature) ténue, calculée séparément, détermine quelle règle s'applique lorsque les règles divergent.
Spécialisation des couches : Dans le mélange Classic-NoMidFlip, le modèle maintient les deux états de plateau jusqu'à ce qu'un conflit survienne. La probabilité de l'identité du jeu est encodée à partir de la Couche 4 (via l'MLP) et est acheminée à travers la Couche 5 (spécifiquement la Tête d'Attention 5). Diriger ce circuit spécifique de manière causale contrôle quel système de règles le modèle applique à un préfixe ambigu.

3. Régimes d'arbitrage distincts

Le mécanisme de gestion de l'ambiguïté dépend du degré de divergence entre les systèmes de règles :

Forte superposition (Classic-NoMidFlip) : Le modèle maintient les deux états de plateau et repondère un sous-espace partagé au milieu de la couche au point de conflit.
Faible superposition (Classic-DelFlank) : Parce que l'arbre de jeu de DelFlank diverge rapidement de celui de Classic, les séquences ambiguës deviennent rapidement hors distribution (out-of-distribution). Dans ce régime, le modèle s'engage tôt sur un modèle de monde unique (Classic) et rejette l'alternative. La récupération de l'interprétation supprimée nécessite d'intervenir dans les couches précoces (2–3), et non dans les couches médianes.

Signification et affirmations

L'article positionne MetaOthello comme une contribution méthodologique à l'interprétabilité mécaniste, offrant un « banc d'essai de vérité terrain » pour valider des techniques avant de les appliquer à des données naturelles plus complexes.

Résolution du paradoxe : L'étude résout le paradoxe apparent de savoir comment les modèles peuvent avoir des représentations interchangeables pour différents jeux tout en parvenant à les distinguer. La réponse réside dans un substrat partagé pour l'état commun et un circuit de routage localisé pour la résolution des conflits.
Implications pour les grands modèles : Les conclusions suggèrent que les grands modèles de fondation organisent leurs connaissances hétérogènes non pas en partitionnant la capacité en sous-réseaux distincts, mais en partageant des structures alignées et en localisant les conflits dans des circuits identifiables et pilotables.
Limites : Les auteurs reconnaissent que ces résultats sont établis dans un cadre synthétique contrôlé. L'étude teste uniquement des mélanges par paires et une échelle d'architecture spécifique, laissant les effets des mélanges déséquilibrés, des échelles plus grandes et de l'arbitrage multi-voies comme des questions ouvertes. L'analyse repose sur des sondes linéaires, et des structures non linéaires pourraient révéler des mécanismes supplémentaires.

En résumé, l'article démontre que les transformers réconcilient des modèles de monde conflictuels en partageant la structure et en localisant le conflit, fournissant une vue mécaniste concrète de la manière dont l'apprentissage multi-tâche opère dans les modèles de séquence.