🤖 AI

Emergent Analogical Reasoning in Transformers

Ce papier formalise le raisonnement analogique dans les Transformers à travers le prisme des foncteurs de la théorie des catégories, démontrant, au moyen de tâches synthétiques et d'une analyse mécaniste, qu'il émerge de l'alignement géométrique des structures relationnelles et de l'application des foncteurs, avec des résultats qui s'avèrent vrais pour les grands modèles de langage préentraînés.

Auteurs originaux : Gouki Minegishi, Jingyuan Feng, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gouki Minegishi, Jingyuan Feng, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Comment l'IA apprend à « comprendre la blague »

Imaginez que vous enseigniez à un robot à comprendre le monde. Vous lui montrez une image d'un Soleil et d'une Planète en orbite autour de lui. Ensuite, vous lui montrez une image d'un Proton et d'un Électron en orbite autour de lui.

Un humain voit immédiatement le lien : « Oh ! Le Soleil est comme le Proton, et la Planète est comme l'Électron. » Nous n'avons pas appris cela parce que le Soleil ressemble au Proton (ils sont très différents). Nous l'avons appris parce qu'ils jouent le même rôle dans leurs systèmes respectifs. C'est ce qu'on appelle l'analogie.

Ce papier se demande : Comment les modèles d'IA (Transformers) apprennent-ils à faire ces « bonds » de logique ? Se contentent-ils de mémoriser des faits, ou comprennent-ils réellement la structure sous-jacente ?

L'Expérience : Un Terrain de Jeu Synthétique

Pour le découvrir, les chercheurs ont construit un « monde de jouet » pour l'IA.

Le Déroulement : Ils ont créé deux groupes distincts de personnages (appelons-les Groupe A et Groupe B).
Les Règles : Dans le Groupe A, chaque personnage a des relations spécifiques avec les autres (par exemple, « Alice est le patron de Bob »). Dans le Groupe B, les personnages sont différents (par exemple, « X est le patron de Y »), mais le schéma des relations est identique à celui du Groupe A.
Le Test : L'IA est entraînée sur le Groupe A. Ensuite, on lui demande : « Si Alice est le patron de Bob, et que X est le patron de Y, qui est le patron de Z ? » L'IA doit comprendre que « X » correspond à « Alice » et que « Y » correspond à « Bob » simplement en observant la structure des relations, et non les noms.

Ce qu'ils ont Découvert : La Poussée de Croissance en Trois Étapes

Les chercheurs ont observé l'IA apprendre au fil du temps et ont constaté que cela se produit en trois étapes distinctes, comme un enfant grandissant :

Mémorisation (L'Apprenti par Cœur) : D'abord, l'IA mémorise simplement les faits spécifiques qu'elle voit. Si elle voit « Alice est le patron de Bob », elle se souvient de ce couple exact.
Composition (Le Résolveur d'Énigmes) : Ensuite, elle apprend à enchaîner les faits. Si « Alice est le patron de Bob » et que « Bob est le patron de Carol », elle peut déduire que « Alice est le patron de Carol ».
Analogie (Le Penseur Intuitif) : Enfin, et c'est le plus important, elle apprend à mapper la structure du Groupe A vers le Groupe B. Elle réalise : « Je n'ai pas besoin de savoir qui est X ; je dois juste savoir que X joue le même rôle qu'Alice. »

Résultat Clé : Cette dernière étape de « perspicacité » est très fragile. Elle ne se produit pas automatiquement simplement en rendant l'IA plus grande. Elle nécessite la bonne quantité de données, la bonne vitesse d'entraînement et des paramètres spécifiques. Si l'entraînement est trop désordonné ou si les données sont trop clairsemées, l'IA ne fait jamais le bond.

La Sauce Secrète : Comment l'IA le Fait Réellement

Les chercheurs n'ont pas seulement regardé l'IA résoudre le problème ; ils ont examiné l'intérieur de son « cerveau » (ses mathématiques internes) pour voir comment elle le résout. Ils ont découvert deux étapes magiques se produisant à l'intérieur du modèle :

1. La « Danse Géométrique » (Alignement Structurel)

Imaginez que l'IA possède une immense carte 3D où chaque personnage est un point.

Avant l'apprentissage : Les points du Groupe A et du Groupe B sont dispersés au hasard. Ils ne semblent pas liés.
Après l'apprentissage : L'IA réorganise les points. Soudain, le point pour « Alice » et le point pour « X » se rapprochent dans l'espace 3D. Le point pour « Bob » et « Y » se rapprochent aussi.
La Métaphore : C'est comme deux pistes de danse séparées. Au début, les danseurs bougent au hasard. Ensuite, la musique change, et les danseurs des deux pistes commencent à se mirer parfaitement. L'IA a aligné la géométrie des deux groupes.

2. Le « Vecteur Magique » (Le Foncteur)

Une fois les points alignés, l'IA utilise un simple tour de mathématiques pour résoudre l'énigme.

Elle traite la relation entre les deux groupes comme un vecteur (une direction et une distance).
Elle fait essentiellement ce calcul : Personnage Cible = Personnage Source + Direction Magique.
La Métaphore : Imaginez que vous avez une carte de Londres. Vous voulez savoir où se trouve Paris par rapport à Londres. Vous n'avez pas besoin de mémoriser chaque rue de Paris. Vous avez juste besoin d'une « flèche de traduction » qui dit « Déplacez-vous de 200 miles vers l'Est ». L'IA trouve cette « flèche de traduction » (qu'ils appellent un foncteur) et l'ajoute au personnage source pour trouver la réponse.

Cela se Produit-il dans l'IA Réelle ?

Les chercheurs ont testé cela sur d'énormes modèles d'IA pré-entraînés (comme Gemma et Llama) qui n'avaient jamais été entraînés sur leur jeu de jouet spécifique.

Le Résultat : Oui ! Même si ces grands modèles n'ont pas été explicitement enseignés le jeu de jouet, lorsque vous leur demandez de résoudre une analogie, ils passent par le même processus.
Le Voyage Couche par Couche : Dans le modèle de jouet, cela se produisait dans le temps (à mesure que les étapes d'entraînement augmentaient). Dans les grands modèles, cela se produit dans la profondeur (à mesure que les données traversent les couches du réseau). Les premières couches sont désordonnées, mais au moment où les données atteignent les couches finales, la « danse géométrique » s'est alignée et la « flèche magique » est appliquée pour donner la bonne réponse.

Résumé

Ce papier montre que le raisonnement analogique n'est pas juste un vague « sentiment » que l'IA aurait. C'est un processus concret et mécanique où l'IA :

Aligne les formes de deux mondes différents dans sa carte interne.
Trouve une simple « flèche de traduction » pour passer de l'un à l'autre.
Utilise cette flèche pour sauter d'un monde à l'autre.

Cela prouve que l'IA moderne peut faire plus que mémoriser ; elle peut apprendre à voir les structures cachées qui relient différentes idées, tout comme un humain le fait.

Résumé technique : Raisonnement analogique émergent dans les Transformers

Énoncé du problème

Bien que les grands modèles de langage (LLM) aient démontré des progrès remarquables dans le raisonnement compositionnel — où des conclusions complexes sont dérivées en enchaînant des étapes simples et locales — les mécanismes sous-jacents au raisonnement analogique restent mal compris. Le raisonnement analogique diffère qualitativement de la composition ; il implique l'identification de structures relationnelles partagées à travers des domaines distincts pour permettre des « sauts » dans l'inférence (par exemple, mapper le système solaire sur la structure atomique) plutôt que d'enchaîner des relations locales. Bien que l'analogie soit considérée comme une faculté centrale de l'intelligence humaine et une source de créativité, il est incertain quand et comment les architectures Transformer acquièrent cette capacité, ou si elle repose sur les mêmes mécanismes que le raisonnement compositionnel.

Méthodologie

Les auteurs proposent un cadre contrôlé pour étudier l'émergence du raisonnement analogique, inspiré par le concept de foncteurs en théorie des catégories.

1. Formalisation et tâche synthétique

Les auteurs formalisent l'analogie comme l'inférence de correspondances entre entités à travers des catégories. Ils conçoivent une tâche synthétique impliquant :

Entités et relations : Deux ensembles disjoints d'entités ( $E_1, E_2$ ) représentant deux catégories. Un graphe complet dirigé de relations est construit sur $E_1$ .
Mappage fonctoriel : Une bijection $F: E_1 \to E_2$ définit une correspondance un à un, transférant la structure relationnelle de $E_1$ vers $E_2$ de telle sorte que $r(F(e_s), F(e_t)) = r(e_s, e_t)$ .
Types de faits :
- Faits atomiques : Relations simples $(e_s, r, e_t)$ .
- Faits compositionnels : Relations à deux sauts dérivées de faits atomiques.
- Faits analogiques : Mappages inter-catégories $(e_s, f, F(e_s))$ , où $f$ est un token foncteur spécial.
Évaluation : Le modèle est entraîné sur des faits en distribution (ID) et évalué sur des faits compositionnels et analogiques hors distribution (OOD). Le succès nécessite de généraliser au-delà de la mémorisation pour capturer la structure relationnelle sous-jacente.

2. Configuration expérimentale

Modèles : Transformers causaux légers (1 couche, 1 tête) pour l'analyse mécaniste, et LLM préentraînés (Gemma-2-2B/9B, LLaMA) pour la validité externe.
Entraînement : Entraînés avec une perte d'entropie croisée sur le token final. Les hyperparamètres (décroissance des poids, taille de lot, taux d'apprentissage) et les caractéristiques des données (nombre d'entités, de relations, ratios OOD) sont systématiquement variés.
Analyse mécaniste : Les auteurs emploient :
- Énergie de Dirichlet : Pour quantifier l'alignement géométrique des plongements d'entités dans l'espace de représentation.
- Logit Lens et sondes linéaires : Pour suivre l'évolution des prédictions et de la structure de représentation à travers les couches du Transformer.
- Analyse de l'attention : Pour mesurer la récupération d'information depuis les entités sources vers le token foncteur.

Contributions et résultats clés

1. Dynamique d'entraînement et sensibilité

L'étude révèle une dynamique d'apprentissage en trois étapes distincte pour le raisonnement analogique :

Mémorisation : Le modèle ajuste les faits en distribution.
Raisonnement compositionnel : Le modèle apprend à enchaîner les relations.
Raisonnement analogique : Le modèle acquiert enfin la capacité de mapper à travers les catégories.

Crucialement, contrairement au raisonnement compositionnel, l'émergence du raisonnement analogique est hautement sensible à :

Caractéristiques des données : Elle nécessite une diversité relationnelle suffisante (nombre de relations) et échoue si le ratio OOD est trop élevé. Elle émerge plus tardivement à mesure que le nombre d'entités augmente.
Optimisation : Une décroissance des poids modérée accélère l'émergence, mais une décroissance excessive l'empêche. Des tailles de lot plus grandes aident généralement.
Mise à l'échelle du modèle : Les performances ne s'améliorent pas de manière monotone avec la taille du modèle. Des modèles très larges (par exemple, $d_{model}=512$ ) ou plus profonds échouent souvent à acquérir le raisonnement analogique dans des paramètres par défaut, suggérant qu'il repose sur des alignements structurels spécifiques plutôt que sur la simple capacité.

2. Décomposition mécaniste

Les auteurs décomposent l'implémentation de l'analogie dans les Transformers en deux composantes géométriques :

Alignement structurel : Avant que l'analogie n'émerge, l'espace de plongement subit une réorganisation où les entités de différentes catégories deviennent géométriquement alignées en fonction de leurs rôles relationnels. Ceci est quantifié par une diminution significative de l'énergie de Dirichlet.
Application du foncteur : Une fois alignées, les Transformers appliquent le foncteur via une opération d'arithmétique vectorielle. Le mécanisme implique :
- Le token foncteur $f$ portant attention à l'entité source $e_s$ .
- Des connexions résiduelles intégrant cette information de telle sorte que la représentation de l'entité cible approxime $e_t \approx e_s + f$ .
- Ceci est démontré par l'augmentation des scores d'attention de $f$ vers $e_s$ et une forte parallélisme entre la différence vectorielle $(e_t - e_s)$ et le plongement du foncteur $f$ .

3. Présence dans les LLM préentraînés

L'étude valide ces résultats dans des LLM préentraînés (Gemma-2, LLaMA) en utilisant l'apprentissage en contexte :

Émergence par couche : Au lieu de se produire sur des étapes d'entraînement, l'alignement géométrique (diminution de l'énergie de Dirichlet) et la hausse subséquente de la probabilité cible se produisent progressivement à travers la profondeur des couches du réseau.
Robustesse : Ces signatures persistent à travers différentes familles de modèles et nombres variables d'entités, indiquant que le mécanisme géométrique pour l'analogie est une propriété fondamentale de l'inférence Transformer.

Signification et affirmations

L'article prétend faire passer l'étude de l'analogie d'une notion cognitive abstraite à un phénomène concret et mécaniquement ancré dans les réseaux de neurones.

Mécanisme distinct : Le travail démontre que le raisonnement analogique est qualitativement distinct du raisonnement compositionnel, reposant sur des alignements géométriques spécifiques dans l'espace de plongement plutôt que sur une simple augmentation de la capacité du modèle ou une régularisation de la norme des poids.
Interprétabilité : En reliant le concept abstrait de « foncteur » à une arithmétique vectorielle concrète ( $e_t \approx e_s + f$ ) et à des mécanismes d'attention, l'article fournit une explication mécaniste de la façon dont les Transformers effectuent une inférence inter-domaine.
Fondement pour le travail futur : Les auteurs positionnent ce travail comme une première étape vers la compréhension de la façon dont les modèles pourraient atteindre un apprentissage efficace en échantillons et la créativité par l'analogie. Ils reconnaissent des limites, telles que l'utilisation de tokens foncteurs explicites et d'un isomorphisme structurel parfait dans les tâches synthétiques, notant que les analogies réelles sont souvent partielles et manquent d'indices explicites. Cependant, ils soutiennent que les signatures géométriques identifiées offrent une base pour investiguer des contextes de raisonnement analogique plus naturalistes.