Résumé Technique : Raisonnement Relationnel et Biais Inductif dans les Transformers et les Grands Modèles de Langage

Énoncé du Problème

Les modèles basés sur les transformers ont démontré des capacités de raisonnement remarquables, pourtant les mécanismes sous-jacents au raisonnement relationnel — spécifiquement la capacité à inférer des relations entre des éléments indirectement liés — restent mal compris. Un fossé critique existe dans la distinction de la manière dont les modèles réalisent l'inférence transitive (par exemple, si $A > B$ et $B > C$, alors $A > C$) dans deux régimes d'apprentissage distincts :

1. Apprentissage dans les Poids (IWL - In-Weights Learning) : L'information est stockée dans les paramètres du modèle durant l'entraînement.
2. Apprentissage en Contexte (ICL - In-Context Learning) : L'information est fournie dynamiquement au sein de la séquence d'entrée au moment de l'inférence.

Bien que l'ICL ait été étudié dans la classification et la régression, son comportement dans les tâches de raisonnement relationnel reste flou. Il est difficile de déterminer si les grands modèles de langage (LLM) s'appuient sur des connaissances préalables encodées dans les poids ou s'ils réalisent une véritable inférence en contexte, principalement en raison d'un contrôle limité sur les données d'entraînement dans les modèles pré-entraînés. Cet article examine comment ces modes d'apprentissage diffèrent dans leurs biais inductifs et leurs schémas de généralisation en utilisant l'inférence transitive comme tâche prototypique.

Méthodologie

Les auteurs ont employé une approche multifacette combinant des expériences contrôlées sur de petits transformers entraînés à partir de zéro avec des expériences de sondage sur des grands modèles de langage (LLM).

1. Configuration de la Tâche d'Inférence Transitive

La tâche centrale implique une hiérarchie d'éléments (par exemple, $A > B > C > \dots > G$).

• Entrée : Paires d'éléments (tokens) avec des étiquettes indiquant leur ordre relatif (+1 si le premier > le second, -1 sinon).
• Données d'Entraînement : Les modèles sont entraînés exclusivement sur des paires adjacentes (distance symbolique = 1, par exemple $A>B$, $B>C$).
• Évaluation : Les modèles sont testés sur des paires non adjacentes (distance symbolique > 1, par exemple $A>C$) pour mesurer la généralisation transitive.
• Architecture : Un transformer à deux couches, uniquement basé sur l'attention (omettant les MLP pour l'interprétabilité), utilisant des embeddings ResNet18 d'images Omniglot comme caractéristiques d'entrée.

2. Conditions Expérimentales

L'étude compare trois régimes d'entraînement spécifiques :

• IWL (Hiérarchie Fixe) : La hiérarchie est fixe sur toutes les séquences d'entraînement. Les exemples de contexte sont aléatoires et sans rapport, forçant le modèle à apprendre la structure de classement dans ses poids.
• ICL Standard (Hiérarchie Dynamique) : Une nouvelle hiérarchie aléatoire est assignée à chaque séquence d'entraînement. Le contexte contient toutes les paires adjacentes pour cette séquence spécifique. Le modèle doit inférer le classement à partir du contexte, empêchant le stockage de hiérarchies spécifiques dans les poids.
• ICL avec Pré-entraînement par Régression Linéaire : Les modèles sont d'abord pré-entraînés sur une tâche de régression linéaire en contexte (prédire $y = Wx$) où les poids $W$ changent par séquence. Cela force le modèle à apprendre une représentation linéaire latente via l'ICL avant d'être évalué sur la tâche d'inférence transitive.

3. Analyse Mécanistique

Pour comprendre comment les modèles résolvent la tâche, les auteurs ont utilisé :

• Analyse en Composantes Principales (PCA) : Pour visualiser la géométrie des représentations des couches cachées.
• Analyse des Motifs d'Attention : Pour identifier des mécanismes de circuits spécifiques, tels que les « têtes d'induction » (attention au token précédent + têtes d'induction).
• Études d'Ablation : Suppression systématique des têtes d'attention pour tester l'importance causale.

4. Sondage des Grands Modèles de Langage (LLM)

Pour tester la généralisabilité, les auteurs ont utilisé le jeu de données ReCogLab avec des LLM pré-entraînés (familles Gemini et Gemma). Ils ont employé un paradigme de congruence :

• Congruent : Les relations s'alignent avec les connaissances du monde réel (par exemple, Baleine > Dauphin).
• Incongruent : Les relations contredisent les connaissances du monde réel (par exemple, Poisson rouge > Dauphin).
• Échafaudage Géométrique : Les invites ont été augmentées avec des instructions pour imaginer les éléments sur une ligne numérique linéaire (soutenant la transitivité) par opposition à un cercle (violant la transitivité en raison du rebouclage).

Résultats Clés

1. Comportements Divergents en IWL vs ICL Standard

• Modèles IWL : Présentent naturellement une inférence transitive malgré un entraînement uniquement sur des paires adjacentes. Ils affichent des effets comportementaux similaires à l'humain :
  • Effet de Distance Symbolique : La précision augmente à mesure que la distance entre les éléments dans la hiérarchie augmente.
  • Effet des Éléments Terminaux : Meilleure performance sur les éléments aux extrémités de la hiérarchie.
  • Représentations : La PCA révèle une intégration continue et linéaire où les éléments sont disposés selon la distance symbolique signée.
• Modèles ICL Standard : Échouent à généraliser de manière transitive lorsqu'ils sont entraînés uniquement sur des paires adjacentes.
  • Ils atteignent une haute précision sur les paires adjacentes (mémorisation) et les éléments terminaux mais performent au hasard sur les paires internes non adjacentes.
  • Mécanisme : Ils s'appuient sur un circuit d'induction (stratégie de correspondance et de copie) plutôt que sur l'apprentissage de structures relationnelles. La PCA ne montre aucune représentation basée sur la distance ; le modèle copie simplement l'étiquette du contexte si la paire est présente.
  • Note : Si les modèles ICL sont explicitement entraînés sur des paires non adjacentes, ils peuvent apprendre la transitivité, mais ils ne présentent pas l'effet de distance symbolique observé dans l'IWL.

2. Le Rôle du Pré-entraînement Linéaire

• Le pré-entraînement des modèles ICL sur une régression linéaire en contexte modifie fondamentalement leur comportement.
• Ces modèles présentent une inférence transitive, des effets de distance symbolique et des effets d'éléments terminaux sur la tâche d'IT subséquente.
• Mécanisme : Le circuit d'induction disparaît. À la place, le modèle développe des représentations distribuées qui capturent les relations hiérarchiques, similaires aux modèles IWL. La tâche de régression linéaire induit une structure représentative additive (rangs scalaires) où la transitivité émerge mathématiquement ($rang(A) > rang(B) \land rang(B) > rang(C) \implies rang(A) > rang(C)$).

3. Résultats dans les Grands Modèles de Langage

• Congruence : Les LLM performent mieux sur les sondes de raisonnement relationnel congruents (exploitant des connaissances de type IWL stockées) que sur les incongruents (nécessitant un ICL pur).
• Échafaudage Géométrique : Lorsqu'ils sont sollicités avec des tâches incongruentes, les invites de géométrie linéaire (« Imaginez une ligne numérique ») améliorent considérablement l'inférence transitive par rapport aux invites circulaires (« Imaginez un cercle »).
• Cet effet est plus prononcé dans les conditions incongruentes et s'accentue avec la taille du modèle (dans les modèles Gemma), suggérant que les LLM possèdent des représentations linéaires latentes qui peuvent être activées par un cadrage géométrique approprié.

Contributions Clés

1. Caractérisation des Biais Inductifs : L'article démontre que l'IWL et l'ICL conduisent à des stratégies computationnelles qualitativement différentes. L'IWL induit naturellement un biais linéaire et transitif, tandis que l'ICL standard adopte par défaut une stratégie de correspondance et de copie, sauf si les données d'entraînement ou le pré-entraînement nécessitent explicitement une généralisation relationnelle.
2. Explication Mécanistique : Les auteurs identifient que l'absence de généralisation transitive dans l'ICL standard est due à la formation de circuits d'induction (correspondance de motifs) plutôt qu'à l'apprentissage de structures relationnelles. À l'inverse, le pré-entraînement par régression linéaire supprime ces circuits en faveur de représentations linéaires distribuées.
3. Pont entre Petits Modèles et LLM : En utilisant un amorçage géométrique, l'étude montre que les résultats d'expériences contrôlées à petite échelle se généralisent aux LLM modernes. Elle fournit des preuves que la capacité des LLM à réaliser un raisonnement transitif dépend de l'accès à des représentations correctement structurées, soit stockées dans les poids, soit activées via le contexte.

Signification et Revendications

L'article revendique que la capacité d'inférence transitive dans les transformers n'est pas une capacité fixe mais est déterminée de manière critique par :

1. Le Régime d'Entraînement : Si l'information est apprise dans les poids ou en contexte.
2. La Structure Géométrique des Représentations : Si les représentations induites sont linéaires (soutenant la transitivité) ou reposent sur la correspondance de motifs.

Les auteurs concluent que, bien que les transformers puissent réaliser une inférence transitive, l'ICL standard sur des paires adjacentes ne produit pas automatiquement cette capacité. Au lieu de cela, cela nécessite soit un pré-entraînement spécifique induisant des représentations linéaires (comme la régression linéaire), soit l'activation de structures linéaires latentes par un amorçage géométrique dans les LLM. Ce travail souligne que le « raisonnement » dans les LLM peut souvent être le reflet de la structure géométrique des représentations qu'ils sont contraints d'utiliser ou d'accéder, plutôt que d'un mécanisme de déduction logique inhérent.