💬 NLP

What Makes Two Language Models Think Alike?

Cet article introduit une nouvelle méthode de mise en correspondance de l'activité neuronale avec des caractéristiques linguistiques interprétables pour révéler que les similitudes entre 43 modèles de langage divers sont principalement dictées par leur date de sortie et leur famille de modèles plutôt que par leur échelle ou leur classe architecturale.

Auteurs originaux : Louis Jalouzot, Christophe Pallier, Emmanuel Chemla, Yair Lakretz

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Louis Jalouzot, Christophe Pallier, Emmanuel Chemla, Yair Lakretz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une pièce remplie de différents chefs. Certains sont formés à la cuisine française, d'autres à la cuisine japonaise, et d'autres encore sont autodidactes. Ils ont tous le même travail : prédire l'ingrédient suivant dans une recette.

La grande question que les chercheurs se sont posée est la suivante : ces chefs pensent-ils réellement aux ingrédients de la même manière ?

Par exemple, lorsqu'un chef voit une phrase comme « Le chat a poursuivi la souris », se concentre-t-il sur le fait qu'il s'agit d'une histoire d'animaux (la syntaxe), ou se concentre-t-il simplement sur les mots spécifiques « chat » et « souris » (le vocabulaire) ?

L'ancienne méthode : Mesurer la « forme »

Auparavant, les scientifiques essayaient de comparer ces chefs (les modèles d'IA) en observant la « forme » de leurs pensées internes. Imaginez prendre une photo de la façon dont chaque chef dispose ses ingrédients sur un plan de travail. Si les photos sont géométriquement similaires, les scientifiques supposaient que les chefs pensaient de la même manière.

Mais cela présentait un problème : c'était une boîte noire. Cela pouvait dire que deux chefs disposaient leurs ingrédients de manière similaire, mais cela ne pouvait pas expliquer pourquoi. Peut-être que les deux regroupaient les choses par couleur, ou peut-être que les deux les regroupaient par poids. L'ancienne méthode ne pouvait pas expliquer le « pourquoi ».

La nouvelle méthode : La « signature linguistique »

Ce document présente une nouvelle façon plus simple de regarder à l'intérieur de l'esprit des chefs. Au lieu de simplement regarder la forme de l'arrangement, on demande : « À quel point chaque règle spécifique importe-t-elle pour ce chef ? »

Ils ont créé un outil appelé Modèle d'encodage par apprentissage de métriques (MLEM). Voyez cela comme un traducteur qui convertit les pensées internes désordonnées et complexes du chef en un bulletin de notes simple de Caractéristiques Linguistiques.

Ce bulletin de notes répertorie des éléments tels que :

Le temps : La phrase concerne-t-elle le passé ou le futur ?
Le sujet : La phrase concerne-t-elle une personne ou plusieurs personnes ?
La structure de la phrase : Est-ce une phrase simple ou une phrase complexe avec une « proposition relative » (comme « L'homme qui porte un chapeau... ») ?

L'outil mesure à quel point les pensées du chef changent lorsque ces règles changent. Si les pensées du chef basculent radicalement lorsque l'on passe du passé au futur, cette caractéristique a un score élevé sur son bulletin de notes. Ce bulletin de notes est appelé une « Signature Linguistique ».

L'expérience : 43 chefs, 10 familles

Les chercheurs ont testé 43 modèles d'IA différents (les « chefs »). Ces modèles proviennent de différentes « familles » (comme la famille Llama, la famille GPT ou la famille Mamba) et ont des tailles différentes (du minuscule au gigantesque) et des architectures différentes (des façons différentes de construire le cerveau).

Ils ont comparé les Signatures Linguistiques de chaque modèle par rapport à tous les autres.

La grande découverte : C'est une question de « Famille » et d'« Époque », pas de Taille

Les résultats ont été surprenants. Les chercheurs ont découvert que ce qui fait que deux modèles pensent de la même manière n'est pas leur taille, mais qui sont leurs parents et quand ils sont nés.

La famille compte le plus : Les modèles d'une même famille (par exemple, tous les modèles « Llama ») ont des signatures très similaires, même si l'un est minuscule et l'autre est gigantesque. Ils ont été élevés avec les mêmes « recettes d'entraînement » et les mêmes plans architecturaux, donc ils ont appris à donner la priorité aux mêmes règles linguistiques.
La date de sortie compte : La date à laquelle un modèle a été publié est le prédicteur le plus fort de la similitude. C'est comme dire : « Les chefs formés en 2024 pensent plus de la même manière que les chefs formés en 2020. » Cela s'explique par le fait que toute l'industrie change ses techniques ensemble au fil du temps (nouvelles fonctions d'activation, meilleures données d'entraînement, etc.).
La taille ne dicte pas le style : Le simple fait de rendre un modèle plus grand (en ajoutant plus de paramètres) ne le faisait pas soudainement commencer à penser comme un type de modèle complètement différent. Un petit modèle et un modèle géant de la même famille partageaient toujours les mêmes « priorités linguistiques ».

La « boucle » de la pensée

Les chercheurs ont également observé comment ces signatures changeaient à mesure que l'information passait à travers les couches du modèle (comme un message passant dans une course de relais).

Ils ont découvert que les modèles d'une même famille suivent le même chemin. Ils commencent par une certaine focalisation, atteignent un pic de complexité dans les couches intermédiaires, puis reviennent à une focalisation plus simple à la fin. C'est comme une boucle. Cela suggère que, même si les modèles sont de tailles différentes, ils résolvent tous le problème du langage selon les mêmes « pas de danse ».

La conclusion

En résumé, ce document soutient que nous ne devrions pas seulement regarder à quel point un IA est « grande » ou « complexe » pour comprendre comment elle pense. Au lieu de cela, nous devrions regarder sa Signature Linguistique — un profil de ce dont les règles sont les plus importantes pour elle.

L'étude montre que l'architecture et l'échelle sont moins importantes que la « famille » et la « génération » du modèle. Deux modèles peuvent être construits différemment et être de tailles différentes, mais s'ils viennent de la même famille et de la même époque, ils donneront probablement la priorité aux mêmes caractéristiques linguistiques, ce qui les fera « penser de la même manière ».

Résumé technique : Qu'est-ce qui fait que deux modèles de langage pensent de la même manière ?

Énoncé du problème

Les méthodes traditionnelles pour comparer les grands modèles de langage (LLM) reposent sur des mesures de similitude géométrique (par exemple, l'analyse de similitude représentationnelle, l'analyse de corrélation canonique ou la régression linéaire) pour déterminer si deux modèles partagent des espaces représentationnels similaires. Bien que ces méthodes puissent confirmer que les représentations s'alignent, elles fonctionnent comme des « boîtes noires » qui échouent à expliquer pourquoi elles s'alignent. Plus précisément, elles ne peuvent pas distinguer si la similitude provient de stratégies linguistiques explicites partagées (par exemple, l'encodage des mêmes structures syntaxiques) ou de biais lexicaux superficiels.

Cet article traite de la question de savoir si les modèles de langage convergent au niveau algorithmique de la hiérarchie de Marr (le niveau des représentations et des opérations) malgré des choix d'implémentation divergents (architecture et entraînement). Il cherche à identifier quels traits linguistiques spécifiques pilotent les similitudes et les différences entre les modèles, en allant au-delà de la géométrie brute pour atteindre une interprétabilité basée sur les caractéristiques.

Méthodologie : Similitude de signature linguistique

Les auteurs proposent une nouvelle approche utilisant des Modèles d'Encodage par Apprentissage Métrique (MLEM - Metric-Learning Encoding Models) pour mapper l'activité neurale sur des caractéristiques linguistiques interprétables.

Modèles d'Encodage par Apprentissage Métrique (MLEM) :
- Au lieu de prédire des caractéristiques à partir de l'activité neurale (décodage) ou d'ajuster des modèles d'encodage univariés à des neurones individuels, les MLEM apprennent une fonction de distance sur un ensemble de caractéristiques de stimuli interprétables (par exemple, le temps, le nombre du sujet, le type de proposition relative).
- Le modèle apprend une matrice définie positive symétrique $W$ qui pondère les caractéristiques individuelles et leurs interactions.
- L'objectif est de maximiser la corrélation de Spearman entre les distances par paires des plongements neuraux ( $D_N$ ) et les distances par paires des vecteurs de caractéristiques ( $D_F$ ) pondérées par $W$ . Cela préserve la topologie relative des stimuli plutôt que les échelles absolues.
Signatures linguistiques (Profils d'importance des caractéristiques) :
- Pour chaque couche d'un modèle de langage, les auteurs calculent des Importances de Caractéristiques (FI - Feature Importances). Celles-ci sont définies comme la diminution moyenne de la corrélation de Spearman du MLEM lorsqu'une matrice de distance d'une caractéristique spécifique est permutée aléatoirement.
- Ce vecteur FI constitue la signature linguistique de la couche, quantifiant à quel point chaque caractéristique linguistique pilote l'organisation des distances neurales dans cette couche.
- La signature globale d'un modèle est définie par le profil de ces FI par couche.
Mesure de similitude :
- Au niveau de la couche : Les signatures de deux couches spécifiques sont comparées à l'aide de la distance euclidienne (L2).
- Au niveau du modèle : Pour comparer des modèles entiers ayant un nombre de couches différent, les auteurs utilisent la Déformation Temporelle Dynamique Multidimensionnelle (DTW - Multi-dimensional Dynamic Time Warping). Cela permet d'aligner les profils d'importance des caractéristiques le long de l'axe de profondeur, permettant la comparaison de modèles avec des nombres de couches différents ou des points d'émergence de caractéristiques décalés.
- Modélisation prédictive : Un second MLEM est entraîné sur la matrice de similitude au niveau du modèle pour déterminer quelles propriétés du modèle (par exemple, l'architecture, l'échelle, la date de sortie) prédisent le mieux la similitude des signatures linguistiques.

Dispositif expérimental

Modèles : 43 modèles de langage autorégressifs issus de 10 familles, couvrant de 100M à 14B de paramètres.
Architectures : Transformers décodeurs (ex: GPT-2, Llama-3.2, OLMo-2), Modèles d'Espace d'État (Mamba, Mamba-2) et Réseaux de Neurones Récurrents (RWKV-7).
Jeu de données : Un jeu de données synthétique de 7,7k phrases générées via des Grammaires Hors-Contexte (jeu de données de propositions relatives), équilibré pour atténuer les corrélations entre 12 caractéristiques linguistiques (incluant des propriétés syntaxiques, des sites d'attachement et des fréquences lexicales).
Évaluation : Les états cachés du dernier jeton ont été extraits pour tous les modèles.

Résultats clés

1. Dynamique par couche

Performance d'encodage : La performance du MLEM (corrélation de Spearman) suit un profil cohérent à travers les modèles : faible dans les couches peu profondes et profondes, culminant dans les couches intermédiaires (0,5–0,7). Cela concorde avec les découvertes antérieures selon lesquelles l'information syntaxique est principalement traitée dans les couches intermédiaires.
Évolution des caractéristiques : Les caractéristiques syntaxiques (type de proposition relative, site d'attachement) montrent une importance maximale dans les couches intermédiaires.
Trajectoires de famille : Les modèles appartenant à la même famille tracent des trajectoires remarquablement similaires dans un espace PCA partagé des signatures linguistiques, même lorsqu'ils diffèrent significativement en nombre de paramètres et en profondeur. Certaines familles présentent des trajectoires « en boucle » où les couches finales reviennent proches des signatures des couches initiales, reflétant potentiellement les contraintes imposées par l'objectif de prédiction du jeton suivant.

2. Moteurs de la similitude des modèles

Principaux moteurs : La similitude entre les signatures linguistiques des modèles est pilotée le plus fortement par la date de sortie et la famille de modèles.
- La Date de sortie agit comme un proxy du développement général des LLM, résumant les changements corrélés dans l'architecture, la normalisation, l'encodage positionnel et les données d'entraînement.
- La Famille de modèles indique que les signatures linguistiques sont façonnées par des lignées architecturales spécifiques plutôt que par la seule échelle.
Moteurs secondaires/mineurs : Le nombre de paramètres, le nombre de jetons d'entraînement et la profondeur apportent des contributions plus faibles.
Classe d'architecture : Une fois les facteurs de famille et de date de sortie pris en compte, la classe d'architecture globale (Transformer vs SSM vs RNN) contribue peu à expliquer la similitude.

3. Convergence vs Divergence

Les résultats soutiennent une version partielle de l'Hypothèse de la Représentation Platonicienne. Bien que différentes architectures puissent partager des profils représentationnels, elles ne convergent pas vers un point final unique à mesure que l'échelle augmente. Au lieu de cela, la convergence est structurée par la famille de modèles et la génération.
L'analyse au niveau des caractéristiques confirme que des signatures similaires correspondent à une organisation réelle de l'espace neural concernant les caractéristiques dominantes (validée via le MDS multidimensionnel), tandis que des signatures dissemblables montrent des schémas de regroupement distincts.

Signification et affirmations

L'article affirme fournir une méthode pour lier directement les descriptions symboliques théoriquement motivées aux représentations neurales. En passant des comparaisons géométriques brutes à une similitude basée sur les caractéristiques, l'approche :

Explique l'alignement : Elle va au-delà de l'affirmation que les modèles sont similaires pour expliquer pourquoi (c'est-à-dire qu'ils priorisent les mêmes variables linguistiques).
Remet en question la primauté de l'échelle et de l'architecture : Elle suggère que la « façon » dont les modèles de langage résolvent le traitement du langage est davantage façonnée par la famille de modèles et la génération (date de sortie) que par l'échelle ou les classes architecturales spécifiques.
Généralisabilité : Les auteurs postulent que ce cadre de comparaison basé sur les caractéristiques peut être étendu à d'autres domaines (parole, vision) et même à d'autres systèmes neuraux (cerveaux biologiques) dès lors que les stimuli peuvent être appariés à des caractéristiques théoriques explicites.

Le travail ne prétend pas résoudre entièrement le problème de l'interprétabilité, mais offre une métrique interprétable spécifique pour comparer les « priorités linguistiques » de différents systèmes neuraux.