Discovering Cross-Language Reasoning Invariance in LLMs with Geometry-Invariant Sparse Autoencoders

Les grands modèles de langage sont les moteurs de nombreux outils d'intelligence artificielle les plus avancés d'aujourd'hui, capables de lire, d'écrire et de résoudre des problèmes dans des dizaines de langues. Depuis des années, les chercheurs se demandent comment ces systèmes gèrent la complexité du multilinguisme. Lorsqu'un modèle résout un problème mathématique en anglais, puis résout exactement le même problème en chinois, utilise-t-il la même machinerie mentale interne pour les deux, ou passe-t-il à un ensemble de règles complètement différent pour chaque langue ? Cette question est cruciale car si le modèle utilise un langage interne partagé pour le raisonnement, nous pourrions comprendre sa logique une fois pour toutes et l'appliquer à chaque langue qu'il parle. Si, en revanche, il repose sur des voies distinctes et spécifiques à chaque langue, alors comprendre une version du modèle nous en apprend très peu sur les autres. Le domaine de l'interprétabilité mécaniste tente de regarder à l'intérieur de ces modèles pour voir comment ils fonctionnent, en traitant leurs états internes comme un circuit imprimé complexe qui peut être cartographié et compris.

Une équipe de chercheurs s'est donné pour mission de répondre à cette question en scrutant le fonctionnement interne de cinq modèles de langage différents. Ils se sont concentrés sur une tâche spécifique : la résolution de problèmes mathématiques de niveau école primaire. Ils ont pris un ensemble de données de 250 problèmes mathématiques et ont demandé à chaque modèle de les résoudre dans six langues différentes : l'anglais, l'allemand, le français, l'espagnol, le russe et le chinois. Pour s'assurer qu'ils comparaient bien des éléments comparables, ils n'ont conservé que les problèmes où le modèle obtenait la bonne réponse et produisait un chemin de raisonnement clair, étape par étape, dans chaque langue. Les chercheurs ont ensuite enregistré l'activité interne du modèle à diverses étapes du processus, capturant les motifs spécifiques de signaux semblables à de l'électricité qui se propageaient à l'intérieur de l'ordinateur pendant qu'il réfléchissait à la solution.

Pour donner un sens à ces signaux complexes, les chercheurs ont utilisé un outil appelé auto-encodeur parcimonieux (sparse autoencoder). Vous pouvez imaginer cela comme un moyen de traduire le bruit interne chaotique du modèle en une liste de concepts distincts et compréhensibles. Tout comme un humain pourrait décrire une scène en énumérant ses éléments clés — ciel, arbre, chien, voiture — l'auto-encodeur décompose l'activité du modèle en un ensemble de caractéristiques actives. Les chercheurs ont entraîné deux versions de cet outil pour chaque couche des modèles. La première version apprenait simplement à décrire ce qu'elle voyait dans une seule langue. La seconde version a été entraînée avec une instruction spéciale : elle devait apprendre à décrire le même problème mathématique en utilisant le même ensemble de caractéristiques, que le problème soit présenté en anglais ou en chinois. Cette deuxième version était conçue pour forcer le modèle à trouver un terrain d'entente, un langage interne partagé pour le raisonnement.

Les résultats ont révélé une réalité surprenante sur la façon dont ces modèles pensent. Les chercheurs ont découvert que le simple fait de rendre les descriptions internes plus similaires géométriquement ne garantissait pas que le modèle utilisait réellement la même logique. Dans certains modèles, forcer l'alignement des caractéristiques internes entre les langues rendait le raisonnement du modèle plus robuste et interchangeable. Dans d'autres, cela ne faisait aucune différence et, dans un cas, cela a même dégradé les performances du modèle lorsqu'ils ont tenté d'échanger des parties du raisonnement d'une langue à l'autre. Cela s'est produit parce que les modèles avaient déjà adopté des habitudes très différentes. Une famille de modèles développait naturellement une pensée partagée à mesure qu'elle progressait dans le problème, de sorte que le nouvel entraînement aidait à affiner ce chemin commun. Une autre famille avait déjà construit une structure partagée si forte que le nouvel entraînement n'avait rien à ajouter. Une troisième famille gardait ses langues strictement séparées, et la tentative de les fusionner a créé de la confusion plutôt que de la clarté.

L'étude a examiné cinq modèles spécifiques issus de quatre familles différentes, allant de 1,7 à 4 milliards de paramètres. Ils ont découvert que le succès de la création d'un langage de raisonnement partagé dépendait entièrement de l'architecture existante du modèle. Dans les modèles présentant un profil « convergent », où les caractéristiques partagées devenaient plus fortes à mesure que le modèle traitait le problème, la nouvelle méthode d'entraînement fonctionnait parfaitement, améliorant la capacité du modèle à raisonner à travers les langues dans chaque couche testée. Dans les modèles qui étaient déjà « saturés » de caractéristiques partagées, le nouvel entraînement n'apportait aucun bénéfice et perturbait parfois le flux naturel du modèle. Dans les modèles restant en mode « faible partage », où les langues restaient principalement séparées, le nouvel entraînement n'a pas réussi à créer un pont fonctionnel, même s'il rendait les signaux internes plus similaires sur le papier.

Ce travail remet en question une hypothèse courante dans le domaine : si deux choses se ressemblent sur un graphique, elles fonctionnent de la même manière. Les chercheurs ont prouvé qu'un modèle peut posséder des caractéristiques qui semblent géométriquement alignées entre les langues, mais qui échouent pourtant à être interchangeables. Ils ont montré que le chemin pour comprendre les modèles multilingues n'est pas une solution universelle. Au contraire, la logique interne d'un modèle est profondément liée à sa conception spécifique. Certains modèles construisent naturellement un moteur de raisonnement universel, tandis que d'autres gardent leurs langues dans des pièces séparées. Les chercheurs ont conclu que pour véritablement comprendre comment une intelligence artificielle pense à travers les langues, nous devons examiner l'architecture spécifique de chaque modèle, plutôt que de supposer qu'ils suivent tous les mêmes règles cachées.