🤖 machine learning

Beyond Language: Format-Agnostic Reasoning Subspaces in Large Language Models

Ce papier introduit le benchmark TriForm et fournit des preuves convergentes en faveur d'un sous-espace de raisonnement agnostique au format (FARS) au sein des grands modèles de langage, démontrant qu'une représentation interne compacte de 10 dimensions capture des concepts de raisonnement abstrait à travers diverses formes de surface (prose, code et mathématiques) tout en révélant une asymétrie fondamentale où les formats déclaratifs sont plus compatibles entre eux qu'avec le code procédural.

Auteurs originaux : Aojie Yuan, Zhiyuan Su

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aojie Yuan, Zhiyuan Su

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque géante et ultra-intelligente (un Modèle de Langage) capable de lire et d'écrire dans de nombreuses « langues ». Mais dans ce cas, les « langues » ne signifient pas seulement l'anglais, l'espagnol ou le français. Cela signifie aussi du code Python, des équations mathématiques et des listes structurées.

La grande question que les chercheurs se sont posée était la suivante : Lorsque cette bibliothèque réfléchit à une idée logique (comme « si A alors B »), utilise-t-elle les mêmes connexions internes « cérébrales » qu'elle lise cette idée dans un récit, un problème de mathématiques ou un programme informatique ? Ou doit-elle complètement recâbler son cerveau à chaque fois que le format change ?

Voici ce qu'ils ont découvert, expliqué simplement :

1. Le « Cœur Caché » du Raisonnement

Les chercheurs ont découvert qu'au fond de ces modèles d'IA, il existe une minuscule et spéciale « zone centrale » où réside la véritable logique, totalement distincte du format.

L'Analogie : Imaginez que vous écoutez la même chanson jouée au piano, à la guitare et sur un synthétiseur. À vos oreilles, elles sonnent totalement différentes (différentes « formes de surface »). Mais les chercheurs ont découvert qu'à l'intérieur de l'IA, il existe une petite pièce spécifique où la mélodie de la chanson est stockée d'une manière qui ne se soucie pas de l'instrument.
La Découverte : Ils ont trouvé cette « pièce » au milieu des couches de l'IA. Elle s'appelle le Sous-espace de Raisonnement Agnostique au Format (FARS). Elle est incroyablement petite — seulement environ 10 dimensions sur les milliers utilisées par l'IA. Pourtant, cette minuscule tranche contient la logique pure, dépouillée du fait qu'elle soit écrite en code ou en prose.

2. L'Expérience du « Transfert Magique »

Pour prouver que ce noyau était réel et qu'il faisait réellement le travail, ils ont réalisé une expérience de « greffe cérébrale ».

L'Analogie : Imaginez que vous ayez deux personnes : l'une parlant anglais et l'autre parlant français. Vous prenez le « cerveau logique » du locuteur anglais et essayez de le brancher dans la tête du locuteur français.
Le Résultat : Lorsqu'ils ont échangé uniquement ces 10 dimensions spéciales du « cerveau logique » d'une phrase anglaise vers une équation mathématique, l'IA a continué de fonctionner presque parfaitement (90 à 96 % du temps).
Le Contraste : S'ils échangeaient le cerveau entier (toutes les dimensions), l'IA se perdait et échouait. S'ils échangeaient des parties aléatoires, cela échouait aussi. Cela a prouvé que ces 10 dimensions spécifiques sont la « sauce secrète » qui transporte le raisonnement à travers différents formats.

3. Le Mur « Déclaratif vs Procédural »

Voici le tournant le plus surprenant. L'IA est excellente pour traduire la logique entre les récits (anglais) et les mathématiques, mais elle peine à traduire la logique entre les récits et le code informatique.

L'Analogie : Pensez aux formats « Déclaratifs » (Récits et Mathématiques) comme à des plans. Ils décrivent ce à quoi un bâtiment devrait ressembler. Pensez aux formats « Procéduraux » (Code) comme à des manuels d'instructions pour un robot. Ils décrivent comment le construire étape par étape.
La Découverte : Le « cerveau logique » de l'IA fonctionne magnifiquement lorsqu'on échange des plans contre d'autres plans (Récit $\leftrightarrow$ Mathématiques). Mais lorsqu'il tente d'échanger un plan contre un manuel d'instructions pour robot (Récit $\leftrightarrow$ Code), la connexion se brise. L'IA les traite comme des types de pensée fondamentalement différents.
La Conclusion : La barrière n'est pas « Langue vs Mathématiques » ; la barrière est « Décrire un résultat » vs « Donner des instructions étape par étape ».

4. C'est Pareil pour Tout Le Monde

Les chercheurs ont testé cinq modèles d'IA différents provenant de différentes entreprises (comme GPT, Llama et Mistral). Même si ces modèles étaient construits différemment et entraînés sur des données différentes, ils ont tous développé cette même « pièce logique » à 10 dimensions au milieu de leurs cerveaux.

L'Analogie : C'est comme le fait que les humains, peu importe le pays d'où ils viennent, ont tous un cœur au même endroit qui pompe le sang de la même manière. Les modèles d'IA, bien que d'« espèces » différentes, ont tous évolué vers la même structure interne pour gérer la logique pure.

Résumé

L'article montre que les modèles d'IA possèdent bien un « centre logique » universel qui ignore si vous écrivez en anglais, en mathématiques ou en code. Cependant, ce centre ne fonctionne bien qu'entre des formats qui décrivent les choses de la même manière (déclaratif). Il bute sur un mur lorsqu'il tente de mélanger des descriptions avec des instructions étape par étape (procédural).

Cette découverte nous offre un moyen de voir exactement où l'IA réfléchit à l'« idée » par rapport à l'endroit où elle réfléchit simplement aux « mots » ou à la « syntaxe ».

Résumé Technique : Au-delà du Langage : Sous-espaces de Raisonnement Indépendants du Format dans les Grands Modèles de Langage

Énoncé du Problème

Les Grands Modèles de Langage (LLM) traitent des inférences logiques identiques exprimées sous des formes de surface radicalement différentes — allant de la prose anglaise et du texte chinois au code Python et à la notation mathématique. Alors que des recherches antérieures ont établi que les LLM multilingues développent des représentations internes partagées à travers les langues naturelles, il reste inconnu si cette invariance s'étend à des systèmes symboliques véritablement différents. La question centrale est de savoir si les LLM possèdent un substrat interne commun pour le raisonnement qui transcende les encodages symboliques spécifiques (linguistiques, formels et structurels), et si tel est le cas, si cette structure est causalement impliquée dans le calcul et universelle à travers les architectures.

Méthodologie

Les auteurs introduisent le Benchmark TriForm, un ensemble de données contrôlé comprenant 324 stimuli dérivés de 18 concepts de raisonnement (couvrant les domaines arithmétique, logique, relationnel, causal et spatial). Chaque concept est exprimé sous six formes de surface organisées selon trois dimensions :

Linguistique : Prose en anglais, chinois et français.
Symbolique : Code Python et notation mathématique.
Structurelle : Données structurées étape par étape.

L'étude évalue cinq LLM de type décodeur uniquement (de 1,6 à 8 milliards de paramètres) issus de trois familles d'architectures (GPT, Qwen, Llama/Mistral) en utilisant le cadre analytique suivant :

RSA Corrigée par Permutation : Pour identifier la structure au niveau du concept, les auteurs emploient l'Analyse de Similarité Représentationnelle (RSA) avec des tests de permutation pour corriger la non-indépendance des distances par paires, distinguant les signaux de concept des signaux de forme de surface.
Sondage Inter-Format : Des classifieurs régularisés par ridge sont entraînés sur les activations d'une forme de surface pour prédire l'identité du concept dans une autre, testant la décodabilité linéaire à travers les formats.
Entropie des Neurones Indépendants du Format : Inspiré par LAPE, les auteurs quantifient la spécificité des neurones en mesurant l'entropie des distributions d'activation à travers les formes, identifiant les neurones qui s'activent uniformément (indépendants du format) par rapport à ceux spécifiques à certaines formes.
Extraction de Sous-espace (FARS) : Un Sous-espace de Raisonnement Indépendant du Format est extrait en utilisant une Analyse en Composantes Principales (PCA) centrée sur les concepts. En moyennant les activations sur toutes les formes et instances pour chaque concept, les auteurs isolent les $k$ premières composantes principales qui capturent la variance du concept tout en supprimant la variance de la forme.
Intervention Causale : L'étude utilise le patching d'activation et l'ablation de sous-espace.
- Patching inter-format : Remplacement des états cachés d'une forme source (par exemple, anglais) dans une forme cible (par exemple, mathématiques) pour mesurer la préservation de la sortie.
- Patching de sous-espace : Remplacement uniquement des composantes FARS projetées (10 dimensions) lors du transfert inter-format.
- Ablation de sous-espace : Suppression des directions FARS pour mesurer la perturbation de la sortie du modèle.

Résultats Clés

1. Existence d'un Sous-espace de Raisonnement Indépendant du Format (FARS)

Preuves Corrélatoires : La RSA révèle que les signaux au niveau du concept atteignent un pic dans les couches intermédiaires de tous les modèles, se renforçant avec l'échelle. Bien que la forme de surface reste le principe organisateur dominant (RSA Forme $\rho \approx 0,43\text{--}0,53$ ), les signaux de concept sont significatifs ( $\rho \approx 0,10\text{--}0,20$ ) et croissent plus rapidement avec la taille du modèle.
Décodabilité : La précision du sondage inter-format dépasse significativement le hasard (5,6 %), atteignant jusqu'à 60,3 % (Mistral-7B).
Localisation des Neurones : Les neurones indépendants du format se concentrent dans les couches intermédiaires (20–23 % des neurones), reflétant la distribution des neurones indépendants de la langue trouvée dans des études interlinguales antérieures.

2. Pertinence Causale et Efficacité du Sous-espace

Transfert Haute Fidélité : Le remplacement des seules 10 premières dimensions du sous-espace FARS lors du patching inter-format préserve 90–96 % de la sortie des 10 premiers tokens du modèle.
Comparaison avec les Contrôles : Cette performance dépasse largement le remplacement complet des activations (44–56 %) et le remplacement par PCA maximisant la variance (60–74 %).
Ablation : La suppression du sous-espace FARS provoque une perturbation ciblée (faible divergence KL pour FARS par rapport à élevée pour les directions spécifiques au format), confirmant que ces dimensions spécifiques sont causalement suffisantes pour le raisonnement inter-format.
Dimensionnalité : La structure pertinente pour le raisonnement est véritablement de faible dimension, atteignant un plateau à $k=8\text{--}10$ composantes dans un espace de 1600–4096 dimensions.

3. L'Asymétrie Déclaratif-Procédural

Une découverte critique est la divergence de compatibilité basée sur la nature du système symbolique plutôt que simplement sur la langue :

Compatibilité Déclarative : Le patching entre la prose anglaise et la notation mathématique préserve 65–73 % de la sortie.
Divergence Procédurale : Le patching entre la prose anglaise et le code Python ne préserve que 16–22 % de la sortie.
Conclusion : L'axe critique de divergence n'est pas « linguistique vs formel » mais déclaratif vs procédural. Les représentations sont hautement compatibles entre les formats déclaratifs (prose, mathématiques, données structurées) mais significativement moins lorsqu'elles font le pont vers des encodages procéduraux (code).

4. Universalité et Convergence

Généralisation : Le FARS extrait d'un sous-ensemble de concepts se généralise aux concepts retenus avec une dégradation gracieuse.
Convergence Inter-Architecture : Différentes familles de modèles convergent vers la même géométrie de sous-espace. L'Analyse de Corrélation Canonique (CCA) inter-modèle dépasse 0,79 pour toutes les paires, et la RSA centrée dépasse 0,77, fournissant une preuve intra-modalité pour l'Hypothèse de la Représentation Platonicienne.

Signification et Revendications

L'article revendique fournir la première preuve systématique que les LLM développent un sous-espace concret, de faible dimension et indépendant du format pour le raisonnement, qui est causalement suffisant pour le transfert inter-symbolique.

Contribution Théorique : Les résultats soutiennent l'Hypothèse de la Représentation Platonicienne au sein d'une seule modalité, suggérant que les représentations du raisonnement abstrait convergent à travers différents encodages symboliques.
Insight Mécanistique : La découverte de l'asymétrie déclaratif-procédural affine la compréhension de l'invariance de format, identifiant une frontière fondamentale entre le raisonnement déclaratif (prose, mathématiques) et l'exécution procédurale (code) qui n'avait pas été caractérisée auparavant.
Utilité Pratique : Le FARS offre un outil concret et extractible (une base de 10 dimensions) pour l'ingénierie des représentations. Il suggère que les interventions de sécurité ou les vecteurs de direction découverts dans un format déclaratif (par exemple, anglais) peuvent se transférer vers d'autres (par exemple, mathématiques) via ce sous-espace, mais peuvent échouer lors du pont vers des formats procéduraux (code), mettant en évidence une faille de sécurité potentielle où un raisonnement nuisible dans le code pourrait contourner les filtres entraînés sur la prose.

Les auteurs notent des limites, notamment l'évaluation de modèles de base uniquement, la nature supervisée de l'extraction du FARS, et l'utilisation de stimuli générés par programmation, reconnaissant que la dimensionnalité et la géométrie du FARS dans des modèles plus grands ou ajustés par instruction restent des questions ouvertes.