💬 NLP

On the Emergence and Test-Time Use of Structural Information in Large Language Models

Cet article étudie comment les grands modèles de langage apprennent et appliquent des informations structurelles abstraites à partir de données d'observation, révélant que si l'émergence d'un tel apprentissage est corrélée au raisonnement complexe, la capacité des modèles à effectuer une génération compositionnelle au moment de l'inférence demeure limitée.

Auteurs originaux : Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

Publié 2026-01-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Michelle Chao Chen, Moritz Miller, Bernhard Schölkopf, Siyuan Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez les Grands Modèles de Langage (LLM) comme des chefs incroyablement talentueux qui auraient lu tous les livres de cuisine du monde. Ils peuvent réciter des recettes parfaitement et même mélanger des ingrédients qu'ils ont déjà vus pour créer de nouveaux plats. Mais comprennent-ils réellement la logique de la cuisine ? Peuvent-ils appliquer une règle de base (comme « si vous ajoutez du sel, cela goûte le salé ») à un nouvel ingrédient qu'ils n'ont jamais vu, ou se contentent-ils de mémoriser des plats spécifiques ?

Ce document, « On the Emergence and Test-Time Use of Structural Information in Large Language Models », est comme une expérience de cuisine scientifique conçue pour répondre à cette question. Les chercheurs voulaient voir si ces chefs IA apprennent les « règles de grammaire » sous-jacentes (la structure) ou s'ils ne font que mémoriser les phrases spécifiques sur lesquelles ils ont été entraînés.

Voici un décryptage de leurs découvertes en utilisant des analogies simples :

1. Le terrain de jeu : Une « salle de sport de la grammaire »

Pour tester les modèles, les chercheurs ne leur ont pas simplement jeté des phrases au hasard. Ils ont construit une « salle de sport de la grammaire » spéciale basée sur un concept appelé la Grammaire Transformative.

Imaginez le langage comme un ensemble de blocs Lego.

Structure profonde : L'idée centrale d'une phrase (ex : « Jean est heureux »).
Structure de surface : La façon dont nous le disons réellement (ex : « Il semble que Jean soit heureux »).

Les chercheurs ont créé un ensemble de données où l'IA devait effectuer des « transformations » spécifiques sur des phrases, comme transformer une affirmation en question, changer la voix active en voix passive, ou déplacer un sujet au début de la phrase. C'est comme demander au chef de prendre une recette de gâteau et de la réécrire instantanément pour en faire une recette de tarte, en suivant des règles strictes.

2. La découverte : Quand l'IA « comprend-elle » ?

Les chercheurs ont observé l'IA pendant son entraînement, en scrutant ses « ondes cérébrales » internes (représentations mathématiques) pour voir quand elle commençait à comprendre ces règles.

Le moment « Eurêka ! » : Ils ont découvert que l'IA n'apprenait pas ces règles de manière graduelle. Au contraire, elle traversait une transition de phase. Imaginez un interrupteur qui bascule. À un certain point de l'entraînement (autour de l'étape 64 000), l'IA a soudainement commencé à distinguer différents types de changements de phrases.
Le lien avec le raisonnement : Curieusement, ce « déclic » ne servait pas seulement à l'IA pour mieux prédire le mot suivant. Il était corrélé à une amélioration de l'IA dans les tâches de raisonnement complexe. Cela suggère que pour résoudre des énigmes logiques difficiles, l'IA doit comprendre la structure sous-jacente du langage, et pas seulement les mots.

3. Le test : L'IA peut-elle combiner des règles ? (Le problème de la « Composition »)

C'est la partie la plus critique de l'expérience. Les chercheurs ont demandé : Si nous enseignons à l'IA la Règle A et la Règle B séparément, peut-elle combiner la Règle A + la Règle B sur une phrase qu'elle n'a jamais vue auparavant ?

Le résultat : L'IA a eu des difficultés.
- Lorsque l'IA recevait l'étape intermédiaire (ex : « D'abord fais la Règle A, puis fais la Règle B »), elle réussissait bien.
- Mais lorsqu'on lui demandait d'effectuer toute la chaîne d'un coup sans aide, elle échouait souvent.
La métaphore : Imaginez enseigner à un élève comment lacer sa chaussure gauche et comment lacer sa chaussure droite. Si vous lui demandez de lacer les deux en mêmeant sans regarder les étapes, il pourrait être confus. L'IA semble mémoriser la combinaison spécifique des étapes plutôt que de comprendre réellement les règles indépendantes de manière assez approfondie pour les mélanger et les combiner librement.

4. À l'intérieur de la machine : Où se produit la magie ?

Les chercheurs ont également pratiqué une « chirurgie » sur le cerveau de l'IA (appelée études d'ablation) pour voir quelles parties effectuaient le plus gros du travail.

Le « Muscle » vs le « Cerveau » : Ils ont découvert que les couches MLP (considérez-les comme les « muscles » de l'IA ou les unités de traitement qui effectuent les calculs lourds) étaient responsables d'environ 65 % du succès de ces transformations. Les têtes d'attention (le « cerveau » qui décide sur quoi se concentrer) n'en faisaient que 35 %.
La couche finale : La décision réelle de « comment transformer cette phrase » se produit principalement dans les dernières couches du réseau. C'est comme si l'IA passait la majeure partie de son temps à réfléchir, puis, dans la toute dernière seconde, elle comprenait la règle spécifique à appliquer.

5. L'essentiel à retenir

Le document conclut par un mélange de bonnes nouvelles et d'un rappel à la réalité :

Bonnes nouvelles : Les LLM apprennent effectivement des informations structurelles. Ils ne font pas que mémoriser du texte ; ils développent une carte interne du fonctionnement des phrases, et cette carte devient plus précise à mesure qu'ils s'améliorent en raisonnement.
Rappel à la réalité : Cependant, cet apprentissage n'est pas encore parfait. Lorsqu'il s'agit de combiner ces règles pour générer de nouvelles connaissances complexes et inédites à la volée (composition au moment du test), l'IA est encore limitée. Elle dépend fortement de la visualisation des étapes intermédiaires et peine à « démêler » les règles pour les appliquer de manière flexible dans de nouvelles situations.

En bref : L'IA apprend les règles du jeu, mais elle ressemble encore un peu à un étudiant qui connaît les formules mathématiques mais qui a besoin de voir un exemple résolu étape par étape avant de pouvoir résoudre un nouveau problème par lui-même. Elle n'a pas encore tout à fait maîtrisé l'art de la créativité pure et flexible.

Résumé Technique : Sur l'émergence et l'utilisation au moment de l'inférence de l'information structurelle dans les grands modèles de langage

Motivation du problème
Le papier traite de la capacité des grands modèles de langage (LLM) à apprendre des informations structurelles abstraites à partir de données observationnelles et à utiliser ces connaissances pour générer de nouvelles combinaisons authentiques au moment de l'inférence (test-time). Alors que les humains peuvent réorganiser des blocs linguistiques de base pour comprendre des combinaisons inédites (généralisation compositionnelle), les modèles actuels peinent souvent à réaliser une généralisation systématique vers des concepts hors distribution (OOD). Les auteurs postulent que la compréhension de la manière dont les LLM apprennent et composent l'information structurelle est centrale pour produire de nouvelles connaissances en dehors du corpus d'entraînement, une capacité liée à la compréhension mécaniste et à la prédiction robuste. Pour étudier cela dans un cadre contrôlé, les auteurs dépassent les benchmarks standards pour se concentrer sur les transformations structurelles linguistiques dérivées de la Grammaire Transformationnelle.

Méthodologie
Les auteurs introduisent un terrain de jeu synthétique contrôlé basé sur la Grammaire Transformationnelle (GT).

Construction du jeu de données : Ils ont généré un jeu de données en langage naturel comprenant dix types de transformations distincts (par exemple, élévation du groupe nominal, passivisation, mouvement I) regroupés en cinq catégories syntaxiques. Le jeu de données comprend :
- Transformations à un seul niveau : Application d'un opérateur à une phrase de base.
- Transformations imbriquées : Application séquentielle d'opérateurs (par exemple, $B(A(s))$ ).
- Ambiguïté compositionnelle : Cas où certaines transformations ne peuvent pas être composées de manière significative, nécessitant que le modèle identifie implicitement des motifs compatibles.
- Le jeu de données a été généré via DeepSeek-V3 avec des prompts spécifiques pour assurer la cohérence, produisant environ 2000 échantillons pour les transformations à un seul niveau et environ 500 pour les transformations imbriquées.
Configuration expérimentale :
- Analyse de l'émergence : En utilisant le modèle Pythia-410M, les auteurs ont suivi l'évolution des représentations structurelles pendant l'entraînement. Ils ont calculé la distance $L_2$ entre les représentations du flux résiduel des phrases de base et leurs versions transformées ( $\Delta A(s)$ ) pour mesurer la sensibilité structurelle.
- Généralisation compositionnelle : Ils ont évalué LLaMA3-8B en utilisant à la fois le fine-tuning de tous les paramètres et le fine-tuning efficace en paramètres (LoRA). L'évaluation a testé la capacité du modèle à effectuer des transformations imbriquées et des combinaisons OOD (par exemple, s'entraîner sur $A(B(s))$ et $B(C(s))$ , puis tester sur $A(C(s))$ ) sans étapes intermédiaires fournies lors de l'inférence.
- Interprétabilité mécaniste : Les auteurs ont réalisé une analyse d'intervention causale (mise à zéro des têtes d'attention et des blocs MLP) et un sondage linéaire (LDA) pour identifier quels composants du réseau et quelles couches sont responsables des transformations syntaxiques.

Contributions clés

Jeu de données : Introduction d'un jeu de données en langage naturel basé sur des transformations structurelles linguistiques pour étudier formellement l'apprentissage de l'information structurelle.
Corrélations empiriques : Démonstration que l'émergence de l'information structurelle pendant l'apprentissage est corrélée au succès dans des tâches de raisonnement complexe, plutôt qu'à la simple perplexité de modélisation du langage standard.
Limites de la composition : Preuve que, bien que les modèles apprennent des représentations structurelles, leur capacité à effectuer une génération compositionnelle au moment de l'inférence (spécifiquement pour des transformations imbriquées inédites) reste limitée sous fine-tuning.
Aperçus mécanistes : Identification de composants réseau spécifiques responsables de l'apprentissage structurel, révélant une concentration du calcul lié aux transformations dans les couches tardives et une dominance des blocs MLP sur les mécanismes d'attention.

Résultats

Émergence de la structure :
- Différentes transformations de phrases forment des clusters distincts et séparables dans l'espace d'embedding.
- La norme $L_2$ entre les représentations des phrases de base et transformées augmente régulièrement pendant l'entraînement, avec une hausse brutale autour de l'étape 64k, indiquant une transition de phase où les distinctions structurelles deviennent prononcées.
- Ce raffinement structurel est plus étroitement corrélé aux gains dans les tâches de raisonnement complexe qu'à la perplexité de prédiction du prochain mot standard.
Généralisation compositionnelle :
- Le fine-tuning de tous les paramètres a mal performé, probablement en raison d'un surapprentissage sur le jeu de données limité.
- Le fine-tuning LoRA a montré une amélioration significative par rapport au fine-tuning complet. Cependant, le modèle a eu des difficultés avec les correspondances exactes pour les transformations imbriquées lorsque les résultats intermédiaires n'étaient pas fournis lors de l'inférence.
- La performance sur les transformations imbriquées OOD (par exemple, $A+C$ ) est restée faible (0,00 % de correspondance exacte, ~45-49 % de correspondance partielle), suggérant que le modèle ne parvient pas à désencapsuler pleinement les opérations de transformation pour les composer de manière flexible au moment de l'inférence.
- La fourniture d'étapes intermédiaires explicites pendant l'entraînement et l'inférence a amélioré les performances, indiquant que le modèle bénéficie d'un guidage structurel mais ne peut pas encore généraliser de manière robuste à des compositions inédites sans cela.
Ablation et interprétabilité :
- Concentration des couches : La probabilité de prédire le jeton de transformation correct augmente brusquement dans le dernier tiers du réseau (couches 24–32), avec 38 % de la contribution concentrée là.
- Préférence de composant : Les blocs MLP contribuent davantage au succès de la transformation syntaxique (65 % de la contribution causale) que les mécanismes d'attention (35 %).
- Séparabilité linéaire : Les sondes linéaires montrent une séparation quasi parfaite entre les types de transformations dans le flux résiduel, soutenant l'hypothèse de la représentation linéaire.

Signification et affirmations
Le papier prétend fournir des preuves concernant les limites et les mécanismes des LLM dans la génération de nouvelles connaissances par composition structurelle. Les auteurs concluent que, bien que les LLM puissent apprendre l'information structurelle et présenter une transition de phase dans la sensibilité structurelle pendant l'entraînement, ils manquent actuellement de la capacité à recomposer de manière flexible des structures hors distribution pour produire de nouvelles connaissances sans guidage intermédiaire explicite. Les conclusions suggèrent que le raisonnement peut nécessiter une information structurelle, mais que les régimes de fine-tuning actuels sur des modèles comme LLaMA3-8B n'atteignent pas encore une généralisation compositionnelle robuste. Le travail souligne que les transformations syntaxiques reposent fortement sur les MLP des couches tardives et que la séparation des concepts émerge linéairement dans le flux résiduel à mesure que le fine-tuning progresse.

Limites
Les auteurs reconnaissent que leur analyse est limitée à l'anglais, ce qui pourrait restreindre la généralisabilité à des schémas translinguistiques. L'utilisation de transformations à un seul niveau pour l'attribution causale peut confondre les sous-opérations. De plus, les résultats sur un modèle 8B pourraient ne pas s'étendre directement à des modèles plus grands, qui nécessiteraient des jeux de données plus complexes pour éviter la mémorisation.