💬 NLP

Can Large Language Models Generalize Procedures Across Representations?

Cet article démontre qu'un programme d'apprentissage par renforcement en deux étapes, qui entraîne séquentiellement des modèles de langage de grande taille sur des données symboliques (code/graphes) suivies du langage naturel, permet une généralisation efficace de la transversalité des représentations pour les tâches procédurales, permettant ainsi à un petit modèle de 1,5B d'égaler la performance de planification zero-shot de GPT-4o.

Auteurs originaux : Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

Publié 2026-06-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Fangru Lin, Valentin Hofmann, Xingchen Wan, Weixing Wang, Zifeng Ding, Anthony G. Cohn, Janet B. Pierrehumbert

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à faire un gâteau. Vous avez trois façons de lui donner des instructions :

Le Langage Naturel : Une recette écrite dans un livre (« Mélangez la farine, puis ajoutez les œufs... »).
Le Code : Un programme informatique qui liste les étapes et le minutage.
Le Graphe : Un organigramme avec des flèches montant quelle étape doit avoir lieu avant la suivante.

La grande question que ce document pose est la suivante : Si vous apprenez au robot en utilisant l'organigramme (le Graphe) ou le code, saura-t-il automatiquement comment suivre la recette écrite (le Langage Naturel) ?

Les chercheurs ont découvert que la réponse est majoritairement non.

Le Problème : La « Barrière de la Langue »

Les auteurs ont découvert que les Grands Modèles de Langage (LLM) sont comme des étudiants qui sont très doués pour mémoriser le format des instructions, mais mauvais pour comprendre la logique qui les sous-tend.

Le Piège du « Format Unique » : Si vous entraînez un robot uniquement sur des organigrammes, il devient un maître des organigrammes. Mais si vous lui demandez ensuite de résoudre un problème à l'aide d'une recette écrite, il est confus. Il ne réalise pas que « l'étape A doit avoir lieu avant l'étape B » dans un organigramme est exactement la même règle que « D'abord, faites A, puis faites B » dans une phrase.
Le Raccourci de la « Paresse » : Lorsque le robot essaie de deviner la réponse dans un nouveau format, il prend souvent un raccourci paresseux. Au lieu de déterminer l'ordre complexe des étapes (le « chemin critique »), il additionne simplement tous les temps ensemble. C'est comme si quelqu'un essayait de calculer l'itinéraire le plus rapide pour aller au travail en additionnant le temps de toutes les routes possibles, plutôt qu'en trouvant le chemin le plus court.

La Solution : Un Camp d'Entraînement en Deux Étapes

Puisque le robot ne pouvait pas simplement « comprendre par lui-même », les auteurs ont conçu un programme d'entraînement spécial (un plan de leçon) pour corriger cela. Voyez cela comme l'apprentissage d'un instrument de musique :

Étape 1 : Le Cours de Mathématiques (Entraînement Symbolique) : D'abord, ils enseignent au robot en utilisant les formats « difficiles » (Code et Organigrammes). Cela force le robot à apprendre les règles logiques strictes de la procédure sans être distrait par des mots sophistiqués. C'est comme apprendre la théorie musicale avant d'essayer de jouer une chanson.
Étape 2 : La Session de Jam (Adaptation au Langage Naturel) : Une fois que le robot comprend la logique, ils passent à l'enseignement en langage naturel (la recette). Parce que le robot connaît déjà les règles de l'étape 1, il peut maintenant les appliquer au nouveau langage.

Le Résultat : Cette méthode en deux étapes a fait des merveilles. Un petit robot (1,5 milliard de paramètres) entraîné de cette façon a performé presque aussi bien qu'un robot massif et super intelligent (GPT-4o) qui n'avait jamais vu cet entraînement spécifique auparavant.

L'Ingrédient Secret : L'« Analogie Générative »

Pourquoi cela a-t-il fonctionné ? Le document suggère que le robot a appris à utiliser l'analogie générative.

Fréquence vs Analogie :
- La Fréquence est comme mémoriser que « Roi + Reine = Royal » parce que vous l'avez vu un million de fois.
- L'Analogie est de comprendre la relation entre les mots pour pouvoir l'appliquer à de nouvelles choses (ex : « Docteur + Infirmière = Équipe Hospitalière »).
Les chercheurs ont découvert que les robots qui réussissaient ne se contentaient pas de mémoriser des motifs ; ils construisaient un pont mental. Ils réalisaient : « Oh, cette structure d'organigramme est analogue à cette structure de phrase ». L'entraînement en deux étapes les a forcés à construire ce pont.

Le Piège : Ce N'est Pas Magique (Encore)

Le document fait une distinction importante entre les robots et les humains :

Les Humains sont comme des génies qui peuvent regarder un organigramme une seule fois et comprendre immédiatement comment écrire la recette. Nous généralisons instantanément.
Les Robots sont comme des étudiants diligents qui ont besoin de pratiquer la logique dans un format pendant longtemps avant de pouvoir l'appliquer avec succès à un autre. Ils ont besoin de ces « devoirs supplémentaires » (l'entraînement en deux étapes) pour établir la connexion.

Résumé

Ce document prouve que le simple fait d'entraîner une IA sur du code ou des graphes ne la rend pas automatiquement performante dans les tâches de langage naturel. Cependant, si vous l'entraînez sur la logique d'abord (en utilisant le code/les graphes) et que vous lui enseignez ensuite le langage, elle peut apprendre à traduire ces règles logiques en langage humain. Cela transforme l'IA d'un simple mémorisateur de motifs en un véritable résolveur de problèmes capable de comprendre le « pourquoi » derrière les étapes, et pas seulement le « quoi ».

Résumé technique : Les grands modèles de langage peuvent-ils généraliser des procédures à travers les représentations ?

Énoncé du problème

Les grands modèles de langage (LLM) sont entraînés de manière intensive sur des représentations symboliques telles que le code et les graphes, pourtant, les tâches réelles des utilisateurs sont principalement spécifiées en langage naturel (LN). Une capacité critique et sous-explorée pour la robustesse des LLM est la généralisation trans-représentationnelle : la capacité de transférer des connaissances procédurales apprises dans une représentation (ex: code ou graphes) pour résoudre des tâches spécifiées dans une autre (ex: langage naturel).

La recherche existante confond souvent les facteurs de représentation superficiels avec des facteurs structurels profonds, échouant ainsi à isoler si l'entraînement symbolique aide ou entrave le raisonnement en langage naturel. De plus, alors que les sciences cognitives identifient l'analogie générative — la capacité de mapper des structures apprises à travers des représentations en alignant des structures sous-jacentes partagées — comme un mécanisme de raisonnement humain central, les LLM sont principalement étudiés sur des analogies proportionnelles présentant une forte similitude de surface. Cet article examine si les LLM peuvent généraliser des procédures à travers des tâches isomorphes présentées en langage naturel, en graphes et en code, et si ce n'est pas le cas, comment combler cette lacune.

Méthodologie

Configuration expérimentale

Les auteurs ont construit un cadre expérimental contrôlé utilisant des tâches isomorphes où l'algorithme sous-jacent reste identique, mais la représentation de surface varie. La tâche principale est la planification asynchrone (ordonnancement d'étapes avec dépendances et durées) , formalisée comme la recherche du chemin le plus long (chemin critique) dans un graphe orienté acyclique (DAG).

Langage Naturel (LN) : Tâches décrites sous forme d'instructions étape par étape avec des dépendances (ex : « l'étape 1 doit précéder l'étape 3 »).
Graphe : Tâches représentées sous forme de listes d'adjacence et de poids de nœuds.
Code : Tâches représentées sous forme de fragments Python implémentant des algorithmes de chemin le plus long dans un DAG avec des entrées spécifiques.

L'étude a évalué trois familles de modèles (Qwen-2.5, Llama-3, Olmo-2) à travers diverses échelles (de 1,5 à 7 milliards de paramètres) en utilisant quatre stratégies de post-entraînement :

SFT Vanille : Fine-tuning sur des paires prompt-réponse sans Chaîne de Pensée (CoT).
Distillation : Entraînement sur un raisonnement CoT généré par un modèle enseignant plus puissant (DeepSeek-R1-Distill-Qwen-32B).
STaR (Self-Taught Reasoner) : Une méthode de bootstrapping où le modèle s'entraîne sur ses propres générations correctes.
GRPO (Group Relative Policy Optimization) : Une méthode d'apprentissage par renforcement utilisant des récompenses de résultat vérifiables.

Solution proposée : Curriculum d'apprentissage par renforcement à deux étapes

Pour répondre à l'échec observé de l'entraînement à représentation unique, les auteurs proposent un curriculum d'apprentissage par renforcement à deux étapes :

Étape 1 (Induction Symbolique) : Entraîner le modèle sur des données symboliques (Graphe ou Code) pour apprendre des procédures abstraites.
Étape 2 (Adaptation au Langage Naturel) : Entraîner continuellement le modèle sur des données en Langage Naturel pour adapter les procédures apprises à la représentation cible.

Cette approche sépare l'apprentissage de la structure abstraite de l'adaptation de la forme de surface.

Résultats clés

1. Échec de la généralisation trans-représentationnelle naïve

Symbolique vers LN : Un entraînement uniquement sur des données de Graphe ou de Code produit des performances élevées au sein de ces représentations, mais échoue à se généraliser aux tâches en LN. Les performances s'effondrent souvent lors des changements de représentation, même lorsque la logique sous-jacente est identique.
LN vers Symbolique : Un entraînement uniquement sur des données en LN conduit à des gains de performance inefficaces et ne se transfère pas de manière fiable aux tâches symboliques.
Comparaison des méthodes : Bien que GRPO et la Distillation montrent de fortes performances intra-représentation, ils ne résolvent pas intrinsèquement l'écart trans-représentationnel. L'augmentation de la taille des paramètres du modèle (ex: de 1,5B à 7B) ne change pas qualitativement ce schéma d'échec ; les modèles plus grands présentent souvent une chute plus brutale des performances hors distribution.

2. Efficacité du curriculum à deux étapes

Gains de performance : Le curriculum Graphe $\to$ LN améliore considérablement les performances. Un modèle Qwen de 1,5B entraîné avec ce curriculum surpasse sa variante 7B entraînée uniquement sur le LN et égale la performance zero-shot de GPT-4o sur la tâche de planification asynchrone.
Robustesse : Le curriculum démontre une robustesse aux variations linguistiques, surpassant les bases de référence sur le NL-AAVE (African American Vernacular English), un variant dialectal qui met au défi les modèles de pointe.
Sensibilité à l'ordre : L'ordre de l'entraînement est critique. Inverser le curriculum (LN $\to$ Graphe) donne de moins bons résultats qu'un entraînement uniquement sur le LN, indiquant que l'induction symbolique est nécessaire pour établir le fondement structurel avant l'adaptation.
Généralisation : Les bénéfices du curriculum s'étendent au-delà de la planification vers les tâches de Mathématiques et de Physique, montrant une meilleure généralisation à travers les domaines.

3. Mécanisme de généralisation : Analogie générative

Les auteurs analysent si le succès est piloté par la fréquence des données ou par la similitude structurelle (analogie).

Analyse de corrélation : En utilisant la théorie de la cartographie structurelle, ils quantifient la « force analogique » entre les instances d'entraînement et de test. Les résultats montrent que la réussite de la généralisation trans-représentationnelle est significativement plus corrélée à une force analogique élevée (similitude structurelle) qu'à la fréquence des instances d'entraînement similaires.
Preuve qualitative : Les modèles entraînés avec le curriculum font preuve d'un raisonnement plus systématique (itérant à travers plusieurs chemins pour trouver le plus long) par rapport au « raisonnement paresseux » ou à la simple sommation observés dans les modèles entraînés uniquement sur le LN ou le Graphe.

Signification et affirmations

L'article affirme que bien que les LLM possèdent la capacité de généraliser à travers les représentations, ils ne le font pas naturellement via les méthodes de post-entraînement standard. Au lieu de cela, cette capacité doit être cultivée par des curricula spécifiques.

Analogie générative : L'étude interprète le succès de la généralisation trans-représsentationale comme une forme d'analogie générative, où le modèle aligne des structures sous-jacentes partagées plutôt que de mémoriser des motifs de surface. Le curriculum proposé encourage efficacement ce comportement analogique.
Exigences d'entraînement : Contrairement au raisonnement analogique humain, qui peut généraliser avec une exposition minimale, les LLM nécessitent un entraînement étendu dans les nouvelles représentations (via l'étape d'adaptation) pour utiliser efficacement les procédures abstraites apprises lors de l'étape symbolique.
Limites : Les auteurs notent que malgré les améliorations, un écart de performance subsiste entre le LN standard et les variantes dialectales (NL-AAVE), soulignant les défis persistants en matière d'équité technologique. De plus, l'article ne prétend pas que le simple passage à l'échelle des représentations au moment de l'entraînement résoudra le problème, car le passage à l'échelle d'une représentation unique n'a pas produit de transfert.

En conclusion, ce travail démontre qu'un curriculum d'apprentissage par renforcement structuré à deux étapes peut combler le fossé entre le raisonnement symbolique et le langage naturel, permettant à des modèles plus petits d'atteindre des niveaux de performance comparables à des modèles beaucoup plus grands en zero-shot sur des tâches procédurales complexes.