🤖 machine learning

From Reasoning Traces to Reusable Modules: Understanding Compositional Generalization in Language Model Reasoning

Cet article propose que le succès de la combinaison du réglage fin supervisé (SFT) et de l'apprentissage par renforcement (RL) pour améliorer le raisonnement des modèles de langage provient de la généralisation compositionnelle, où le SFT fournit des modules atomiques bruts au sein des traces et le RL les décompose et les recombine pour résoudre de nouvelles configurations, une théorie validée par des expériences montrant que l'entraînement sur des traces composées produit une généralisation supérieure par rapport aux modules isolés.

Auteurs originaux : Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

Publié 2026-06-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lingjing Kong, Xin Liu, Guangyi Chen, Martin Q. Ma, Xiangchen Song, Yuekai Sun, Mikhail Yurochkin, Taylor W. Killian, Ruslan Salakhutdinov, Kun Zhang, Eric P. Xing, Zhengzhong Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Comment l'IA apprend à « réfléchir »

Imaginez que vous enseigniez à un robot à résoudre un puzzle complexe. Il existe deux manières principales de l'enseigner :

Montrer et Expliquer (SFT - Apprentissage supervisé) : Vous montrez au robot une solution parfaite, étape par étape, pour un puzzle spécifique.
Essai et Erreur (RL - Apprentissage par renforcement) : Vous laissez le robot essayer de résoudre le puzzle par lui-même. S'il trouve la bonne réponse à la fin, vous lui donnez une « étoile dorée » (une récompense). S'il échoue, il n'obtient rien.

Pendant longtemps, les chercheurs ont remarqué que combiner ces deux méthodes fonctionne le mieux. Le robot apprend les étapes grâce au « Montrer et Expliquer », mais il devient bien meilleur pour résoudre de nouveaux puzzles qu'il n'a jamais vus après l'« Essai et Erreur ».

La Question : Pourquoi cette combinaison fonctionne-t-elle si bien ? Que se passe-t-il réellement à l'intérieur du cerveau du robot ?

L'idée centrale : La théorie des « Legos »

Les auteurs de ce papier proposent une nouvelle façon de comprendre ce processus. Ils soutiennent que le raisonnement n'est pas seulement la mémorisation d'une longue histoire ; c'est comme construire avec des briques de Lego.

Ils décomposent une trace de raisonnement (le processus de pensée du robot) en deux types de composants réutilisables :

Les Compétences (Les Briques) : Ce sont de petites actions locales. Exemples : « Additionner ces deux nombres », « Supprimer ce mot » ou « Vérifier si ceci est vrai ».
Le Routage (Les Instructions) : Ce sont les règles pour connecter les briques. Exemples : « Prendre le résultat de l'étape 1 et l'injecter dans l'étape 2 » ou « Si le nombre est grand, passer à l'étape 4 ».

Le problème du « Montrer et Expliquer » (SFT) :
Lorsque vous montrez au robot une solution parfaite, les « briques » et les « instructions » sont collées ensemble dans un ordre spécifique. Le robot voit un long bloc de Lego solide. Il apprend à copier tout le bloc, mais il ne réalise pas que ce bloc est composé de pièces séparées et réutilisables. Si vous lui donnez un puzzle qui nécessite les briques dans un ordre différent, le robot reste bloqué car il sait seulement comment copier le bloc original.

La magie de l'« Essai et Erreur » (RL) :
Lorsque le robot commence à résoudre des problèmes par lui-même et reçoit des étoiles dorées pour les bonnes réponses, quelque chose d'incroyable se produit. Il commence à réaliser : « Attendez, j'ai utilisé cette même brique d'« Addition » à trois endroits différents, et ça a fonctionné à chaque fois ! »

Le processus de RL agit comme un déconstructeur. Il prend ces blocs collés ensemble de la phase « Montrer et Expliquer » et les décompose à nouveau en briques et instructions individuelles et réutilisables. Une fois que le robot possède une boîte de briques libres et réutilisables, il peut les assembler de nouvelles manières pour résoudre des puzzles qu'il n'a jamais vus auparavant.

Les conclusions clés (La recette du succès)

Les auteurs ont mené des expériences pour prouver cette théorie. Voici ce qu'ils ont trouvé, expliqué simplement :

1. Vous avez besoin des matières premières d'abord.
On ne peut pas apprendre à un robot à construire avec des Legos si on ne lui montre jamais à quoi ressemble une brique de Lego. La phase « Montrer et Expliquer » est cruciale car elle fournit les matières premières (les compétences atomiques et les mécanismes de routage). Sans cela, le robot n'a rien à décomposer.

2. Décomposer est meilleur que simplement montrer.
Si vous montrez seulement au robot des briques isolées (ex: « Voici comment additionner des nombres »), il apprend à additionner, mais il n'apprend pas comment combiner l'addition avec d'autres étapes.

La conclusion : Il est bien préférable de montrer au robot une solution complète et complexe (une trace composée) et de laisser la phase « Essai et Erreur » comprendre comment la décomposer. Le robot apprend à recombiner les pièces beaucoup plus rapidement et efficacement que si on lui avait simplement donné un tas de briques isolées.

3. La « colle » doit être brisée au bon endroit.
Les auteurs ont découvert une recette spécifique pour obtenir les meilleurs résultats :

Phase 1 (Montrer et Expler) : Montrez au robot beaucoup de solutions complexes différentes qui couvrent chaque type possible de brique et d'instruction. Assurez-vous qu'il voie tous les outils de la boîte à outils.
Phase 2 (Essai et Erreur) : Laissez le robot s'entraîner sur des puzzles qui mélangent ces outils dans de nouvelles combinaisons étranges qu'il n'a pas encore vues.
Pourquoi ? Si vous laissez le robot s'entraîner sur les mêmes combinaisons qu'il a vues dans la Phase 1, il se contente de les mémoriser. Mais si vous le laissez s'entraîner sur de nouvelles combinaisons, il est forcé de comprendre comment emboîter les briques libres à la volée. C'est là que la « généralisation » (la capacité à résoudre de nouvelles choses) se produit.

Une analogie simple : Le Chef

Imaginez que vous formez un chef cuisinier.

SFT (Montrer et Expliquer) : Vous montrez au chef une recette de « Spaghetti Carbonara ». Vous lui montidez exactement comment casser les œufs, faire bouillir les pâtes et mélanger la sauce. Le chef apprend à copier ce plat parfaitement.
RL (Essai et Erreur) : Maintenant, vous dites au chef : « Prépare-moi un dîner délicieux », mais vous ne lui donnez pas de recette. Vous le laissez essayer. S'il prépare un excellent repas, vous lui dites : « Bon travail ! »

L'intuition du papier :
Si vous montrez seulement la recette de la Carbonara au chef, il pourrait penser que « casser les œufs » et « faire bouillir les pâtes » sont une seule et même action inséparable appelée « Faire une Carbonara ».
Mais quand vous le laissez expérimenter (RL), il réalise : « Oh ! Je peux casser des œufs pour une omelette, ou faire bouillir des pâtes pour une salade. » Il réalise que les compétences (casser, bouillir) sont distinctes du routage (ce qu'il faut faire avec les pâtes ensuite).

Une fois qu'il a compris cela, il peut inventer un tout nouveau plat (comme des « Pâtes à l'Omelette ») qu'il n'a jamais vu auparavant, car il a appris à traiter les ingrédients comme des outils séparés et réutilisables plutôt que comme un script unique et fixe.

Résumé

Le raisonnement est modulaire : Il est composé de petites compétences et de règles pour les connecter.
Le SFT fournit les pièces : Il donne au modèle les matières premières (les compétences).
Le RL fait l'assemblage : Il force le modèle à décomposer les matériaux et à apprendre comment les emboîter de nouvelles manières.
La meilleure stratégie : Montrer d'abord au modèle une grande variété d'exemples complexes (pour obtenir toutes les pièces), puis le laisser s'entraîner sur de nouvelles combinaisons de ces pièces (pour apprendre à construire).

Ce papier explique pourquoi la méthode actuelle de « Montrer et Expliquer, puis Essai et Erreur » est si puissante : elle transforme une machine de mémorisation rigide en un bâtisseur flexible.

Résumé technique : Des traces de raisonnement aux modules réutilisables

Énoncé du problème

Les pipelines de post-entraînement combinant le réglage fin supervisé (SFT - Supervised Fine-Tuning) et l'apprentissage par renforcement (RL - Reinforcement Learning) ont récemment permis d'améliorer significativement les capacités de raisonnement des grands modèles de langage (LLM). Empiriquement, le SFT seul conduit souvent à des modèles qui mémorisent des traces de raisonnement canoniques dites « d'or » (golden traces), mais qui échouent lorsqu'ils doivent recombiner des étapes familières de manières inhabituelles (compositions hors distribution ou OOD - Out-of-Distribution). À l'inverse, un processus SFT suivi d'un RL gère plus de manière fiable ces compositions OOD. Cependant, le mécanisme sous-jacent de ce succès combiné reste obscur : spécifiquement, quelles sont les contributions distinctes du SFT et du RL, et quelles sont les configurations de données optimales pour chaque étape ?

Méthodologie

Cadre théorique : Modèle de sélection latente hiérarchique

Les auteurs formalisent le raisonnement comme un Modèle de sélection latente hiérarchique. Dans ce cadre :

Descripteur de problème ( $P$ ) : Le prompt d'entrée induit une hiérarchie de variables de sélection latentes discrètes.
Variables latentes ( $S$ ) : Ces variables sélectionnent parmi une bibliothèque de modules atomiques réutilisables :
- Compétences (Skills) : Opérations locales (ex: étapes arithmétiques, règles de réécriture).
- Mécanismes de routage (Routing Mechanisms) : Décisions sur la manière dont l'information intermédiaire est sélectionnée, réutilisée et composée (ex: transmission des sorties précédentes, branchement).
Trace observable ( $D$ ) : La trace de raisonnement finale est générée par la cascade de ces sélections.

L'hypothie centrale est que les traces de raisonnement sont générées par la composition de ces modules atomiques. Le SFT fournit la matière première (des traces contenant ces modules), tandis que le RL est responsable de la décomposition de ces traces composées pour identifier les modules latents et permettre leur recombinaison flexible.

Contributions théoriques

Le papier établit deux résultats théoriques clés :

Identifiabilité (Théorème 3.1) : Sous des conditions modérées (fidélité, fidélité de rang, ensembles de choix restreints et couverture de voisinage), la hiérarchie de sélection latente (compétences et routage) est identifiable à partir de la distribution observable des traces.
Généralisation compositionnelle (Théorème 3.4) : Une fois les modules identifiés, ils peuvent être recombinés dans de nouvelles compositions si chaque configuration locale dans le nouveau prompt possède un « témoin local » dans les données d'entraînement (c'est-à-dire que l'interface entre les modules a été observée durant l'entraînement).

Les auteurs caractérisent ensuite les rôles du SFT et du RL à travers l'analyse du support :

Limites du SFT (Proposition 3.2) : Le SFT sur des traces canoniques laisse souvent les modules atomiques « enchevêtrés » avec leurs contextes spécifiques car il ne révèle qu'un sous-ensemble de traces valides. Des événements locaux critiques qui permettraient de désenchevêtrer les modules peuvent se trouver en dehors du support du SFT.
Mécanisme du RL (Proposition 3.3) : Le RL enrichit la distribution en ré-échantillonnant des déroulements (rollouts) basés sur la récompense. Si un événement local « caché » (ex: un choix de routage spécifique) mène à des récompenses plus élevées, le RL augmente sa probabilité, décomposant ainsi la trace enchevêtrée et rendant le module atomique identifiable.

Configuration empirique

Pour valider ces théories, les auteurs ont mené des expériences contrôlées sur des tâches de transformation de chaînes de caractères synthétiques (basées sur Yuan et al., 2025).

Compétences atomiques : 24 fonctions déterministes de transformation de chaînes.
Mécanismes de routage : 10 définitions distinctes de structures d'entrée (déterminant quel résultat intermédiaire alimente l'étape suivante).
Protocole : Les modèles ont été entraînés sur des traces de profondeurs ( $L$ $L$ ) variables. L'étude a systématiquement intervenu sur la structure des données pour tester :
- La décomposition des traces composées en atomes.
- La nécessité de l'exposition compositionnelle par rapport à l'exposition atomique isolée.
- La relation distributionnelle optimale entre les données de SFT et de RL (chevauchement vs disjoint).
Preuve supplémentaire : Analyse de modèles open-source (Qwen3-4B) sur des benchmarks mathématiques réels (MATH, AIME) pour observer la tokenisation des compétences et la diversité des n-grammes.

Résultats clés

Le RL décompose et recombine : Les modèles entraînés avec le RL sur des traces composées ( $L=3$ ) ont nettement surpassé les modèles uniquement entraînés par SFT sur des compositions inédites ( $L=4$ à $L=8$ ). Le RL a permis au modèle de récupérer les compétences atomiques et les mécanismes de routage à partir des traces composées et de les recombiner pour la généralisation.
Les traces composées sont supérieures pour le RL : Lorsque le RL était entraîné sur des modules atomiques isolés ( $L=1$ ) plutôt que sur des traces composées ( $L=3$ ), ce dernier offrait une précision OOD nettement plus élevée (+37,8 % de gain contre +10,0 % de gain). Cela confirme que l'exposition aux interfaces de modules (compositions) est cruciale pour apprendre comment les recombiner.
La ré-injection nécessite la composition : Lorsque des compétences atomiques ou des routeurs spécifiques étaient exclus de l'entraînement RL, les performances chutaient. La simple ré-injection de compétences atomiques isolées ( $L=1$ ) ne permettait pas de restaurer les performances. La performance n'était récupérée que lorsque des traces compositionnelles contenant les atomes exclus étaient ré-injectées, prouvant que les atomes doivent être appris dans un contexte compositionnel pour être réutilisables.
Appariement optimal des données SFT-RL : La plus forte généralisation OOD s'est produite lorsque les distributions de données SFT et RL étaient disjointes ( $C_{SFT} \cap C_{RL} = \emptyset$ $C_{S F T} \cap C_{R L} = \emptyset$ ).
- Rôle du SFT : Doit couvrir l'inventaire complet des modules atomiques via des traces compositionnelles.
- Rôle du RL : Doit se concentrer sur des compositions nouvelles en dehors du support du SFT pour stimuler l'exploration et identifier de nouvelles interfaces.
- Un chevauchement de données ( $C_{SFT} \supset C_{RL}$ ) entraînait la plus faible généralisation.
Preuves sur des modèles réels : L'analyse des modèles Qwen3 a montré que les modèles ajustés par RL présentaient une plus grande diversité dans les n-grammes de compétences courts (n=2, 3), indiquant une recombinaison locale plus flexible des étapes abstraites, ce qui est cohérent avec le modèle théorique de réutilisation modulaire.

Signification et affirmations

Le papier prétend fournir une explication par variable latente du succès des pipelines SFT+RL dans le raisonnement compositionnel. Sa principale importance réside dans :

Formalisation du mécanisme : Passer de l'observation empirique à un cadre théorique où le SFT fournit les « matériaux » (traces enchevêtrées) et le RL effectue la « décomposition » (identification des modules latents via l'expansion du support pilotée par la récompense).
Conception de curriculum : Offrir un protocole concret pour le post-entraînement : le SFT doit assurer la couverture de tous les modules atomiques via des compositions, tandis que le RL doit cibler des compositions nouvelles pour explorer de nouvelles interfaces.
Conditions d'identifiabilité : Fournir les conditions suffisantes sous lesquelles les structures de raisonnement latentes peuvent être récupérées à partir de données observées, liant le succès du RL à l'enrichissement des « témoins locaux » nécessaires à la généralisation compositionnelle.

Les auteurs positionnent ce travail comme une étape vers la compréhension de comment les LLM apprennent à raisonner de manière compositionnelle, suggérant que la « boîte noire » du RL est en réalité un mécanisme de découverte et de recombinaison d'unités de raisonnement atomiques réutilisables.