💬 NLP

Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning

Cette étude démontre théoriquement et structurellement que l'entraînement par chaîne de pensée (CoT) améliore la généralisation compositionnelle des grands modèles de langage en leur apprenant à combiner des compétences acquises via un circuit de raisonnement à deux étapes, leur permettant ainsi de résoudre des problèmes complexes et inédits plutôt que de simplement mémoriser des réponses.

Auteurs originaux : Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

Publié 2026-02-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 L'Art de Penser : Pourquoi la "Chaîne de Pensée" change tout

Imaginez que vous essayez d'apprendre à un enfant à résoudre des énigmes complexes. Vous avez deux méthodes :

Méthode A (Sans CoT) : Vous lui donnez la question et vous lui montrez directement la réponse finale. "Si tu as 3 pommes et que tu en achètes 2, tu en as 5."
Méthode B (Avec CoT - Chain of Thought) : Vous lui montrez non seulement la réponse, mais aussi comment vous y êtes arrivé. "D'abord, on compte les pommes qu'il avait (3). Ensuite, on ajoute celles achetées (2). Enfin, on additionne : 3 + 2 = 5."

Cette recherche, publiée à la conférence ICLR 2026, explique pourquoi la Méthode B est bien supérieure, non seulement pour obtenir la bonne réponse, mais pour apprendre à l'intelligence artificielle (IA) à penser par elle-même dans des situations nouvelles.

Voici les trois grandes découvertes de l'article, expliquées simplement :

1. Le Super-Pouvoir de la "Composition" (L'Art du Lego)

Le problème : Les modèles d'IA classiques sont comme des bibliothécaires qui ont mémorisé des livres entiers. Si on leur pose une question qu'ils n'ont jamais vue exactement, ils sont perdus. Ils ne savent pas assembler les pièces.

La solution (CoT) : L'entraînement avec "Chaîne de Pensée" apprend au modèle à décomposer les problèmes complexes en petits blocs de compétences simples (comme des briques Lego).

L'analogie : Imaginez un chef cuisinier. Sans CoT, il apprend par cœur un seul plat complexe. S'il doit cuisiner un plat légèrement différent, il échoue. Avec CoT, il apprend les techniques de base : éplucher, couper, faire revenir.
Le résultat : Quand on lui demande un nouveau plat (un problème "hors distribution" ou OOD), il n'a pas besoin de l'avoir déjà vu. Il prend ses compétences de base (éplucher, couper) et les assemble pour créer le nouveau plat. C'est ce qu'on appelle la généralisation compositionnelle.

2. La Théorie : Apprendre à "Comment" plutôt qu'à "Quoi"

Les chercheurs ont utilisé des mathématiques avancées (théorie de l'information) pour prouver quelque chose de fascinant :

Sans CoT : Le modèle apprend juste à faire correspondre une question à une réponse (comme un perroquet). Si la question change un peu, le perroquet ne sait plus quoi dire.
Avec CoT : Le modèle apprend le processus. Il comprend la structure du raisonnement.
L'analogie : C'est la différence entre apprendre une chanson par cœur (vous ne pouvez chanter que cette chanson) et apprendre la gamme et la théorie musicale (vous pouvez improviser n'importe quelle chanson, même une que vous n'avez jamais entendue).

Les maths montrent que même si le modèle fait des erreurs ou si les données d'entraînement sont un peu "bruitées" (imparfaites), tant qu'il a appris la logique de base, il peut corriger le tir et réussir.

3. L'Anatomie du Cerveau : Un Circuit en Deux Étages

Les chercheurs ont regardé "à l'intérieur" du cerveau du modèle (les couches de neurones) pour voir ce qui change physiquement.

Sans CoT : Le modèle essaie de tout faire d'un coup, comme un coureur qui doit sauter un obstacle de 3 mètres d'un seul bond. C'est difficile et ça échoue souvent sur les nouveaux obstacles.
Avec CoT : Le modèle a construit un escalier.
- Il résout la première partie du problème dans les couches inférieures du cerveau (comme poser le premier pied sur l'escalier).
- Il garde ce résultat en mémoire.
- Il utilise les couches supérieures pour résoudre la deuxième partie, en s'appuyant sur le premier résultat.
L'analogie : C'est comme si, au lieu de demander à un élève de résoudre une équation de 10 lignes d'un seul coup, on lui donnait un cahier de brouillon. Il écrit l'étape 1, puis l'étape 2. Cela libère son "cerveau" (les couches profondes) pour se concentrer sur la suite, au lieu d'essayer de tout retenir en même temps.

🌟 En Résumé : Pourquoi c'est important ?

Cette recherche nous dit que pour créer des IA plus intelligentes et plus robustes, il ne suffit pas de leur donner plus de données ou de leur montrer plus de réponses. Il faut leur apprendre la méthode.

Avant : On disait "Voici la réponse, apprends-la."
Maintenant : On dit "Voici comment on y arrive, apprends à réfléchir."

Même si les données d'entraînement contiennent quelques erreurs (ce qui est inévitable quand on crée des millions de données), l'IA entraînée avec cette méthode de "pas à pas" reste capable de bien raisonner. C'est une preuve que l'IA apprend vraiment à penser, et pas seulement à répéter.

C'est comme passer d'un robot qui répète des phrases enregistrées à un véritable assistant capable de s'adapter à n'importe quelle situation nouvelle en utilisant sa logique.

1. Problématique

Bien que l'entraînement par Chaîne de Pensée (Chain-of-Thought ou CoT) ait considérablement amélioré les capacités de raisonnement des grands modèles de langage (LLM), les mécanismes sous-jacents expliquant comment cet entraînement améliore la généralisation restent mal compris.
Les questions centrales abordées sont :

Q1 : L'entraînement CoT améliore-t-il la généralisation du raisonnement à la fois dans des distributions de données in-distribution (ID) et out-of-distribution (OOD) ? Si oui, quels principes théoriques régissent cette capacité ?
Q2 : Comment cette capacité de généralisation est-elle réalisée au niveau des représentations internes du modèle (architecture et circuits) ?

Les travaux antérieurs suggèrent que les modèles sans CoT peinent à généraliser vers des compositions de compétences non vues (OOD), se limitant souvent à la mémorisation de motifs ID.

2. Méthodologie

Les auteurs proposent une approche hybride combinant une analyse théorique rigoureuse et une analyse structurelle (mécanistique) des modèles.

A. Analyse Théorique (Bornes de Généralisation)

Cadre Informationnel : Les auteurs utilisent des bornes de généralisation basées sur la théorie de l'information et la divergence de Kullback-Leibler (KL).
Décomposition ID/OOD : Ils formalisent l'erreur de généralisation en deux composantes :
- ID (In-Distribution) : Les motifs de composition sont vus durant l'entraînement. L'erreur tend vers zéro avec un entraînement suffisant, CoT ou non.
- OOD (Out-of-Distribution) : Les problèmes impliquent de nouvelles combinaisons de compétences simples apprises.
Hypothèse Clé : Sans CoT, le modèle apprend uniquement la distribution $P(Y|X)$ (entrée-sortie directe). Avec CoT, il apprend explicitement la distribution des étapes de raisonnement $P(C|X)$ et la distribution conditionnelle $P(Y|X, C)$ . Cela permet de décomposer la tâche complexe en sous-tâches simples apprises.
Théorèmes : Ils démontrent que l'erreur de généralisation OOD est bornée par la divergence KL entre les étapes de raisonnement apprises et celles requises pour les nouveaux problèmes. Le CoT réduit cette divergence en alignant les motifs de composition.

B. Analyse Structurelle (Circuits Internes)

Expérimentations Contrôlées : Utilisation de faits atomiques (triplets entité-relation) et de faits multi-sauts (2-hop, 3-hop) pour simuler des tâches de raisonnement compositional.
Outils d'Interprétabilité :
- Logit Lens : Pour projeter les états cachés intermédiaires dans l'espace du vocabulaire et identifier quand et où les résultats intermédiaires sont résolus.
- Causal Tracing : Pour cartographier les dépendances causales entre les couches et les jetons, identifiant ainsi les "circuits" de raisonnement.
Étude de Robustesse : Introduction de bruit (étapes de raisonnement erronées) dans les données d'entraînement pour tester la résilience du modèle.

3. Contributions Clés

Théorie de la Généralisation Compositionnelle :
- Démonstration que le CoT permet aux modèles de composer des compétences simples apprises pour résoudre des problèmes complexes et nouveaux (OOD), là où les modèles sans CoT échouent.
- Preuve théorique que l'erreur de généralisation OOD est minimisée lorsque le modèle apprend explicitement les étapes intermédiaires ( $C$ ), réduisant ainsi l'écart entre la distribution d'entraînement et de test.
Découverte du Circuit Compositionnel à Deux Étapes :
- Identification d'un circuit interne à deux stades dans les modèles entraînés avec CoT.
- Différence Structurelle :
  - Sans CoT : Le résultat intermédiaire n'est résolu que dans des couches profondes (ex: couche 5 sur 8), et le circuit n'émerge que pour les données ID.
  - Avec CoT : Le résultat intermédiaire est extrait à des couches plus superficielles (ex: couche 3 sur 8 pour l'ID, 5 pour l'OOD). Cela libère les couches profondes pour traiter l'étape de raisonnement suivante, imitant un processus de "penser étape par étape".
- Ce circuit correspond à la réutilisation des poids du modèle, augmentant sa profondeur effective.
Robustesse au Bruit :
- Démonstration que l'entraînement CoT reste robuste tant que le taux de bruit (étapes incorrectes) reste dans une certaine limite (ex: < 20% pour un seul saut).
- Le modèle apprend à ignorer le bruit si la structure compositionnelle globale est préservée, suggérant que la qualité des étapes de raisonnement est plus critique que la perfection absolue des données.

4. Résultats Expérimentaux

Convergence et Généralisation : Sur des données contrôlées, l'entraînement avec CoT accélère considérablement la convergence et permet une généralisation quasi-parfaite aux tâches OOD (nouvelles combinaisons de relations), contrairement à l'entraînement sans CoT qui échoue sur l'OOD même après des millions d'étapes.
Impact de la Structure : L'analyse des circuits confirme que les modèles CoT internalisent le raisonnement de manière séquentielle et modulaire. Pour les données ID, le résultat intermédiaire est disponible plus tôt (couche 3) que pour les modèles non-CoT (couche 5), permettant un traitement plus efficace de l'étape suivante.
Validation sur Données Réelles :
- Sur des jeux de données mathématiques (GSM8K) et de faits (Wikidata), le fine-tuning avec CoT améliore drastiquement les performances (ex: 74% vs 22% sur GSM8K pour LLaMA3.1-8B).
- Même avec un bruit élevé dans les étapes de raisonnement (jusqu'à 100% de bruit sur les expressions mathématiques), le modèle entraîné avec CoT conserve une capacité de généralisation supérieure à celle entraînée sans CoT.

5. Signification et Implications

Apprendre "Comment Penser" vs "Quoi Penser" : L'article conclut que l'entraînement CoT ne se contente pas d'enseigner la bonne réponse, mais enseigne au modèle comment structurer son raisonnement (mécanisme de composition).
Conception des Stratégies d'Entraînement :
- La qualité des données CoT ne doit pas être jugée uniquement sur la justesse de la réponse finale, mais sur la clarté et la décomposition des étapes intermédiaires.
- Il est acceptable d'avoir des erreurs dans les étapes intermédiaires des données d'entraînement (comme dans les données générées par RL ou les longs CoT), tant que la structure compositionnelle est préservée.
Limites des Transformers : L'étude met en lumière les limites des architectures Transformer traditionnelles pour le raisonnement parallèle et suggère que le CoT agit comme un mécanisme pour contourner ces limites en sérialisant le traitement via des circuits internes.

En résumé, ce papier fournit une explication fondamentale et structurée de pourquoi le CoT fonctionne : il transforme le problème de généralisation complexe en une série de sous-problèmes simples que le modèle peut apprendre et recombiner systématiquement, créant ainsi une architecture interne capable de raisonner sur des données jamais vues.