🤖 AI

Zipping the Thought: When and How Compressed Reasoning Data Works in LLM Post-Training

Ce papier présente une taxonomie du raisonnement en chaîne de pensée compressé (explicite, composé et implicite) et démontre, par le biais d'expériences contrôlées, que bien qu'un raisonnement plus grossier nécessite davantage de données et présente des comportements distincts d'échelle et de mémorisation, un apprentissage par renforcement ultérieur avec des récompenses vérifiables peut efficacement décomposer ces étapes compressées apprises lors du fine-tuning supervisé.

Auteurs originaux : Kohsei Matsutani, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kohsei Matsutani, Gouki Minegishi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot très intelligent mais très littéral comment résoudre une énigme mathématique complexe. L'énigme implique une longue chaîne d'étapes : « Prenez ce nombre, multipliez-le, ajoutez cela, divisez par ceci... »

Pour enseigner au robot, vous pouvez lui montrer la solution de trois manières différentes. Cet article explore quelle méthode fonctionne le mieux, la quantité de données nécessaire et ce qui se produit si vous essayez de faire « réfléchir plus vite » le robot en sautant des étapes.

Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. Les Trois Manières d'Enseigner (La Taxonomie)

Les chercheurs ont catégorisé la façon dont ils ont montré la solution au robot :

CoT Explicite (La Visite Lente et Régulière) : Vous montrez au robot chaque étape individuelle. « Multipliez par 2. Maintenant ajoutez 5. Maintenant divisez par 3. » C'est long, mais le robot voit exactement comment la réponse a été construite.
CoT Composé (Les Étapes Groupées) : Vous regroupez deux étapes ensemble. Au lieu de montrer « Multipliez par 2 » puis « Ajoutez 5 », vous dites : « Multipliez par 2 et ajoutez 5 ». Le robot voit les opérations, mais les nombres intermédiaires sont cachés.
CoT Implicite (Le Tour de Magie) : Vous sautez entièrement le milieu. Vous montrez simplement le nombre de départ et le résultat final d'un bloc, sans montrer comment vous y êtes arrivé. C'est comme dire : « Commencez avec 3, terminez avec 15 », et le robot doit deviner les mathématiques intermédiaires.

2. Le Coût de la « Compression » (Plus de Données Nécessaires)

L'article a révélé un compromis : Plus vous compressez les instructions, plus vous avez besoin d'exemples pour enseigner au robot.

Analogie : Imaginez enseigner à quelqu'un à faire un gâteau.
- Si vous lui donnez une recette avec chaque étape individuelle (Explicite), il pourrait l'apprendre après l'avoir vue 10 fois.
- Si vous lui donnez une recette « compressée » disant « Mélangez les ingrédients secs et humides » sans montrer le processus de mélange (Composé/Implicite), il est perdu. Pour apprendre cela, vous devez lui montrer cette recette compressée des centaines de fois (plus de données) avant qu'il ne comprenne enfin le motif.
Découverte : Un raisonnement plus grossier et compressé nécessite significativement plus de données d'entraînement pour atteindre le même niveau de compétence.

3. Répétition vs Variété (L'Effet « Drill »)

Une fois que vous décidez d'utiliser des données compressées, comment devez-vous les présenter ? Faut-il montrer au robot les mêmes 10 problèmes encore et encore (Répétition), ou 10 000 problèmes différents (Mise à l'échelle) ?

CoT Composé (Les Étapes Groupées) : Ce type adore la répétition. Si vous montrez au robot les mêmes étapes groupées encore et encore, il devient très bon dans ce motif spécifique. C'est comme répéter un mouvement spécifique dans un sport ; la répétition en fait une mémoire musculaire.
CoT Implicite (Le Tour de Magie) : Ce type déteste la répétition. Si vous montrez au robot le même « tour de magie » encore et encore, il mémorise simplement la réponse pour ce tour spécifique. Il échoue lorsque vous lui donnez une nouvelle énigme. Il a besoin de variété (données différentes) pour réellement apprendre la logique sous-jacente ; sinon, il triche simplement en mémorisant.

4. La Phase de « Désapprentissage » (SFT vs RL)

C'est la partie la plus surprenante. Les chercheurs ont d'abord enseigné au robot avec des données compressées (SFT), puis l'ont laissé s'entraîner seul avec des récompenses (RL).

Le Problème : Lorsqu'il est enseigné avec des données compressées, le robot reste bloqué dans une ornière. Si vous lui demandez de résoudre une énigme nécessitant une « demi-étape » (une étape qui ne correspond pas aux groupes compressés), il échoue complètement. C'est comme un robot entraîné uniquement à marcher par paires d'étapes ; si vous lui demandez de faire une seule étape, il tombe.
La Solution : Lorsqu'ils ont basculé vers l'Apprentissage par Renforcement (RL), le robot a recommencé à « réfléchir ». Il s'est rendu compte : « Attendez, je peux décomposer ce gros bloc en petits morceaux ! »
Analogie : Imaginez un étudiant qui a mémorisé une formule mathématique comme un seul bloc. Il ne peut pas résoudre un problème nécessitant de diviser la formule. Mais si vous lui permettez de s'entraîner à résoudre des problèmes seul (RL), il réalise éventuellement : « Oh ! Je peux décomposer ce gros bloc en les petites étapes que j'avais apprises plus tôt. » La phase RL décompresse les connaissances compressées.

5. L'Ordre Compte (Des Rues à Sens Unique)

Enfin, ils ont examiné la direction de la réflexion.

Avant/Arrière (Sens Unique) : Penser du début à la fin, ou de la fin au début, fonctionne très bien. Le robot se généralise bien vers des énigmes plus longues et plus difficiles.
Hiérarchique (L'Arbre) : C'est là que vous résolvez de petits blocs puis les combinez (comme construire un arbre). L'article a constaté que cela échoue lorsque les énigmes deviennent plus longues. Le robot se perd en essayant de retenir trop de « branches » intermédiaires dans sa tête à la fois.
À retenir : Pour de longues chaînes de raisonnement, une ligne droite (une direction) est bien meilleure qu'une structure d'arbre ramifiée.

Résumé

Pour rendre une IA intelligente efficace (pensée plus courte) sans perdre son intelligence :

Ne compressez pas trop sauf si vous avez une quantité massive de données.
Si vous compressez, utilisez des étapes Composées (montrant les opérations) et répétez-les souvent. Évitez les étapes Implicites (cachant les opérations) sauf si vous avez d'énormes données diversifiées.
SFT (Ajustement Fin Supervisé) enseigne au robot les raccourcis compressés, mais le RL (Apprentissage par Renforcement) est nécessaire pour enseigner au robot comment décomposer ces raccourcis lorsque le problème devient étrange ou plus long.
Gardez le processus de réflexion dans une ligne droite, et non dans un arbre complexe, pour les meilleurs résultats.

Résumé Technique : Zipping de la Pensée : Quand et Comment les Données de Raisonnement Comprimées Fonctionnent dans le Post-Entraînement des LLM

1. Énoncé du Problème

Les Grands Modèles de Langage (LLM) ont démontré leur capacité à résoudre des problèmes complexes grâce à un raisonnement à chaîne de pensée (CoT) long. Cependant, le compromis entre la performance de raisonnement et le coût en tokens reste un défi central pour le déploiement d'agents LLM. Pour atténuer les coûts en tokens, les praticiens emploient souvent un Affinement Supervisé (SFT) sur des données de raisonnement « compressées », où les traces CoT sont raccourcies en agrégeant ou en omettant des étapes intermédiaires.

Malgré la prévalence de cette pratique, l'article identifie un vide critique dans la compréhension :

Mécanisme de Compression : Il est unclear comment différentes formes structurelles de compression CoT (par exemple, agréger des opérations vs les omettre) impactent la dynamique d'apprentissage.
Exigences en Données : La relation entre la granularité de compression, le volume de données et les étapes d'entraînement requises pour le SFT est mal comprise.
Capacité de Décomposition : Il reste inconnu si les modèles entraînés sur des données compressées peuvent décomposer ces étapes agrégées pour résoudre des tâches nécessitant un raisonnement plus fin, et si un Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) subséquent peut faciliter cette décomposition.

2. Méthodologie

2.1 Taxonomie de la Compression CoT

Les auteurs proposent une taxonomie formelle pour catégoriser les traces de raisonnement CoT en fonction de la manière dont les opérations atomiques ( $f_i$ ) et les valeurs ( $s_i$ ) sont présentées :

CoT Explicite : Sort chaque opération et chaque valeur intermédiaire séquentiellement ( $s_1 = f_1(s_0), s_2 = f_2(s_1), \dots$ ). Cela correspond à une granularité de compression ( $g$ ) de 1.
CoT Composé : Agrège plusieurs opérations en une seule étape, listant explicitement les opérations mais omettant les valeurs intermédiaires (par exemple, $s_2 = f_2(f_1(s_0))$ ). Ici, $g > 1$ .
CoT Implicite : Omet à la fois les valeurs intermédiaires et la liste explicite des opérations intermédiaires, ne sortant que le résultat final d'un bloc (par exemple, $s_4 = f_4(s_3)$ ). Cela cache à la fois les opérations et les valeurs, correspondant à une $g$ plus élevée.

2.2 Construction de Tâches Synthétiques

Pour contrôler des variables telles que la difficulté, la granularité de compression et la taille des données, les auteurs ont construit une tâche de raisonnement arithmétique synthétique.

Structure de la Tâche : Les problèmes impliquent des dépendances séquentielles entre les paramètres (par exemple, « Le nombre de A égale B fois 4 »).
Opérations : Les dépendances impliquent l'addition, la soustraction et la multiplication modulo 23 pour empêcher l'explosion numérique.
Difficulté ($op$) : Définie comme le nombre total d'opérations atomiques requises pour résoudre la tâche.
Granularité ( $g$ ) : Le nombre d'opérations regroupées en une seule étape CoT.
Évaluation : Les modèles sont entraînés sur des tâches avec des valeurs $op$ spécifiques (par exemple, 8, 16, 24) et évalués sur des tâches Hors Distribution (OOD) avec des séquences plus longues (par exemple, 32 à 104 opérations) pour tester la généralisation.

2.3 Configuration Expérimentale

Modèles : Les expériences ont été menées sur diverses familles et tailles de modèles, notamment Qwen2.5 (0,5B à 14B) et Llama-3 (1B à 8B).
Régimes d'Entraînement :
- SFT : Entraîné sur des données CoT Explicites, Composées et Implicites avec des $g$ variables (2, 4, 8).
- Mise à l'échelle des Données vs Répétition : Comparaison de l'entraînement sur de grands ensembles de données diversifiés (384k échantillons, 1 époque) versus de petits ensembles de données répétés de nombreuses fois (6k échantillons, 64 époques).
- RLVR : Application de l'Optimisation de Politique Relative par Groupe (GRPO) sur des modèles pré-entraînés avec SFT pour tester si le RL peut décomposer les étapes compressées.
Ordre CoT : Investigation des ordres CoT Avant (standard), Arrière (inverse) et Hiérarchique (sous-problèmes découpés en blocs).

3. Contributions et Résultats Clés

3.1 Granularité de Compression et Étapes d'Entraînement

Résultat : Le CoT Compressé à granularité plus grossière (g plus élevé) nécessite significativement plus d'étapes d'entraînement et de volume de données pour atteindre le même niveau de performance que le CoT Explicite.
Implication : Pour entraîner des modèles sur des traces de raisonnement hautement compressées, les praticiens doivent préparer des ensembles de données plus importants pour compenser la complexité accrue du signal d'apprentissage.

3.2 Mise à l'échelle des Données vs Répétition des Données

Mise à l'échelle : Le CoT Compressé (à la fois Composé et Implicite) bénéficie davantage de la mise à l'échelle des données (augmentation du nombre d'échantillons uniques) que le CoT Explicite.
Répétition :
- CoT Composé : Bénéficie de la répétition des données (entraînement sur moins d'échantillons pour plus d'époques).
- CoT Implicite : Souffre d'une dégradation des performances lorsque les données sont répétées. Les auteurs suggèrent que cela est dû au surapprentissage ou à la mémorisation de longueurs spécifiques, car le CoT Implicite cache la structure opérationnelle requise pour la généralisation.
À retenir : Lorsque les données sont limitées, le CoT Composé est préférable pour l'entraînement basé sur la répétition, tandis que le CoT Implicite doit être évité au profit d'une mise à l'échelle diversifiée des données.

3.3 Décomposition des Chaînes de Raisonnement

Limitation du SFT : Les modèles entraînés sur un CoT compressé (par exemple, $g=2$ ) échouent à résoudre des tâches nécessitant une décomposition en étapes atomiques (par exemple, des tâches avec des valeurs $op$ impaires lorsqu'entraînés sur des $op$ paires). Ils ne peuvent pas spontanément décomposer les blocs agrégés observés pendant le SFT.
Capacité du RLVR : Le RLVR subséquent permet avec succès la décomposition. Lorsqu'il est appliqué à des tâches nécessitant une décomposition ($op$ impaires), le RLVR permet aux modèles de décomposer les blocs $g=2$ en étapes atomiques $g=1$ .
Dynamique : Pendant le RLVR, la longueur de la réponse augmente initialement (indiquant que le modèle explore des étapes explicites décomposées) avant de converger vers une stratégie efficace qui utilise des étapes compressées pour la majeure partie du calcul et des étapes explicites uniquement là où nécessaire.
À retenir : Le SFT apprend à imiter des motifs compressés, mais le RLVR est nécessaire pour découvrir les compétences atomiques sous-jacentes et les recombiner pour des compositions inédites.

3.4 Ordre CoT et Généralisation

Unidirectionnel vs Hiérarchique : Les ordres CoT Avant et Arrière se généralisent bien à des tâches séquentielles plus longues (OOD). En revanche, le CoT Hiérarchique (qui divise les problèmes en blocs et stocke les variables intermédiaires) échoue à se généraliser à des tâches plus longues.
Efficacité des Données : Le CoT Arrière nécessite plus de données que le CoT Avant pour atteindre une généralisation comparable, probablement en raison d'un désalignement avec la distribution de données utilisée lors du pré-entraînement.
À retenir : Pour les tâches compositionnelles séquentielles, les conceptions de CoT unidirectionnelles sont plus robustes et économes en données que le découpage hiérarchique.

4. Signification et Revendications

L'article prétend fournir une compréhension fondamentale des compromis impliqués dans la compression des données de raisonnement pour le post-entraînement des LLM. Ses contributions principales sont :

Directives pour la Conception des Données : Il offre des règles pratiques pour construire des ensembles de données compressés sous contraintes de ressources. Spécifiquement, il conseille que la compression plus grossière nécessite plus de données, que le CoT Composé bénéficie de la répétition tandis que le CoT Implicite n'en bénéficie pas, et que l'ordre unidirectionnel est supérieur pour la généralisation.
Insight Mécanistique sur SFT vs RL : Le travail éclaire les rôles distincts du SFT et du RL dans le post-entraînement. Il postule que le SFT est efficace pour apprendre des représentations compressées mais est limité dans leur décomposition, tandis que le RLVR agit comme un mécanisme pour « dézipper » ces blocs compressés, permettant au modèle de généraliser à de nouvelles compositions en récupérant des opérations atomiques.
Optimisation des Coûts en Tokens : En identifiant quand les données compressées sont efficaces et comment les associer au RL, l'article vise à aider à naviguer l'équilibre entre la longueur de raisonnement (coût en tokens) et la performance, soutenant le développement d'agents LLM plus efficaces.

Les auteurs maintiennent une modestie concernant leurs revendications, notant que leurs résultats sont dérivés de tâches arithmétiques synthétiques et peuvent ne pas se traduire directement à tous les domaines réels ou aux architectures non-Transformers sans investigation supplémentaire. Ils soulignent que, bien que leurs résultats soutiennent le point de vue selon lequel le RL peut découvrir de nouvelles solutions par composition de compétences, les mécanismes spécifiques dans le raisonnement complexe du monde réel restent un domaine pour des études futures.