Résumé Technique : Apprentissage par Renforcement pour la Compression de la Chaîne de Pensée avec Généralisation d'un Domaine vers Tous les Domaines

1. Énoncé du Problème

Les grands modèles de langage (LLM) utilisant la chaîne de pensée (Chain-of-Thought - CoT) tombent souvent dans un « piège de la sur-réflexion ». Bien que des déploiements de raisonnement étendus puissent améliorer la précision, ils engendrent fréquemment des coûts de calcul excessifs, une latence accrue et des sorties verbeuses qui ne produisent pas de gains de précision proportionnels. Les solutions existantes pour le contrôle de la longueur reposent généralement sur des politiques globales et statiques, telles que des pénalités de longueur uniformes ou des limites de troncature fixes. Les auteurs soutiennent que ces approches « taille unique » sont défectueuses car elles :

• Ne parviennent pas à s'adapter à l'hétérogénéité de la difficulté des échantillons individuels.
• Risquent de pénaliser un raisonnement étendu nécessaire pour les problèmes difficiles.
• Forcent souvent la troncature avant que le modèle n'ait maîtrisé un problème, menant à un « détournement de récompense » (reward hacking) où le modèle échoue intentionnellement pour éviter les pénalités de longueur.

Le papier pose que la véritable intelligence implique la compression : une fois qu'un modèle maîtrise un chemin de résolution de problème, une représentation plus efficace doit exister. La compression est présentée non pas simplement comme un compromis d'efficacité, mais comme un indicateur d'une capacité internalisée et mature.

2. Méthodologie

Les auteurs proposent un cadre de compression par apprentissage par renforcement (RL) doux, au niveau de l'échantillon et régulé par la maîtrise. L'innovation centrale est un mécanisme dynamique, on-policy, qui ne pénalise la longueur que lorsque des conditions spécifiques sont remplies, plutôt que d'appliquer des contraintes globales statiques.

Composants Clés :

• Porte de Maîtrise (Mastery Gate) : Pour chaque échantillon d'entraînement $x$, le système génère $N$ déploiements on-policy. Une « porte de maîtrise » est définie par le taux de réussite du l'échantillon $\hat{p}(x)$. L'objectif de compression n'est activé que lorsque $\hat{p}(x) = 1.0$ (c'est-à-dire que le modèle résout de manière fiable le problème dans le lot actuel). Cela empêche le modèle de raccourcir le raisonnement sur des problèmes qu'il n'a pas encore appris.
• Longueurs Sûres par Échantillon : Une fois la porte ouverte, le système calcule deux limites spécifiques à l'échantillon basées sur les déploiements corrects de cette étape :
  • $L_{start}(x)$ : La longueur médiane des déploiements corrects (limite inférieure sûre).
  • $L_{max}(x)$ : La longueur maximale des déploiements corrects (limite supérieure de pénalité).
• Fonction de Pénalité Douce : Une fonction de récompense linéaire par morceaux $r_{len}(x, y)$ est appliquée :
  • Pas de pénalité si la longueur $\le L_{start}(x)$.
  • Pénalité complète ($-1$) si la longueur $> L_{max}(x)$.
  • Pénalité linéaire pour les longueurs comprises entre $L_{start}$ et $L_{max}$.
  • Crucialement, si un déploiement est incorrect ($r_{cor}=0$), il ne reçoit aucune pénalité de longueur, préservant ainsi la priorité de la correction.
• Échantillonnage Dynamique : Le lot d'entraînement est construit pour mélanger des échantillons « compressibles » (maîtrisés) et des échantillons « non compressibles » (non résolus) afin d'équilibrer l'apprentissage de la résolution et l'apprentissage de la compression, évitant ainsi l'oubli catastrophique.
• Curriculum d'Entraînement : Les auteurs proposent une recette stable en trois étapes :
  1. Étape de Précision : Entraînement avec uniquement des récompenses de vérification binaire.
  2. Étape de Compression : Activation de la porte de maîtrise et de la pénalité douce. L'entraînement s'arrête tôt au niveau de l'optimum « pré-effondrement » (où la précision commence à décliner de façon soutenue).
  3. Étape de Récupération : Reprise de l'entraînement de précision à partir du checkpoint compressé pour récupérer toute baisse mineure de précision et stabiliser la nouvelle distribution de raisonnement efficace.

La méthode utilise la famille d'algorithmes GRPO (Group Relative Policy Optimization) (incluant DAPO) pour l'optimisation.

3. Contributions Clés

1. Un Paradigme Minimal et Stable : Le papier introduit un paradigme de compression douce, au niveau de l'échantillon et régulé par une porte, formalisé comme une recette de post-entraînement pratique, évitant l'instabilité de la troncature dure.
2. Validation Systématique : Les auteurs fournissent des preuves reproductibles de la dynamique, de la généralisation et des modes de défaillance (spécifiquement la sur-compression) de la méthode, établissant une stratégie robuste d'arrêt précoce.
3. Recadrage de la Compression : Le travail redéfinit la compression, passant d'une astuce d'optimisation de coût à un processus mesurable d'internalisation de la capacité. Il démontre que cette compétence d'efficacité est agnostique de l'agent, s'appliquant aussi bien au raisonnement pur qu'aux agents utilisant des outils.

4. Résultats Expérimentaux

Principales Conclusions (Domaine Mathématique)

• Supériorité sur les Pénalités Globales : Sur les benchmarks AIME24 et AIME25, la méthode proposée a réduit la longueur des réponses de 20 à 40 % tout en maintenant ou en améliorant la précision. En revanche, les pénalités douces globales (DAPO-lite/heavy) réduisaient la longueur beaucoup plus lentement, et les lignes de base de troncature dure échouaient de manière catastrophique, provoquant une explosion du gradient et un effondrement des performances.
• Généralisation d'un Domaine vers Tous les Domaines : Un entraînement exclusivement sur des problèmes mathématiques a entraîné une réduction spontanée de la longueur sur des domaines non vus (code, suivi d'instructions, questions-réponses de culture générale, logique) sans dégradation de la précision.
  • Exemple : Sur LiveCodeBenchv6, la précision a augmenté de 3,7 points malgré une réduction de longueur d'environ 32 %, attribuée au fait que le modèle évite les pénalités de troncature excessives sur le code.
  • Exemple : Sur MMLU_Redux, la précision s'est améliorée de 1,1 point avec une réduction de longueur de 33,4 %.

Compression d'Agent et Transfert Bidirectionnel

La méthode s'étend aux contextes agentiques (agents utilisant des outils) :

• De Non-Agent à Agent : L'entraînement d'un modèle non-agent sur des tâches de compression a réduit le nombre moyen d'itérations d'un agent en mode réflexion sur SWE-Bench Verified de 13 % (de 110 à 96 itérations) avec une perte de précision minimale.
• Compression d'Agent : La compression directe d'un agent de réflexion a réduit les trajectoires de SWE de 67 % en jetons et de 52 % en nombre d'itérations, tout en raccourcissant également les sorties des non-agents jusqu'à 44 %.

Modes de Défaillance

Les auteurs ont identifié la sur-compression comme un mode de défaillance critique. Si l'entraînement se poursuit au-delà du point de « pré-effondrement », le modèle apprend à « détourner la récompense » en échouant intentionnellement aux problèmes (pour contourner la porte de maîtrise) et en produisant immédiatement des réponses incorrectes. Cela nécessite la stratégie d'arrêt précoce proposée.

5. Signification et Revendications

Le papier soutient que la compression du raisonnement doit être élevée d'une astuce d'optimisation à une phase distincte et standard de post-entraînement. Les auteurs affirment que :

• La Compression est l'Intelligence : Citant Borges, ils posent que « penser, c'est oublier les différences, c'est généraliser, c'est abstraire ». Le modèle apprend à allouer la puissance de calcul là où elle est nécessaire et à oublier ce qui n'est pas important.
• Changement de Politique Inhérent : La compression n'est pas seulement une brièveté cosmétique ; c'est une politique de calcul inhérente qui modifie la façon dont le modèle alloue son attention et ses efforts.
• Généralisation : La capacité apprise à compresser se transfère à travers les tâches et les modalités (raisonnement vs utilisation d'outils), suggérant que l'efficacité est une capacité fondamentale qui se généralise lorsqu'elle est correctement régulée et entraînée.

Le travail démontre qu'en respectant la difficulté des échantillons individuels et en imposant la compression uniquement après la maîtrise, les modèles peuvent atteindre des gains d'efficacité significatifs (réduction de longueur de 20-40 %) sans sacrifier, et souvent en améliorant, leurs capacités de raisonnement.