🤖 machine learning

HMPO: Hybrid Median-length Policy Optimization for Chain-of-Thought Compression

HMPO est un cadre d'apprentissage par renforcement à étape unique et rentable qui compresse efficacement le raisonnement de type « chaîne de pensée » (chain-of-thought) de 19 % à 46 % avec une perte de précision négligeable sur diverses tâches et échelles de modèles, surmontant ainsi les limites du réglage manuel et de l'entraînement multi-étapes des méthodes existantes.

Auteurs originaux : Minghui Zheng, Hongxu Chen, Huimin Ren, Hongsheng Xin, Xiaoyang Qu, Ze Wang, Shuling Yang, Ziyu Peng, Kaike Zhang, Pan Zhou, Kun Zhan

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minghui Zheng, Hongxu Chen, Huimin Ren, Hongsheng Xin, Xiaoyang Qu, Ze Wang, Shuling Yang, Ziyu Peng, Kaike Zhang, Pan Zhou, Kun Zhan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un étudiant brillant mais trop bavard. Lorsque vous lui posez un problème de mathématiques, il ne se contente pas de donner la réponse ; il écrit un roman de 50 pages sur chaque pensée qui lui traverse l'esprit, incluant les impasses, les « et si », et de longues explications interminables. Bien que ce « processus de réflexion » (appelé Chain-of-Thought ou Chaîne de Pensée) lui permette d'obtenir la bonne réponse, il est extrêmement lent, coûteux à exécuter et gaspille énormément d'énergie.

Cette publication présente une nouvelle méthode appelée HMPO (Hybrid Median-length Policy Optimization) pour apprendre à cet étudiant à être concis sans perdre son intelligence.

Voici comment fonctionne le HMPO, en utilisant des analogies simples :

1. Le Problème : L'étudiant qui « réfléchit trop »

Les modèles d'IA actuels sont excellents pour le raisonnement, mais ils « réfléchissent trop ». Ils génèrent des milliers de mots (tokens) pour une seule question. C'est comme demander à quelqu'un l'heure et recevoir un cours sur l'histoire des horloges. Cela coûte cher (en puissance de calcul) et prend beaucoup de temps.

Les méthodes existantes pour corriger cela sont maladroites :

Elles utilisent des règles rigides (ex: « Arrêtez de parler après 1 000 mots »), ce qui peut couper une explication nécessaire pour un problème difficile.
Elles nécessitent un entraînement complexe en plusieurs étapes (comme embaucher un tuteur, puis un coach, puis un manager), ce qui prend un temps infini et coûte une fortune.
Elles échouent souvent lorsqu'elles sont appliquées à des modèles très grands et complexes.

2. La Solution : HMPO (Le Coach Intelligent)

Le HMPO est une session d'entraînement unique et efficace qui apprend à l'IA à être brève mais précise. Il utilise trois astuces ingénieuses :

A. Le Budget « Juste Milieu » (Médiane Adaptative)

Au lieu de fixer une limite de mots fixe (comme « max 500 mots »), le HMPO observe les réponses réussies récentes de l'étudiant.

L'analogie : Imaginez un coach observant un groupe de coureurs. Au lieu de dire « Courez exactement 10 minutes », le coach regarde le temps médian (le milieu) des coureurs qui ont réellement terminé la course avec succès.
Comment cela aide : Si les problèmes sont difficiles, les réponses « réussies » sont naturellement plus longues, donc le budget s'assouplit. Si les problèmes sont faciles, les réponses réussies sont courtes, donc le budget se resserre. L'IA apprend à viser la longueur « juste milieu » automatiquement, sans qu'un humain ait besoin de deviner le chiffre.

B. L'Atterrissage en Douceur (Décroissance Cosinus)

Habituellement, si vous dites à une IA « sois plus courte », elle pourrait tricher en donnant une réponse courte mais fausse pour obtenir la récompense. Le HMPO empêche cela.

L'analogie : Imaginez un jeu vidéo où vous gagnez des points pour terminer un niveau rapidement. Mais si vous terminez le niveau de manière incorrecte, vous obtenez zéro point, peu importe votre rapidité.
Comment cela aide : Le HMPO utilise une formule mathématique spéciale (récompense multiplicative) qui dit : « La justesse est la seule chose qui compte d'abord. Si vous vous trompez, votre longueur n'a aucune importance ; vous obtenez zéro. » Si vous êtes correct, alors vous recevez des points supplémentaires pour votre concision. Cela empêche l'IA de tricher en étant paresseuse ou erronée.

C. Le « Guichet Unique » (Entraînement en une seule étape)

Les anciennes méthodes nécessitaient un processus long et compliqué : d'abord enseigner à l'IA à être courte (Étape 1), puis lui enseigner à être juste (Étape 2), puis mélanger les deux.

L'analogie : Au lieu de construire une maison brique par brique pendant trois ans, le HMPO est comme une imprimante 3D qui construit toute la maison d'un coup.
Comment cela aide : Cela réduit le temps et le coût de l'entraînement de 1,5 à 2,5 fois par rapport aux anciennes méthodes.

3. Les Résultats : Plus Intelligent, Plus Rapide, Moins Cher

Les chercheurs ont testé cela sur des modèles d'IA allant de petits (9 milliards de paramètres) à massifs (122 milliards de paramètres).

La Magie : Ils ont entraîné l'IA uniquement sur des problèmes de mathématiques.
La Surprise : Bien qu'elle n'ait appris la concision que sur les mathématiques, elle est devenue concise en codage, en sciences et dans le respect des instructions également. C'est comme apprendre à un étudiant à écrire une dissertation courte en mathématiques, et soudain, il commence à écrire des e-mails et du code courts et clairs sans qu'on lui ait demandé.
Les Chiffres : L'IA a réduit la longueur de sa « réflexion » de 19 % à 46 % (réduisant considérablement le nombre de mots) tout en maintenant sa précision presque exactement la même.
La Comparaison : Un modèle de 122 milliards de paramètres compressé et entraîné avec le HMPO a performé aussi bien que des modèles beaucoup plus grands et non optimisés, mais il l'a fait avec beaucoup moins de mots et moins de puissance de calcul.

Résumé

Le HMPO est une nouvelle façon d'entraîner l'IA pour qu'elle arrête de « trop réfléchir ». Il utilise un système intelligent et auto-ajustable pour trouver l'équilibre parfait entre brièveté et justesse. C'est moins cher à entraîner, cela fonctionne sur de très grands modèles, et, de manière surprenante, cela apprend à l'IA à être concise dans de nombreux sujets différents simplement en pratiquant les mathématiques.

Ce que le papier ne prétend PAS :

Il ne prétend pas que cela fonctionne pour les conversations multi-tours (comme un long chat où l'IA se souvient des tours précédents).
Il ne prétend pas que c'est prêt pour le diagnostic médical ou le conseil juridique.
Il ne prétend pas que cela fonctionne pour les agents d'IA qui utilisent des outils (comme naviguer sur le web ou utiliser une calculatrice) dans des boucles complexes.

Résumé Technique : HMPO – Optimisation de la Politique de Longueur Médiane Hybride pour la Compression de la Chaîne de Pensée (Chain-of-Thought)

1. Énoncé du Problème

Les grands modèles de langage (LLM) ont démontré des capacités de raisonnement remarquables grâce à des processus étendus de Chaîne de Pensée (CoT - Chain-of-Thought), comme on peut le voir avec des modèles tels qu'OpenAI o1, DeepSeek-R1 et Qwen-3. Cependant, ce paradigme de « réflexion » entraîne des coûts d'inférence prohibitifs, caractérisés par une latence élevée et une consommation substantielle de ressources en raison de la génération de milliers de jetons (tokens) par requête.

Les méthodes existantes de compression de CoT font face à trois limitations critiques :

Contraintes Inflexibles : Les approches actuelles reposent sur des budgets de longueur statiques, ajustés manuellement, ou sur des décisions binaires rigides de type « réfléchir ou sauter », ce qui limite leur applicabilité à des domaines étroits (principalement les mathématiques) et ne permet pas de s'adapter aux variations de complexité des problèmes.
Coûts d'Entraînement Prohibitifs : Une compression efficace nécessite souvent des pipelines multi-étapes coûteux en calcul, incluant la distillation de données, des phases de préchauffage par apprentissage supervisé (SFT), ou l'élagage itératif progressif.
Scalabilité Fragile : Les évaluations sont largement restreintes à de petits modèles denses (≤32B), laissant inexplorée l'applicabilité aux architectures de grande échelle et aux modèles de mélange d'experts (MoE) de pointe.

2. Méthodologie : HMPO

Les auteurs proposent HMPO (Hybrid Median-length Policy Optimization), un cadre d'apprentissage par renforcement à étape unique et rentable, basé sur l'Optimisation de la Politique Relative au Groupe (GRPO). HMPO répond aux limitations des travaux antérieurs grâce à trois composantes synergiques :

A. Budget Adaptatif Basé sur la Médiane

Au lieu d'utiliser un budget de jetons statique et défini manuellement, HMPO dérive dynamiquement un budget $b$ à partir de la longueur médiane des déroulements réussis (corrects) au sein d'un lot d'entraînement.

Mécanisme : Pour un groupe de $G$ déroulements, le sous-ensemble $C$ contenant les réponses correctes est identifié. Le budget est calculé comme $b = \text{median}(\{n_i \mid i \in C\})$ , où $n_i$ est la longueur en jetons.
Avantage : Cette approche isole le signal de longueur du bruit généré par les tentatives infructueuses et crée une contrainte sensible à la difficulté. Les requêtes complexes produisent naturellement des déroulements corrects plus longs (assouplissant le budget), tandis que les requêtes plus simples sont soumises à des contraintes plus strictes. À mesure que la politique s'améliore, le budget diminue automatiquement, formant un curriculum de resserrement automatique sans intervention manuelle.

B. Récompense de Jetons par Décroissance Cosinusale

Pour pénaliser la verbosité sans dégrader la précision, HMPO applique une préférence de longueur exclusivement aux trajectoires réussies.

Mécanisme : Une récompense de jeton $R_{token}$ est définie à l'aide d'une fonction de décroissance cosinusale fluide pour les déroulements corrects où la longueur $n < b$ :
$R_{token} = \min\left(1, \cos\left(\frac{\pi n}{2b}\right) + \lambda\right)$
Les réponses incorrectes ou vides reçoivent $R_{token} = 0$ . Le scalaire $\lambda$ contrôle l'ampleur du gain induit par la longueur.
Avantage : Cela fournit une pénalité d'« atterrissage en douceur », encourageant des réponses correctes plus courtes tout en préservant les étapes de raisonnement nécessaires, évitant ainsi les pénalités brutales des seuils binaires.

C. Formulation de Récompense Multiplicative

Pour prioriser strictement la justesse de la réponse et empêcher le « détournement de récompense » (reward hacking — où le modèle génère des réponses courtes mais incorrectes pour maximiser les récompenses de longueur), la récompense finale est formulée de manière multiplicative :
$R_{final} = R_{acc} \cdot R_{token}$

Mécanisme : $R_{acc}$ vaut 1 pour les réponses correctes et 0 pour les réponses incorrectes.
Avantage : Cela impose une hiérarchie « la justesse d'abord, la longueur ensuite ». Mathématiquement, toute réponse incorrecte (où $R_{acc}=0$ ) résulte en une récompense finale de 0, quelle que soit sa longueur. Cela élimine les gradients d'efficacité pour les réponses incorrectes, protégeant l'entraînement contre le détournement de récompense.

3. Principales Contributions

Innovation Méthodologique : HMPO introduit un budget adaptatif basé sur la médiane correcte, un façonnage de récompense par cosinus et une factorisation de récompense multiplicative. Ces composantes résolvent conjointement la rigidité des budgets manuels, l'agressivité des pénalités statiques et la vulnérabilité au détournement de récompense des méthodes de compression par RL antérieures.
Généralisation Trans-domaine : L'article présente une évaluation étendue sur des modèles denses et MoE allant de 9B à 122B de paramètres. Crucialement, HMPO est entraîné exclusivement sur des données mathématiques, mais démontre une robustesse de généralisation aux tâches de code, de science et de suivi d'instructions sans ajustement spécifique à la tâche.
Scalabilité Sans Précédent : HMPO réalise la première compression de CoT réussie sur des architectures MoE massives (jusqu'à 122 milliards de paramètres). Il maintient une parité de précision quasi parfaite tout en réduisant considérablement l'utilisation de jetons, permettant à ces modèles de rivaliser avec des modèles frontières beaucoup plus larges (ex: MoE de 700B+) en utilisant beaucoup moins de jetons.

4. Résultats Expérimentaux

Les expériences ont été menées sur la série de modèles Qwen3.5 (9B, 35B-A3B et 122B-A10B) entraînés sur 6,5K instances de DeepMath-103K.

Compression vs Précision : HMPO atteint une compression de jetons de 19 % à 46 % à travers différentes échelles de modèles avec une dégradation de précision négligeable.
- Sur Qwen3.5-9B, il réduit les jetons de sortie de 46 % avec une baisse de seulement 0,02 point de pourcentage (pp) de la précision moyenne.
- Sur Qwen3.5-122B, il atteint 19 % de compression avec une baisse de 0,10 pp de précision.
Comparaison avec les Baselines :
- ThinkPrune : Atteint une compression plus élevée (64–72 %) mais souffre d'une dégradation sévère de la précision (chutes de 11–22 pp).
- Thinkless : Présente un échec catastrophique sur les petits modèles (<15 % de précision) dû à un effondrement de mode induit par le SFT.
- AdaptThink : Fournit des gains marginaux mais échoue à compresser efficacement sur les grands modèles, augmentant parfois la longueur des jetons.
Efficacité de l'Entraînement : En éliminant les phases de distillation et de SFT, HMPO réduit les heures de calcul GPU de 1,5× à 2,5× par rapport aux baselines multi-étapes.
Efficacité des Jetons : Sur AIME 2026, les modèles entraînés par HMPO réduisent la consommation de jetons de 23 % tout en maintenant une précision compétitive face à des modèles frontières nettement plus grands (ex: Nemotron-3-Super-120B et Kimi-K2.5-1T).

5. Signification et Revendications

L'article affirme que HMPO représente un changement de paradigme dans l'efficacité du raisonnement en offrant une stratégie d'optimisation à étape unique et prête à l'emploi. Sa signification réside dans :

Élimination de l'Ajustement Manuel : Le budget médian adaptatif supprime la nécessité d'un ajustement fastidieux et spécifique au domaine du budget de longueur.
Robustesse Mathématique : La formulation de la récompense multiplicative empêche mathématiquement le modèle d'apprendre à être concis au détriment de la justesse.
Déploiement Pratique : En réalisant une compression élevée avec une perte de précision négligeable sur diverses architectures et domaines (malgré un entraînement uniquement mathématique), HMPO permet le déploiement efficace des LLM de raisonnement avancés, réduisant drastiquement les coûts d'inférence sans nécessiter de pipelines d'entraînement complexes à plusieurs étapes.

Les auteurs reconnaissent des limites concernant le raisonnement multi-tours et les tâches agentiques, notant que le cadre actuel est conçu pour des scénarios à tour unique et que l'extension aux scénarios interactifs ou basés sur des outils reste une direction pour les travaux futurs.