Compress the Easy, Explore the Hard: Difficulty-Aware Entropy Regularization for Efficient LLM Reasoning

Résumé Technique : Compresser le Facile, Explorer le Difficile (CEEH)

Énoncé du Problème

Le prompting par Chaîne de Pensée (Chain-of-Thought ou CoT) a considérablement amélioré les capacités de raisonnement des Grands Modèles de Langage (LLM) en externalisant les étapes intermédiaires. Cependant, ce raisonnement explicite entraîne souvent des sorties verbeuses, conduisant à une latence d'inférence et des coûts computationnels prohibitifs. Les méthodes existantes de compression du raisonnement, qui emploient généralement l'Apprentissage par Renforcement (RL) avec des contraintes de longueur (par exemple, des pénalités de longueur explicites), font face à un mode de défaillance critique : l'optimisation agressive de la brièveté déclenche un effondrement rapide de l'entropie.

À mesure que la politique devient trop déterministe pour satisfaire aux contraintes de longueur, l'espace d'exploration se réduit prématurément. Cela empêche le modèle de découvrir des chemins de raisonnement valides pour des problèmes complexes nécessitant une déduction étendue, une auto-réflexion ou une correction d'erreurs. Par conséquent, ces méthodes sacrifient souvent la précision du raisonnement au profit de la brièveté. Une tension centrale existe : une régularisation uniforme de l'entropie peut maintenir l'exploration mais induit des trajectoires plus longues (contredisant la compression), tandis que des pénalités de longueur uniformes compressent les trajectoires mais provoquent un effondrement de l'entropie (dégradant la précision).

Méthodologie : CEEH

Les auteurs proposent CEEH (Compress the Easy, Explore the Hard — Compresser le Facile, Explorer le Difficile), un cadre sensible à la difficulté qui équilibre dynamiquement l'exploration et la compression. La méthode intègre deux composantes synergiques au sein d'un cadre d'Optimisation de Politique Relative de Groupe (GRPO) :

1. Régularisation de l'Entropie Sensible à la Difficulté
Au lieu d'appliquer une régularisation uniforme, CEEH maintient sélectivement l'exploration sur les questions « difficiles » tout en permettant une compression agressive sur les questions « faciles ».

• Estimation Dynamique de la Difficulté : Le système maintient une estimation historique de la précision pour chaque question en utilisant une Moyenne Mobile Exponentielle (EMA) Asymétrique. Une question est classée comme « difficile » ($D_h$) si sa précision historique est inférieure à la moyenne globale du jeu de données. Ce seuil évolue à mesure que le modèle s'améliore.
• Mécanisme Sélectif :
  • Pour les Questions Difficiles ($D_h$) : La méthode applique une régularisation de l'entropie plus forte. Cela est réalisé en amplifiant le coefficient de régularisation (par exemple, un multiplicateur de $5\times$ dans le schéma d'annealing cosinus) et en incorporant un terme d'avantage basé sur l'entropie ($\psi(H)$) qui encourage la génération de tokens à haute entropie. Cela préserve un espace de recherche diversifié pour éviter une convergence prématurée.
  • Pour les Questions Faciles : La régularisation est assouplie, permettant à la politique d'exploiter avec confiance des chemins de raisonnement plus courts et bien établis.

2. Pénalité de Longueur Optimale Dynamique
Pour contrer le potentiel d'inflation de la longueur causé par la régularisation de l'entropie sur les questions difficiles, CEEH introduit une pénalité de longueur dynamique au niveau de la question.

• Mécanisme : Le système suit la longueur de la réponse correcte historiquement la plus courte ($L_x$) pour chaque question spécifique.
• Fonction de Pénalité : Une pénalité est appliquée uniquement aux réponses correctes qui dépassent cette ligne de base évolutive. La pénalité est calculée comme l'écart relatif : $R_{len} = (L_{x, y_i} - L_x) / L_x$.
• Signal Adaptatif : Cette conception garantit que le signal de compression reste stable et discriminant même lorsque les capacités du modèle s'améliorent et que les longueurs de réponse diminuent naturellement. Cela empêche le modèle d'exploiter la régularisation de l'entropie pour générer des sorties inutilement longues sur des problèmes difficiles.

Dynamique d'Entraînement
La récompense totale combine la récompense vérifiable (précision) et la pénalité de longueur : $R_{total} = R - \beta R_{len}$. La méthode emploie des stratégies d'implémentation spécifiques, telles que l'augmentation du seuil de clip supérieur (Clip-Higher) pour encourager l'exploration et l'évitement de la standardisation de l'avantage pour empêcher l'atténuation du signal de pénalité de longueur.

Contributions Clés

1. Identification de l'Effondrement de l'Entropie : L'article fournit une perspective basée sur l'entropie, identifiant la décroissance rapide de l'entropie comme un facteur primaire causant l'échec du compromis précision-longueur dans les méthodes existantes de compression du raisonnement.
2. Cadre CEEH : Un nouveau cadre intégrant une régularisation de l'entropie sensible à la difficulté (pour maintenir l'exploration sur les tâches difficiles) et une pénalité de longueur optimale dynamique (pour stabiliser l'entraînement et imposer la compression).
3. Validation Empirique : Démontre que CEEH atteint un compromis précision-efficacité supérieur par rapport aux bases solides, compressant efficacement le raisonnement sans sacrifier la justesse.

Résultats Expérimentaux

La méthode a été évaluée sur six benchmarks de raisonnement mathématique (GSM8K, MATH500, AIME24/25, AMC, OlymBench) en utilisant des modèles R1-Distill-Qwen2.5.

• Précision vs Longueur : CEEH a systématiquement réduit le nombre de tokens de réponse de plus de 30 % par rapport aux modèles de base tout en maintenant une précision comparable, voire légèrement supérieure, à celle du modèle de base.
• Comparaison avec les Baselines :
  • Prompting/Méthodes Offline : Montraient souvent une précision fluctuante ou échouaient à se généraliser à travers divers niveaux de difficulté.
  • RL de Longueur Seule (ex: Pénalité de Longueur) : Bien qu'efficaces pour réduire la longueur, ces méthodes dégradaient fréquemment les performances Pass@k, indiquant une perte de capacité de raisonnement sous-jacente due à l'effondrement de l'entropie.
  • CEEH : A maintenu ou amélioré les scores Pass@k, suggérant que la méthode préserve la capacité du modèle à découvrir des solutions correctes grâce à une exploration contrôlée.
• Robustesse : La méthode s'est bien généralisée à travers des modèles de différentes échelles (1.5B et 7B paramètres) et diverses tâches de raisonnement.
• Efficacité de l'Entraînement : CEEH a atteint une précision d'entraînement et une efficacité de données supérieures par rapport aux stratégies de pénalité uniforme, grâce à l'exploration à haute entropie sur les questions difficiles.

Signification et Revendications

L'article affirme que CEEH résout la tension entre la compression du raisonnement et la préservation des capacités en séparant explicitement ce qu'il faut compresser et ce qu'il faut explorer.

• Préservation de la Capacité de Raisonnement : En empêvant l'effondrement de l'entropie sur les instances difficiles, CEEH garantit que le modèle conserve la capacité d'effectuer des déductions complexes et des auto-corrections, plutôt que de simplement devenir confiant dans des solutions de raccourci sous-optimales.
• Compression Stable : La pénalité de longueur optimale dynamique fournit un signal robuste qui s'adapte aux capacités croissantes du modèle, empêchant l'« inflation de la longueur » souvent observée lorsque la régularisation de l'entropie est appliquée uniformément.
• Généralisabilité : L'approche démontre que les gains d'efficacité dans le raisonnement des LLM ne nécessitent pas un compromis avec la précision, à condition que l'exploration soit gérée de manière adaptative en fonction de la difficulté de l'instance.

Le travail conclut qu'un contrôle principiel de l'entropie pendant la compression est essentiel pour maintenir de véritables capacités de raisonnement dans l'optimisation des LLM par RL.