Résumé Technique : Au-delà de la pénalisation des erreurs (ACOER)

1. Énoncé du Problème

Les modèles de raisonnement de grande taille (LRM) tels que DeepSeek-R1 et Qwen3 atteignent des performances élevées sur les benchmarks mathématiques en générant des traces de raisonnement étendues via l'apprentissage par renforcement (RL). Cependant, cette capacité induit un goulot d'étranglement sévère en termes d'efficacité, générant souvent des milliers de jetons même pour des problèmes solubles. Pour y remédier, des travaux récents intègrent des récompenses de pénalité de longueur dans l'optimisation de politique relative de groupe (GRPO).

Un mode de défaillance critique, bien que mal compris, dans ce domaine est l'effondrement de la récompense (reward collapse). Lorsque les modèles sont entraînés avec des pénalités de longueur, ils dégénèrent fréquemment en produisant des sorties trop courtes pour raisonner efficacement, provoquant une chute simultanée de la génération de jetons et de la précision de résolution de problèmes. Bien que les praticiens reconnaissent cette instabilité, les mécanismes spécifiques qui la pilotent — en particulier la façon dont la normalisation de groupe de GRPO interagit avec les pénalités de longueur sur les réponses incorrectes — restent non formalisés. De plus, les stratégies existantes de « récompense uniquement pour les réponses correctes » (pénalisant la longueur uniquement sur les réponses correctes) ont montré une stabilité empirique mais manquent d'une explication théorique sur la raison pour laquelle elles échouent parfois de manière stochastique.

2. Méthodologie et Analyse

2.1 Cadre de Diagnostic

Les auteurs ont construit un cadre d'évaluation unifié pour isoler les déclencheurs de l'effondrement de la récompense. Ils ont défini une fonction de récompense généralisée découplant les pénalités de longueur pour les réponses correctes ($\alpha$) et incorrectes ($\beta$) :
$$r = c + c \cdot \alpha \cdot f(\ell) - (1-c) \cdot \beta \cdot f(\ell) + r_{format}$$
où $c$ est la justesse, $\ell$ est la longueur en jetons, et $f(\ell)$ est une fonction dépendante de la longueur. Ils ont évalué 11 configurations à travers diverses valeurs de $\beta$ (de 0 à 0,10) et types de signaux (continus vs discrets).

2.2 Analyse Mécaniste de l'Effondrement

À travers une évaluation systématique et une analyse théorique, l'article identifie deux voies d'effondrement distinctes pilotées par la normalisation de groupe de GRPO :

• Voie 1 : La boucle $\beta$ (Effondrement Structurel).
  Lorsque des pénalités de longueur continues sont appliquées aux réponses incorrectes ($\beta > 0$), le processus d'optimisation est structurellement sujet à l'effondrement.

  • Groupes Mixtes : Dans les lots contenant à la fois des réponses correctes et incorrectes, les échantillons incorrects reçoivent un gradient négatif constant par rapport à la longueur ($\partial \hat{A}_i / \partial \ell_i < 0$). Cela crée une pression descendante implacable pour tronquer le raisonnement.
  • Groupes Homogènes : Dans les lots où toutes les réponses sont incorrectes, la variance de la récompense approche de zéro. Toute différence infinitésimale de longueur provoque une divergence de l'avantage normalisé, créant des pics de gradient explosifs qui forcent la politique vers une longueur nulle.
  • Résultat : Même un poids de pénalité microscopique ($\beta=0,01$) est suffisant pour déclencher l'effondrement.

• Voie 2 : Compression Stochastique des Réponses Correctes.
  Supprimer les pénalités pour les réponses incorrectes ($\beta=0$) élimine la Voie 1 mais ne garantit pas la stabilité. Si le sous-groupe de réponses correctes du modèle se compresse excessivement (en raison de l'initialisation ou de la dynamique précoce), la même logique de divergence s'applique au sein du sous-groupe correct, menant à un effondrement stochastique. Les récompenses statiques uniquement pour les réponses correctes ne peuvent pas prévenir cela de manière fiable.

2.3 Solution Proposée : ACOER

Pour traiter les deux voies, les auteurs proposent ACOER (Adaptive Correct-Only Efficiency Reward), qui emploie trois mécanismes synergiques :

1. Signal Uniquement pour les Réponses Correctes ($\beta=0$) : Élimine la boucle $\beta$ structurelle en appliquant les pénalités de longueur exclusivement aux complétions correctes.
2. Normalisation de Budget Adaptative ($B_t$) : Remplace la limite fixe de jetons $L$ par un budget dynamique $B_t$ basé sur la moyenne mobile exponentielle (EMA) des longueurs de réponses correctes. Cela empêche le feedback incontrôlé où de mineures réductions de jetons produisent des bonus disproportionnés.
3. Adaptation de la Pénalité par Boucle de Contrôle ($\alpha_t$) : Ajuste dynamiquement le poids du bonus de brièveté $\alpha_t$ en fonction de la préservation de la précision. Si la précision chute au-delà d'un seuil, $\alpha_t$ décroît rapidement pour permettre la récupération, tout en augmentant lentement lorsque la précision est stable.

3. Résultats Clés

Des expériences ont été menées sur Qwen3-1.7B entraîné sur NuminaMath-TIR et évalué sur MATH-500, MATH-Hard, AIME 2025 et OlympiadBench.

• Stabilité : Parmi les méthodes avec $\beta > 0$ continu, le taux d'effondrement était de 100 % (8/8). En revanche, ACOER et d'autres méthodes binaires ou uniquement pour les réponses correctes sont restées stables, avec seulement 1/6 d'effondrement (dû à des problèmes d'initialisation statique).
• Efficacité vs Précision : Sur MATH-500, ACOER a réduit la génération de jetons de 62 % (de 5 553 à 2 134 jetons) tout en maintenant une précision comparable au modèle de base (88,4 % contre 88,8 %).
• Adaptativité à la Difficulté : ACOER a démontré un comportement adaptatif aux tâches. Il a réduit les jetons de 78,6 % sur les problèmes faciles (Niveau 1) mais a maintenu un budget de raisonnement plus important (réduction de 52,6 %) pour les problèmes très difficiles (Niveau 5), préservant ainsi la profondeur computationnelle là où elle est nécessaire.
• Comparaison : ACOER a surpassé les méthodes effondrées (ex: GRPO+LP) qui souffraient d'une dégradation sévère de la précision (chutant par exemple à 68 %) et a montré une stabilité supérieure par rapport aux lignes de base de récompense correcte statique.

4. Signification et Revendications

L'article affirme établir les fondements tant empiriques que théoriques de l'effondrement de la récompense dans l'entraînement de l'efficacité basé sur GRPO. Ses principales contributions sont :

1. Explication Mécaniste : Il fournit une analyse théorique formelle démontrant que la normalisation de groupe de GRPO crée intrinsèquement des avantages divergents lorsque des pénalités de longueur continues sont appliquées aux déroulés (rollouts) incorrects, expliquant l'inévitabilité de la boucle $\beta$.
2. Identification de Doubles Modes de Défaillance : Il distingue l'effondrement structurel (piloté par les pénalités de réponses incorrectes) de l'effondrement stochastique (piloté par la compression excessive des réponses correctes), montrant que la simple suppression des pénalités pour les réponses incorrectes est nécessaire mais insuffisante pour une stabilité absolue.
3. Paradigme d'Optimisation Stable : ACOER offre une solution principielle et adaptative qui prévient de manière robuste les deux modes de défaillance, permettant une optimisation sensible à l'efficacité sans sacrifier les capacités de raisonnement.

Les auteurs maintiennent une position modeste, notant que bien qu'ACOER améliore considérablement l'efficacité, ses gains de précision marginaux par rapport aux bases stables (comme le GRPO axé uniquement sur la précision) ne sont pas statistiquement significatifs compte tenu de la taille actuelle des ensembles d'évaluation. Leur principal avantage est la réduction substantielle des jetons. Ils reconnaissent également des limites concernant la généralisation de l'échelle du modèle (testée uniquement sur 1.7B), le coût de calcul de l'analyse multi-seeds, et la nécessité d'explorer davantage la sensibilité aux hyperparamètres.

5. Limites et Éthique

• Échelle : Les expériences ont été limitées à Qwen3-1.7B ; la généralisation à des modèles plus larges (7B+) nécessite une validation.
• Calcul : L'analyse de la vulnérabilité stochastique a été limitée par le coût de calcul élevé des exécutions multi-seeds.
• Éthique : Les auteurs avertissent que le raccourcissement des traces de raisonnement pourrait réduire la transparence ou masquer un raisonnement fragile. Ils recommandent une validation spécifique aux tâches et une surveillance, déconseillant le déploiement dans des systèmes critiques de sécurité basé uniquement sur les économies de jetons.