Résumé Technique : Momentum pour le Raisonnement : Signaux Intrinsèques Denses dans l'Optimisation de la Politique

Énoncé du Problème

L'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) est devenu le paradigme dominant pour susciter le raisonnement à chaîne longue dans les Grands Modèles de Langage (LLM), en utilisant principalement l'Optimisation de la Politique Relative au Groupe (GRPO). Cependant, la dépendance aux récompenses binaires de résultat (correct/incorrect) induit deux modes d'échec structurels qui entravent l'efficacité de l'entraînement et la qualité du raisonnement :

1. Effondrement de l'Avantage Nul (Zero-Advantage Collapse) : Dans un groupe de rollouts, si toutes les trajectoires partagent le même résultat (par exemple, toutes correctes ou toutes incorrectes), l'avantage relatif au groupe devient nul ($\sigma_R = 0$). Cela entraîne un gradient évanescent, gaspillant l'effort de calcul de l'ensemble du groupe. Ce régime devient de plus en plus fréquent à mesure que l'entraînement progresse et que les prompts saturent (prompts faciles) ou restent non résolus (prompts difficiles).
2. Certitude Hallucinée (Hallucinated Certainty) : En phase tardive de l'entraînement, l'entropie de la politique du modèle diminue même sur les rollouts incorrects lors de jetons de décision à enjeux élevés. Le modèle devient « sûre de lui mais erroné », ce qui fossilise des schémas de raisonnement erronés. Les récompenses binaires ne peuvent pas distinguer une erreur certaine d'une erreur hésitante, échouant ainsi à pénaliser cette pathologie spécifique.

La cause profonde de ces deux modes est qu'une récompense de résultat binaire indique si une trajectoire a réussi, mais ne fournit aucune information sur comment elle est arrivée à la réponse, laissant la politique sans signaux au niveau du processus.

Méthodologie : ISPO (Intrinsic Signal Policy Optimization)

Les auteurs proposent l'ISPO, une augmentation de la récompense au niveau de la récompense pour GRPO, qui densifie la récompense de résultat parcimonieuse en utilisant deux signaux intrinsèques calculés entièrement à partir des propres probabilités conditionnelles de la politique. Cette approche ne nécessite aucun modèle de récompense externe ni annotation de processus.

1. Signal au Niveau de la Séquence : IFD Conditionnel

Pour traiter l'Effondrement de l'Avantage Nul, l'ISPO introduit un signal au niveau de la séquence mesurant à quel point la trajectoire de pensée ($T$) informe la réponse finale ($A$).

• Définition : La Difficulté de Suivi d'Instruction Conditionnelle (IFD) est définie comme l'écart de log-probabilité entre la prédiction de la réponse avec la trace de pensée et sans celle-ci :
  $$\text{IFD}_{\text{cond}}(\tau) = \frac{1}{|A|} [\log p_\theta(A|Q, T) - \log p_\theta(A|Q)]$$
• Garantie Théorique : Les auteurs prouvent que la valeur attendue de ce terme est égale à la divergence de Kullback-Leibler (KL) conditionnelle $D_{KL}(p_\theta(\cdot|Q, T) \parallel p_\theta(\cdot|Q))$. Cette identité garantit formellement que même lorsque la récompense de résultat est homogène ($\sigma_{\text{outcome}}=0$), la variance de la récompense composite reste non nulle ($\sigma_R > 0$) tant que les traces de pensée diffèrent, préservant ainsi le gradient.

2. Signal au Niveau du Jeton : Mise en Forme Directionnelle

Pour traiter la Certitude Hallucinée, l'ISPO ajoute une récompense fine, conditionnée au résultat, au niveau du jeton, restreinte à un sous-ensemble de « jetons critiques ».

• Sélection des Jetons Critiques : Les jetons sont sélectionnés via l'intersection de deux filtres :
  1. Filtre d'Entropie ($\mathcal{A}$) : Sélectionne les jetons ayant une incertitude locale élevée (top-$k\%$ d'entropie).
  2. Filtre de Dérive ($\mathcal{C}_\Delta$) : Sélectionne les jetons où la politique actuelle a significativement dérivé de la politique de base gelée.
     Cette intersection isole les jetons qui sont à la fois incertains et activement façonnés par le RL, représentant des points de décision à fort levier.
• Récompense Directionnelle :
  • Rollouts Corrects : Récompense la faible perplexité (haute probabilité) sur les jetons critiques pour renforcer l'exécution fluide.
  • Rollouts Incorrects : Récompense la haute entropie. Crucialement, une pénalité de charnière (hinge penalty) $\max(0, \tau_H - H_t)$ est appliquée aux jetons à faible entropie. Cela pénalise de manière asymétrique les prédictions « sûres de soi mais erronées » (faible entropie sur des chemins incorrects) tout en laissant les jetons incorrects incertains relativement peu affectés, ciblant directement le régime de certitude hallucinée.

3. Récompense Composite

La récompense finale $R(\tau)$ combine le résultat binaire $R_o$ avec les signaux intrinsèques :
$$R(\tau) = R_o + \lambda_1 (2R_o - 1) \text{IFD}_{\text{cond}}(\tau) + \lambda_2 R_{\text{token}}(\tau)$$
Le facteur de signe $(2R_o - 1)$ garantit qu'une forte dépendance pensée-réponse est récompensée pour les réponses correctes mais pénalisée pour les réponses incorrectes.

Contributions Clés

1. Formalisation des Modes d'Échec : L'article identifie et analyse formellement l'Effondrement de l'Avantage Nul et la Certitude Hallucinée comme des échecs structurels du RLVR à résultat binaire.
2. Conception de Signaux Intrinsèques : Il propose l'ISPO, qui intègre un IFD conditionnel au niveau de la séquence (avec une identité KL conditionnelle exacte) et une mise en forme de jeton directionnelle avec une charnière de certitude hallucinée.
3. Préservation du Gradient Théorique : Il fournit une proposition prouvant que l'ISPO préserve des gradients non nuls dans les lots à avantage nul, « débloquant » ainsi les données d'entraînement que le GRPO standard rejette.
4. Supériorité Empirique : Des expériences approfondies démontrent des gains de performance constants à travers plusieurs échelles de modèles et benchmarks.

Résultats Expérimentaux

Les auteurs ont évalué l'ISPO sur trois modèles de base Qwen2.5 (1.5B, 7B Math, et 7B General) sur cinq benchmarks de raisonnement mathématique : AIME24, AIME25, AMC23, MATH-500, et OlympiadBench.

• Performance : L'ISPO surpasse systématiquement les bases compétitives (incluant Vanilla GRPO, Dr. GRPO, PACR, Scaf-GRPO, et PREPO).
  • Sur Qwen2.5-Math-7B, l'ISPO a atteint un Pass@1 de 55,4 % (moyenne sur les benchmarks), dépassant la base la plus forte (Scaf-GRPO à 51,3 %) de 4,1 points.
  • Les gains les plus importants ont été observés sur les benchmarks les plus difficiles (AIME24/AIME25), où l'Effondlement de l'Avantage Nul est le plus fréquent. Par exemple, sur AIME24 avec le modèle 7B, l'ISPO a atteint 48,9 % contre 43,3 % pour Scaf-GRPO.
• Efficacité : L'ISPO a récupéré des gradients dans des lots qui auraient autrement été rejetés par GRPO. Alors que le Vanilla GRPO rejetait environ 24,7 % des rollouts en raison de l'avantage nul, l'ISPO maintenait 100 % des rollouts utiles avec un surcoût de temps de calcul (wall-clock) d'environ 4,4 % (dû à un passage forward supplémentaire pour la probabilité de la réponse uniquement).
• Évaluation Multi-Échantillon : Dans les évaluations pass@32, l'ISPO montre des améliorations significatives (par exemple, +13,7 % sur AIME24 pass@32 par rapport à ProGRPO), indiquant que la méthode préserve avec succès la diversité des échantillons et empêche l'effondrement vers une certitude erronée.
• Études d'Ablation : Le retrait de l'IFD conditionnel ou de la mise en forme de jeton directionnelle a entraîné des baisses de performance, confirmant que les deux composantes sont nécessaires. L'intersection des filtres d'entropie et de dérive s'est avérée supérieure à l'utilisation de l'un ou l'autre filtre seul.

Signification et Revendications

L'article affirme que l'ISPO traite la limitation fondamentale des récompenses binaires parcimonieuses dans le RLVR en exploitant la propre surface de probabilité du modèle comme une source dense d'information. Les auteurs caractérisent les signaux intrinsèques denses comme un « momentum pour le raisonnement » qui maintient l'apprentissage actif là où les gradients de résultat s'éteignent.

La portée de ce travail réside dans sa capacité à :

1. Stabiliser l'Entraînement : En prévenant l'Effondrement de l'Avantage Nul, l'ISPO garantit que les prompts difficiles (qui résultent souvent en des groupes de résultats tous incorrects) continuent de fournir des signaux d'apprentissage plutôt que d'être rejetés.
2. Corriger les Pathologies : En pénalisant explicitement les erreurs certaines, l'ISPO atténue le mode d'échec de la « Certitude Hallucinée », menant à des trajectoires de raisonnement plus robustes.
3. Intégration Orthogonale : La méthode se compose de manière orthogonale avec les raffinements existants au niveau de l'optimiseur et les stratégies de curation de données, offrant une amélioration généralisable du pipeline RLVR sans nécessiter de modifications du processus de génération de rollouts ou de modèles de récompense externes.

Les auteurs notent des limites, spécifiquement le fait que l'approche est actuellement restreinte aux tâches avec des résultats vérifiables et a été validée principalement sur des tâches de raisonnement mathématique avec les modèles Qwen2.5.