Résumé Technique : Back to Basics : Revisiting Exploration in Reinforcement Learning for LLM Reasoning via Generative Probabilities

1. Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards) est devenu un paradigme dominant pour améliorer le raisonnement des grands modèles de langage (LLM), particulièrement pour la génération de longs chemins de Chaîne de Pensée (CoT - Chain-of-Thought). Cependant, les méthodes standards d'optimisation de politique, telles que le GRPO (Group Relative Policy Optimization), souffrent d'un effondrement de l'entropie et d'un effondrement de mode (mode collapse).

Le problème central provient de l'objectif de maximisation de la vraisemblance pondérée par la récompense. Pendant l'optimisation, cet objectif amplifie de manière disproportionnée la masse de probabilité des trajectoires à haute récompense (correctes). Par conséquent, le modèle converge vers des politiques à faible entropie qui suppriment les autres chaînes de raisonnement valides, entraînant un manque sévère de diversité des sorties. Bien que les solutions existantes comme la régularisation de l'entropie ou le découpage dynamique tentent d'atténuer cela, elles restent souvent limitées à des modifications locales au sein du cadre de maximisation de la récompense et ne parviennent pas à améliorer fondamentalement la modélisation de divers chemins de raisonnement.

2. Méthodologie : ProGRPO

Les auteurs proposent ProGRPO (Probabilistic based GRPO), un nouveau paradigme qui réexamine la construction de la fonction d'Avantage du point de vue des probabilités génératives. L'innovation centrale est un Mécanisme de Repondération de l'Avantage (ARM - Advantage Re-weighting Mechanism) conçu pour équilibrer les niveaux de confiance entre toutes les réponses correctes.

2.1. Mécanisme de Repondération de l'Avantage (ARM)

Au lieu de modifier directement le signal de récompense (ce qui pourrait fausser les mises à jour si toutes les réponses d'un groupe sont correctes ou incorrectes), ProGRPO ajuste l'Avantage ($\tilde{A}_i$) en incorporant des signaux internes du modèle :

• Confiance du Prompt ($c_\theta(q_i)$) : La confiance du modèle dans le prompt d'entrée, calculée comme l'exponentielle de la moyenne des log-probabilités des tokens de faible probabilité dans le prompt.
• Confiance de la Réponse ($c_\theta(o_i | q_i)$) : La confiance du modèle dans la génération d'une réponse spécifique $o_i$ pour un prompt $q_i$, calculée de la même manière sur les tokens de faible probabilité dans la réponse.

L'avantage repondéré est défini par :
$$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$$
où $A_i$ est l'avantage GRPO standard et $\alpha$ est un coefficient de pondération. Ce mécanisme remodèle dynamiquement le signal de récompense : il atténue les mises à jour de gradient pour les chemins de raisonnement trop confiants et redistribue la masse de probabilité vers les solutions correctes sous-explorées.

2.2. Normalisation de la Longueur des Tokens de Faible Probabilité

Les auteurs observent que l'application d'une normalisation de longueur sur l'ensemble d'une séquence dilue le signal de récompense avec des tokens de haute confiance "triviaux". L'incertitude prédictive est généralement concentrée dans une petite fraction des étapes de génération (environ 20 %).

• Stratégie : La méthode identifie un sous-ensemble critique de tokens ($T^{low}$) représentant les positions ayant la plus haute incertitude prédictive.
• Implémentation : Les scores de confiance pour les prompts et les réponses sont calculés exclusivement sur ce sous-ensemble informatif, préservant les variations significatives qui reflètent la qualité du raisonnement plutôt que la certitude de surface.

2.3. Fonction Objectif

La fonction objectif finale intègre ces avantages repondérés dans la perte GRPO standard, utilisant un objectif de substitution découpé (clipped surrogate objective) pour assurer la stabilité de l'entraînement tout en encourageant une exploration diversifiée.

3. Contributions Clés

• Innovation Méthodologique : L'introduction de ProGRPO, qui étend le GRPO en incorporant un Mécanisme de Repondération de l'Avantage (ARM) sensible à la confiance. Cela permet une exploration ciblée sans compromettre la stabilité de l'entraînement.
• Efficacité Globale : Validation sur divers benchmarks (Mathématiques et Génération de Code) utilisant plusieurs échelles de modèles (Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B). La méthode surpasse systématiquement les bases de référence principales comme GRPO et FlowRL.
• Robustesse OOD : Démonstration d'une capacité d'adaptation Out-of-Distribution (OOD) supérieure, maintenant des performances robustes sur des distributions de données non vues (ex: GPQA, MMLU-Pro).
• Gains de Performance Significatifs : La méthode atteint un compromis supérieur entre exploration et exploitation, améliorant considérablement la précision et la diversité des sorties.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks de raisonnement mathématique (AIME, AMC, MATH, OlympiadBench) et de génération de code (LiveCodeBench, CodeForces, HumanEval+).

• Raisonnement Mathématique :
  • Sur Qwen2.5-7B, ProGRPO surpasse GRPO de 5,7 % en Pass@1 et de 13,9 % en Pass@32.
  • Sur Qwen2.5-32B, il améliore le Pass@1 de 4,8 % par rapport à GRPO.
  • Sur DeepSeek-R1-Distill-Qwen-1.5B, le Pass@1 est passé de 49,4 % (GRPO) à 58,3 % (ProGRPO).
• Génération de Code :
  • Sur CodeForces, ProGRPO a atteint un classement de 1422,49, dépassant GRPO de près de +180 points et FlowRL de +293 points.
  • Sur HumanEval+, il a obtenu un score Avg@16 de 84,01 %, le meilleur parmi les méthodes comparées.
• Diversité et Entropie :
  • L'analyse de l'entropie d'entraînement montre que tandis que le GRPO conduit à un effondrement de l'entropie, ProGRPO présente une hausse stable de l'entropie, indiquant une exploration soutenue.
  • Les métriques de diversité (Self-BLEU, Cosinus Sémantique) sur AIME 2024 montrent une redondance nettement plus faible dans les sorties de ProGRPO par rapport à GRPO, confirmant la génération de chemins de raisonnement structurellement diversifiés.
• Études d'Ablation :
  • Le coefficient de pondération $\alpha$ s'est révélé critique. Un $\alpha$ de 0,3 a fourni l'équilibre optimal entre performance et stabilité. Des valeurs de 0 (GRPO pur) donnaient des résultats plus faibles, tandis que des valeurs plus élevées (0,7, 1,0) dégradaient les performances en accentuant trop les signaux de confiance.

5. Signification et Revendications

L'article affirme que ProGRPO traite le compromis Exploration-Exploitation fondamental dans les tâches de raisonnement des LLM. En déplaçant l'accent de la simple maximisation de la récompense vers l'équilibre des probabilités génératives et de la confiance, la méthode :

1. Atténue l'Effondrement de l'Entropie : Empêche le modèle de converger vers un chemin de raisonnement dominant unique.
2. Améliore la Diversité : Génère une plus grande variété de chaînes de raisonnement valides, comme en témoignent les gains significatifs dans les métriques Pass@k (où $k > 1$).
3. Améliore la Généralisation : Maintient des performances robustes sur les jeux de données OOD, suggérant que les capacités de raisonnement apprises sont plus transférables.

Les auteurs positionnent ce travail comme une approche "Back to Basics", revisitant la nature probabiliste de la génération des LLM pour résoudre les limites des paradigmes actuels de RLVR, ouvissant la voie à un apprentissage par renforcement plus stable et exploratoire pour les modèles de raisonnement.