Résumé Technique : Au-delà des Déroulements Négatifs : Optimisation de Politique Uniquement Positive avec Gradients Négatifs Implicites

Énoncé du Problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) est devenu un paradigme dominant pour améliorer les capacités de raisonnement des grands modèles de langage (LLM), en particulier dans les domaines mathématiques. Les approches actuelles de l'état de l'art, telles que l'optimisation de politique relative par groupes (GRPO), reposent sur la comparaison de déroulements positifs (corrects) et négatifs (incorrects) groupés pour estimer les avantages. Cependant, cet article identifie une limitation fondamentale dans le traitement des réponses incorrectes comme signaux d'apprentissage explicites :

1. Absence de Gradation : Dans les configurations de récompense binaire (par exemple, $R(x,y)=1$ si correct, $0$ sinon), toutes les réponses incorrectes sont traitées de manière égale. Il n'existe aucun signal inhérent distinguant une réponse « légèrement fausse » d'une réponse « complètement absurde ».
2. Vastité Combinatoire : L'espace des réponses incorrectes pour des tâches complexes (comme les mathématiques de niveau olympique) est combinatorialement vaste. Pénaliser quelques déroulements négatifs échantillonnés est peu susceptible de couvrir les modes d'échec significatifs ou de fournir un signal de récompense robuste sous des récompenses binaires rares.
3. Inefficacité : L'article remet en question si l'amélioration de la politique peut être obtenue uniquement en renforçant les succès, en établissant des parallèles avec les méthodes d'apprentissage auto-supervisé contrastif (SSL) comme BYOL et SimSiam, qui apprennent des représentations efficaces en utilisant uniquement des échantillons positifs.

Méthodologie : Optimisation de Politique Uniquement Positive (POPO)

Les auteurs proposent POPO, un nouveau cadre d'apprentissage par renforcement en ligne qui apprend exclusivement à partir de déroulements positifs (réponses correctes) tout en gérant implicitement les résultats négatifs. Le cadre fonctionne sans déroulements négatifs disjoints pour la guidance du gradient.

Composants Principaux

1. Échantillonnage d'Importance Auto-Normalisé :
   Au lieu d'utiliser un réseau de valeurs ou un avantage relatif aux groupes, POPO applique des poids d'échantillonnage d'importance bornés sur l'ensemble des déroulements positifs $S^+(x)$. Le poids pour une réponse positive $y$ est défini comme suit :
   $$w_\theta(y|x) = \frac{\pi_\theta(y|x)}{Z_+(x)}, \quad \text{où } Z_+(x) = \sum_{y' \in S^+(x)} \pi_\theta(y'|x)$$
   Cela crée un mécanisme d'auto-compétition où les réponses correctes « confiantes » sont renforcées plus fortement, tandis que la normalisation maintient la diversité.

2. Gradients Négatifs Implicites :
   L'article fournit une preuve théorique (Théorème 3.1) démontrant que les pénalités négatives explicites sont inutiles. En raison de la contrainte softmax ($\sum \pi_\theta(y|x) = 1$), l'augmentation de la probabilité des réponses positives diminue intrinsèquement la probabilité des réponses négatives. L'analyse du gradient montre que la fonction de perte induit un gradient strictement positif pour les logits incorrects $y' \in S^-(x)$, agissant comme une « taxe de probabilité » implicite et une pénalité basée sur l'entropie.

3. Ancre Siamese Adaptative :
   Pour stabiliser l'entraînement sans modèle de référence (ce qui peut entraîner un décalage de distribution ou un surapprentissage), POPO emploie une architecture de réseau Siamese :

   • Réseau de Politique ($\pi_\theta$) : Le réseau actif en cours d'optimisation.
   • Réseau Siamese ($\pi_\xi$) : Un réseau cible mis à jour via une moyenne mobile exponentielle (EMA) des paramètres de la politique : $\xi \leftarrow \tau \xi + (1-\tau)\theta$.
   • Alignement dans l'Espace de Représentation : Au lieu de la divergence KL standard (qui peut être à haute variance et sensible aux tokens), POPO aligne les représentations cachées des réseaux de politique et Siamese dans un espace d'incorporation sémantique en utilisant une tête de prédicteur et une similarité cosinus. Cela agit comme une contrainte douce et bornée.

4. Fonction de Perte :
   La perte totale combine la vraisemblance négative pondérée (NLL) sur les échantillons positifs, la similarité dans l'espace de représentation et la régularisation par entropie :
   $$L_{POPO} = -\mathbb{E} \left[ \sum_{y \in S^+(x)} w_\theta(y|x) \log \pi_\theta(y|x) \right] + \alpha L_{sim} + \beta L_{ent}$$

Contributions Clés

• Changement de Paradigme : Introduit un cadre où l'apprentissage RLVR se produit exclusivement via des déroulements positifs en ligne, remettant en cause la convention selon laquelle des échantillons négatifs sont nécessaires pour une optimisation de politique efficace.
• Justification Théorique : Prouve l'existence de gradients négatifs implicites découlant naturellement de la redistribution des probabilités et de la régularisation par entropie, éliminant le besoin d'échantillonnage négatif explicite.
• Mécanismes de Stabilisation : Propose une architecture Siamese avec adaptation basée sur l'impulsion et similarité dans l'espace de représentation pour remplacer la divergence KL, empêchant l'effondrement de la politique et la dérive non bornée.
• Échantillonnage d'Importance Borné : Utilise un schéma de pondération auto-normalisé sur les ensembles positifs pour équilibrer la force du renforcement et la diversité.

Résultats Expérimentaux

Les auteurs ont évalué POPO en utilisant le DeepScaleR-Preview-Dataset pour l'entraînement et ont testé les performances sur cinq benchmarks mathématiques : MATH-500, AMC 2023, AIME 2024, AIME 2025 et OlympiadBench.

• Modèles Testés : Les expériences ont été menées sur divers modèles de base, notamment la famille Qwen2.5-Math (1,5B, 7B), les modèles distillés DeepSeek-R1, et des LLM à usage général (Llama-3.1-8B, DeepSeek-Math-7B).
• Performances :
  • POPO a obtenu des performances comparables ou supérieures à GRPO et ses variantes (Dr. GRPO, DAPO, SAPO) sur la plupart des benchmarks.
  • Résultat Notable : Sur le benchmark AIME 2025 utilisant Qwen-Math-7B, POPO a atteint 36,67 %, surpassant GRPO (30,00 %).
  • Sur OlympiadBench avec Qwen-Math-7B, POPO a atteint 57,27 %, contre 56,38 % pour GRPO.
• Études d'Ablation :
  • La suppression des déroulements négatifs (en utilisant des poids uniformes) a provoqué une baisse significative des performances, confirmant la nécessité de la redistribution pondérée auto-normalisée.
  • La suppression de l'adaptation par impulsion ou de l'alignement dans l'espace de représentation a conduit à une instabilité et à une dégradation des performances, validant les mécanismes de stabilisation.
• Généralisation : POPO a démontré des avantages agnostiques au modèle, performant bien aussi bien sur les LLM spécialisés en mathématiques que sur les LLM à usage général.

Signification et Revendications

L'article revendique l'établissement d'une nouvelle direction pour le RLVR qui fonctionne efficacement sans déroulements négatifs. Les auteurs soutiennent que dans les environnements de récompense binaire rares, la nature combinatoire des échecs rend la pénalisation négative explicite inefficace et potentiellement bruyante. En exploitant les gradients négatifs implicites via la redistribution des probabilités et en stabilisant la politique par l'alignement dans l'espace de représentation, POPO offre une alternative robuste aux méthodes actuelles basées sur GRPO.

Les auteurs notent des limitations, notamment l'accent actuel mis sur les récompenses binaires rares (bien que de nombreuses tâches réelles aient des récompenses denses), la validation uniquement sur le raisonnement mathématique basé sur le texte, et les tests limités aux modèles jusqu'à 7 milliards de paramètres. Ils suggèrent que les travaux futurs exploreront le partitionnement adaptatif des déroulements pour les échantillons négatifs et l'extension à la génération de code et au raisonnement multimodal.