Résumé Technique : ASymPO : Optimisation de Politique à Échelle Asymétrique pour le Post-Entraînement de LLM Asynchrone

1. Énoncé du Problème

Le papier traite d'une instabilité critique dans l'apprentissage par renforcement (RL) asynchrone pour le post-entraînement des modèles de langage de grande taille (LLM). Les systèmes modernes déconnectent souvent la génération de réponses (rollout) de l'optimisation de la politique (apprentissage) pour améliorer le débit. Dans cette configuration, les travailleurs de rollout échantillonnent des réponses à partir de clichés récents de la politique, tandis que l'apprenant met à jour une politique plus récente.

Cette asynchronie introduit une dérive de distribution : la politique de comportement ($\pi_b$) qui a généré une réponse diffère de la politique actuelle ($\pi_\theta$) utilisée pour l'entraînement.

• Solution Standard : Des méthodes comme PPO utilisent les probabilités de la politique de comportement (log-probs) pour calculer les ratios d'importance et appliquer le découpage (clipping). Cela nécessite que le système de rollout transmette des log-probabilités alignées sur les tokens, versionnées et numériquement cohérentes au chercheur, ce qui complexifie l'infrastructure et introduit une potentielle dérive numérique.
• Le Mode de Défaillance : Les auteurs identifient que les objectifs basés uniquement sur la politique actuelle (qui omettent les log-probs de la politique de comportement) sont instables dans des contextes asynchrones. Plus précisément, dans le RL relatif au groupe où les avantages somment à zéro ($\sum A_g = 0$), les réponses à avantage positif et négatif peuvent entrer dans la fonction de perte à des échelles de log-probabilité négative actuelle très différentes.
  • Les réponses avec un avantage négatif obsolètes (stale) ont souvent des log-probabilités négatives actuelles beaucoup plus grandes que les réponses positives.
  • Cela provoque la dominance du côté négatif de la perte, brisant l'annulation somme nulle prévue par la base de référence du groupe.
  • Le résultat est un effondrement de l'entraînement, où le modèle supprime excessivement les échantillons négatifs obsolètes sans recevoir de signaux compensatoires de la part des échantillons positifs.

2. Méthodologie

Le papier propose deux objectifs basés uniquement sur la politique actuelle, conçus pour stabiliser l'entraînement sans nécessiter d'informations sur la politique de comportement. Les deux opèrent sur l'avantage relatif au groupe $A_g$ et la log-probabilité négative moyenne des tokens de la politique actuelle $S_{\theta,g}$.

2.1 Scaled Policy Optimization (SPO)

SPO est une base heuristique qui réduit manuellement l'influence des réponses à avantage négatif.

• Mécanisme : Elle applique un coefficient de mise à l'échelle fixe $\alpha \in (0, 1)$ aux avantages négatifs ($A_g < 0$), tout en laissant les avantages positifs ($A_g \ge 0$) inchangés.
• Fonction de Perte :
  $$L_{SPO}(\theta) = -\frac{1}{G} \sum_{g=1}^G \frac{1}{m_g} \sum_{i=1}^{m_g} \tilde{A}_g \log p_{g,i}(\theta)$$
  où $\tilde{A}_g = \alpha A_g$ si $A_g < 0$, sinon $A_g$.
• Limitation : Le facteur de mise à l'échelle $\alpha$ est ajusté manuellement et ne s'adapte pas à l'échelle spécifique de chaque réponse ou au degré d'obsolescence.

2.2 Asymmetric-Scale Policy Optimization (ASymPO)

ASymPO remplace la règle manuelle par une normalisation adaptative au niveau de la réponse qui équilibre automatiquement les contributions de la perte.

• Mécanme : Elle normalise la perte de chaque réponse par sa propre log-probabilité négative moyenne de token ($S_{\theta,g}$). Un opérateur de stop-gradient ($sg$) est appliqué au dénominateur pour empêcher le terme de normalisation d'être mis à jour pendant la rétropropagation.
• Fonction de Perte :
  $$L_{ASymPO}(\theta) = \frac{1}{G} \sum_{g=1}^G A_g \frac{S_{\theta,g}}{sg(S_{\theta,g})}$$
• Garantie Théorique : Le Théorème 2 prouve que sous des avantages à somme nulle, ASymPO assure un équilibre exact de la perte au niveau de la réponse. La contribution de perte directe des réponses positives est égale à la magnitude des contributions des réponses négatives, indépendamment de leurs échelles de log-probabilité négative actuelles divergentes.
• Gradient : Le gradient reste une direction de gradient de politique standard, mais la magnitude de la mise à jour pour chaque réponse est normalisée par sa propre échelle.

3. Contributions Clés

1. Identification du Déséquilibre d'Échelle : Le papier identifie formellement un mode de défaillance spécifique dans le RL asynchrone basé uniquement sur la politique actuelle, où les échantillons négatifs obsolètes dominent la perte en raison des écarts d'échelle, brisant l'équilibre de l'avantage somme nulle.
2. Formulation de SPO et ASymPO : Il introduit deux objectifs qui stabilisent l'entraînement sans les probabilités de la politique de comportement. ASymPO est prouvé pour équilibrer exactement les contributions de perte positives et négatives sous des avantages à somme nulle.
3. Simplification de l'Infrastructure : ASymPO permet une interface de rollout–apprenant strictement plus compacte. Elle élimine la nécessité de transporter les log-probabilités par token de la politique de comportement, les tags de version de la politique, ou d'effectuer un re-calcul des logits à la précision d'entraînement (Tableau 1).
4. Validation Empirique : Les méthodes sont évaluées sur des tâches de raisonnement mathématique avec un post-entraînement par RL asynchrone sur trois familles de modèles (Qwen3-1.7B, Qwen3-4B, LLaMA-3.2-3B).

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de raisonnement mathématique (MATH, AIME, GSM8K, etc.) en utilisant un RL asynchrone avec un seuil d'obsolescence de 0,5.

• Stabilité :
  • La Perte Naïve (Naive Loss) et GPG (une méthode évitant l'échantillonnage d'importance mais manquant de l'équilibre de groupe) se sont effondrées pendant l'entraînement sur toutes les familles de modèles, ne produisant aucun checkpoint évaluable.
  • GRPO (le baseline corrigé par le comportement), SPO et ASymPO ont maintenu des trajectoires de récompense d'entraînement stables.
• Performance :
  • ASymPO a généralement obtenu des performances compétitives ou supérieures à GRPO (le baseline corrigé par le comportement) sur les métriques agrégées, particulièrement sur LLaMA-3.2-3B-Instruct et Qwen3-4B-Base.
  • SPO a également empêché l'effondrement et est resté compétitif, bien qu'ASymPO, grâce à sa mise à l'échelle adaptative, ait souvent donné de meilleurs résultats sur certains benchmarks (ex: AIME24, MATH500).
  • Sur Qwen3-1.7B-Base, ASymPO a atteint un mean@8 de 36,98, proche des 37,45 de GRPO, tandis que SPO a atteint 36,41.
• Ablation : Le papier note que SPO est sensible au choix de $\alpha$ (fixé à 0,2 dans les expériences). Si $\alpha=1$, elle s'effondre comme la perte naïve ; si $\alpha=0$, elle se comporte comme un fine-tuning uniquement positif avec une faible performance.

5. Signification et Revendications

Le papier affirme que les probabilités de la politique de comportement ne sont pas strictement nécessaires pour un post-entraînement par RL asynchrone compétitif et stable, à condition que le déséquilibre d'échelle entre les réponses positives et négatives soit explicitement corrigé.

• Impact Pratique : ASymPO offre un mécanisme pour stabiliser le RL relatif au groupe asynchrone tout en simplifiant considérablement l'architecture du système. Elle supprime la "condition de correction" qui lie l'interface de rollout–apprenant au transport des log-probabilités de comportement, au versionnage et à la cohérence numérique.
• Portée : Les auteurs présentent modestement leur contribution comme une réponse à un mode de défaillance spécifique (déséquilibre d'échelle de perte) plutôt que comme une solution générale à toute dérive de distribution. Ils reconnaissent qu'ASymPO ne limite pas le ratio de la politique entre la génération et l'entraînement comme le font les méthodes corrigées par le comportement, et que son efficacité est actuellement démontrée principalement dans les tâches de raisonnement mathématique avec des récompenses vérifiables.
• Travaux Futurs : Le papier suggère qu'une caractérisation théorique supplémentaire est nécessaire pour comprendre quand la normalisation de l'échelle de la réponse approxime la correction par le comportement et quand l'information explicite de la politique de comportement reste inévitable.