Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction

Résumé Technique : Absence des Logits Anciens dans le RL Agentique Asynchrone

Définition du Problème
Dans l'apprentissage par renforcement (RL) asynchrone pour les grands modèles de langage (LLM), le découplage entre la génération d'échantillons (déroulement) et l'optimisation de la politique est essentiel pour maximiser le débit. Cependant, cette architecture introduit un mode de défaillance critique pour la correction hors politique de type Proximal Policy Optimization (PPO).

Idéalement, le ratio d'importance dans le PPO devrait être décomposé en deux facteurs sémantiquement distincts :

1. Discrépance Entraînement–Inférence ($r_d$) : Corrige les différences numériques entre le moteur d'inférence (par exemple, vLLM) et le moteur d'entraînement (par exemple, Megatron-LM) pour une même version de la politique.
2. Obsolescence de la Politique ($r_s$) : Corrige l'écart entre la politique de comportement historique ayant généré les tokens et la politique actuelle en cours d'optimisation.

L'article identifie que dans les pipelines asynchrones pratiques, en particulier ceux impliquant des déroulements partiels et des mises à jour différées, les logits anciens côté entraînement ($\pi_{old}$) nécessaires au calcul du terme de discrépance $r_d$ sont souvent manquants. Lorsque l'acteur met à jour ses poids avant que le déroulement correspondant à une version antérieure ne soit entièrement traité, la version spécifique de la politique $\pi_{old}$ utilisée pour générer ces tokens peut ne plus être disponible.

Ce problème d'"absence de logits anciens" force les méthodes existantes à substituer le véritable $\pi_{old}$ par des approximations (par exemple, interpolation linéaire ou proxies statiques). Les auteurs soutiennent que cette substitution enchevêtre la réparation de la discrépance avec la correction de l'obsolescence, brisant la séparation sémantique prévue. Par conséquent, les seuils de clipping et de masquage interagissent de manière indésirable, entraînant une stabilité et des performances d'optimisation sous-optimales.

Méthodologie
L'article propose une analyse unifiée des corrections hors politique sous un angle de "double contrainte" et évalue deux directions principales pour la résolution :

1. Acquisition Exacte des Logits Anciens (Niveau Système) :
   Les auteurs examinent trois stratégies pour récupérer le $\pi_{old}$ de vérité terrain sans recourir à des approximations :

   • Suivi de Version par Instantanés : Conservation des instantanés de paramètres historiques et rechargement de la version spécifique ayant généré chaque token. Cette méthode est exacte mais engendre une surcharge élevée en mémoire et en E/S.
   • Modèle Dédié aux Logits Anciens : Maintien d'une instance de modèle séparée uniquement pour calculer les logits anciens pendant que l'acteur principal s'entraîne. Cela permet un chevauchement de calcul mais nécessite une partition des ressources.
   • Synchronisation par Interruption de Déroulement Partiel : Interruption des travailleurs de déroulement pour calculer les logits anciens des trajectoires partielles avant que la version de la politique ne soit jetée. Cela évite les coûts de stockage mais introduit des goulots d'étranglement de synchronisation et une surcharge de reconfiguration des ressources.

2. Correction Approximative (Niveau Algorithme) :
   Reconnaissant que la récupération exacte est souvent trop coûteuse pour les systèmes à grande échelle, l'article propose une méthode révisée PPO-EWMA (Moyenne Mobile Pondérée Exponentiellement).

   • Au lieu d'utiliser un proxy d'interpolation statique, cette méthode maintient une politique de référence lissée ($\pi_{prox}$) qui suit le centre de la fenêtre de versions asynchrones.
   • Décroissance Sensible à l'Obsolescence : Le facteur de décroissance $\beta$ est défini en fonction de la fenêtre d'obsolescence attendue ($W_{stale}$) pour garantir que la politique de référence s'aligne sur le milieu de l'écart de versions, plutôt que de prendre du retard.
   • Réinitialisation Automatique : Pour empêcher la politique de référence de dériver trop loin et de provoquer l'effondrement du "Masque Entraînement-Inférence" (qui filtre les tokens à forte discrépance), le système surveille la fraction de tokens actifs. Si cette fraction tombe en dessous d'un seuil ($\tau$), la politique de référence est réinitialisée aux paramètres actuels de l'acteur.

L'article fournit également une analyse théorique (Proposition 1) démontrant que les proxies basés sur l'interpolation (linéaire ou log-linéaire) ne récupèrent pas véritablement la politique de référence manquante ; ils se contentent de re-paramétrer les limites de clipping effectives du ratio d'importance total.

Contributions Clés

• Identification du Problème d'Absence de Logits Anciens : L'article définit formellement le mode de défaillance sémantique dans le RL Agentique asynchrone où l'absence de $\pi_{old}$ brise le découplage entre la réparation de la discrépance et la correction de l'obsolescence.
• Analyse Unifiée des Corrections Hors Politique : Il formule les variantes PPO existantes dans un cadre d'Échantillonnage par Importance Masqué (MIS), clarifiant pourquoi un seul ratio ou seuil est insuffisant pour gérer à la fois les discrépances numériques et l'obsolescence de la politique.
• Analyse des Compromis Système : Il évalue trois stratégies d'acquisition exacte, quantifiant leurs coûts en termes de mémoire, d'E/S et de surcharge de synchronisation.
• Proposition PPO-EWMA : Il introduit une méthode de correction approximative à faible coût qui préserve les avantages de la correction découplée sans nécessiter de modifications coûteuses de l'infrastructure.

Résultats Expérimentaux
Les auteurs ont évalué leurs méthodes sur des benchmarks de RL Agentique ($\tau^2$-Bench et VitaBench) en utilisant à la fois des modèles denses (Qwen3-4B) et des modèles à Mélange d'Experts (Qwen3-30B-A3B).

• Performance : La méthode PPO-EWMA a systématiquement surpassé le PPO Découplé standard et les proxies d'interpolation linéaire (Linear_prox). Sur le modèle MoE de 30B, PPO-EWMA a obtenu les taux de réussite les plus élevés sur la division "aviation" et a égalé les meilleurs résultats sur les tâches de vente au détail et de télécommunications.
• Comparaison avec l'Idéal : Bien que PPO-EWMA n'ait pas totalement égalé les performances de la méthode "Instantanés" (qui suppose un accès parfait aux logits anciens), elle a obtenu des résultats très proches du cas idéal, suggérant qu'une référence approximative bien réglée peut récupérer la majeure partie des avantages d'une correction exacte.
• Surcharge Système : Les méthodes de récupération exacte (Instantanés) ont entraîné des coûts système significatifs (par exemple, ~178 secondes supplémentaires par étape pour le modèle de 30B en raison des passes forward historiques). En revanche, PPO-EWMA a ajouté une surcharge négligeable, offrant un compromis performance-coût supérieur.
• Études d'Ablation : Les expériences ont confirmé que sans le mécanisme de réinitialisation automatique, la référence EWMA pouvait dériver, provoquant l'effondrement du Masque Entraînement-Inférence et l'échec de l'entraînement. Le mécanisme de réinitialisation a réussi à recentrer la référence, maintenant la stabilité.

Signification et Affirmations
L'article affirme que le problème d'absence de logits anciens est un problème sémantique fondamental dans le RL des LLM asynchrones qui sape les garanties théoriques de la correction découplée. Les auteurs affirment que :

1. La récupération exacte est la seule façon d'atteindre une réparation de discrépance et une correction d'obsolescence sémantiquement correctes, mais elle est souvent prohibitivement coûteuse.
2. Les méthodes approximatives basées sur une simple interpolation sont insuffisantes car elles ne restaurent pas la véritable politique de référence, se contentant de déplacer les limites de contrainte.
3. PPO-EWMA offre une alternative pratique et à faible coût qui améliore considérablement la vitesse d'entraînement et les performances d'optimisation par rapport aux bases asynchrones existantes, la rendant viable pour les systèmes de RL Agentique à grande échelle où la récupération exacte des logits est irréalisable.

L'ouvrage conclut que bien que PPO-EWMA soit une approximation et puisse éprouver des difficultés dans des conditions de non-stationnarité extrême ou avec des écarts de versions très importants, il représente une avancée significative dans la stabilisation de l'entraînement asynchrone sans nécessiter de modifications lourdes de l'infrastructure.