Résumé Technique : Le Mirage de l'Optimisation des Politiques d'Entraînement (MIPU)

1. Énoncé du Problème : Désalignement des Objectifs dans le RL des LLM

L'apprentissage par renforcement (RL) est devenu un paradigme critique pour le post-entraînement des grands modèles de langage (LLM), particulièrement pour améliorer les capacités de raisonnement et de suivi d'instructions. Cependant, les pipelines de RL modernes pour LLM souffrent souvent d'un décalage entraînement-inférence (training-inference mismatch). En pratique, les LLM utilisent des moteurs distincts pour la génération (inférence, ex: vLLM, SGLang) et le calcul des gradients (entraînement, ex: FSDP, Megatron). Même avec des paramètres de modèle synchronisés, les différences de précision (ex: FP8 vs FP16), les implémentations de décodage et les backends de service font que la politique d'entraînement ($\pi$) et la politique d'inférence ($\mu$) attribuent des probabilités différentes aux mêmes trajectoires.

Les travaux existants tentent d'atténuer ce décalage en corrigeant les ratios du sampler, en filtrant les échantillons instables ou en faisant décroître les taux d'apprentissage. Cependant, les auteurs soutiennent que ces approches traitent le symptôme plutôt que la cause profonde : le désalignement des objectifs. Les algorithmes de RL standards optimisent la politique d'entraînement ($\pi$), en supposant qu'une amélioration de $\pi$ ($J(\pi_{k+1}) - J(\pi_k) \ge 0$) garantit une amélioration de la politique d'inférence déployée ($\mu$). Le papier démontre que sous des conditions de décalage, cette implication ne se vérifie pas :
$$J(\pi_{k+1}) - J(\pi_k) \ge 0 \nRightarrow J(\mu_{k+1}) - J(\mu_k) \ge 0$$
Par conséquent, une mise à jour synchronisée qui semble bénéfique du côté de l'entraînement peut en réalité dégrader la performance de la politique d'inférence utilisée lors du déploiement.

2. Méthodologie : Mise à Jour Monotone de la Politique d'Inférence (MIPU)

Pour y remédier, les auteurs proposent un nouveau principe d'optimisation, l'Amélioration Monotone de la Politique d'Inférence (MIPI), qui déplace l'objectif de l'amélioration de la politique d'entraînement vers la garantie de l'amélioration monotone de la politique d'inférence ($J(\mu_{k+1}) - J(\mu_k) \ge 0$). Ils réalisent ce principe via un cadre en deux étapes appelé Mise à Jour de la Politique d'Inférence Monotone (MIPU).

Le cœur de MIPU est la décomposition de l'amélioration de la politique d'inférence en trois termes :
$$J(\mu_{k+1}) - J(\mu_k) = \underbrace{[J(\mu_{k+1}) - J(\pi_{k+1})]}_{\text{Terme 1 : Écart d'inférence post-mise à jour}} + \underbrace{[J(\pi_{k+1}) - J(\pi_k)]}_{\text{Terme 2 : Mise à jour côté entraînement}} + \underbrace{[J(\pi_k) - J(\mu_k)]}_{\text{Terme 3 : Écart d'inférence pré-mise à jour}}$$

Étape 1 : Mise à Jour de la Politique Référencée par le Sampler

Cette étape optimise les termes 2 et 3 combinés ($J(\pi_{k+1}) - J(\mu_k)$).

• Mécanisme : Au lieu d'utiliser la politique d'entraînement standard $\pi_k$ comme référence pour l'objectif de substitution (comme dans le GRPO/PPO standard), MIPU utilise la politique d'inférence $\mu_k$ (le sampler) comme référence.
• Implémentation : Les auteurs adoptent une approche d'Échantillonnage d'Importance Tronqué (TIS). Ils calculent un poids de correction $w_i^k = \pi_k(y_i|x) / \mu_k(y_i|x)$ pour rendre compte du décalage pré-mise à jour. Pour éviter une variance élevée, ce poids est tronqué. La contrainte de clipping est ensuite appliquée uniquement au ratio de mise à jour actuel $r_i(\theta) = \pi_\theta(y_i|x) / \pi_k(y_i|x)$.
• Objectif : Cela génère une politique d'entraînement candidate $\pi_{k+1}$ qui est théoriquement alignée avec le sampler $\mu_k$, assurant la monotonicité "intermédiaire" $J(\pi_{k+1}) - J(\mu_k) \ge 0$.

Étape 2 : Acceptation de la Mise à Jour Sensible à l'Écart d'Inférence

Cette étape valide le Terme 1 ($J(\mu_{k+1}) - J(\pi_{k+1})$), qui représente l'écart entre la politique d'entraînement candidate et sa réalisation d'inférence synchronisée.

• Mécanisme : Après avoir synchronisé $\pi_{k+1}$ avec le moteur d'inférence pour créer $\mu_{k+1}$, le système évalue l'écart d'inférence post-mise à jour.
• Estimation par Proxy : L'avantage exact sous $\pi_{k+1}$ n'étant pas disponible, MIPU utilise une identité inverse pour estimer l'écart à l'aide de rollouts de validation de $\mu_{k+1}$. Il calcule un proxy $\hat{T}_{post} = -\mathbb{E}[\rho_i \hat{A}_{\mu_{k+1}}]$, où $\rho_i$ est un poids d'importance normalisé par la longueur corrigeant le décalage de distribution de $\mu_{k+1}$ vers $\pi_{k+1}$.
• Critère d'Acceptation : La mise à jour est acceptée uniquement si $\hat{T}_{post} \ge -c$, où $c$ est un paramètre de tolérance. Si l'écart est trop négatif (indiquant que la politique d'inférence est moins performante que la candidate d'entraînement), la mise à jour est rejetée et le système revient au checkpoint précédent.

3. Contributions Clés

1. Principe MIPI : Le papier identifie et formalise le désalignement des objectifs dans le RL des LLM, proposant que la cible d'optimisation doit être la trajectoire de la politique d'inférence, et non le substitut d'entraînement.
2. Cadre MIPU : Un nouveau cadre de RL en deux étapes qui sépare la construction de la candidate (Étape 1) de la validation de l'écart d'inférence (Étape 2). Il permet une implémentation flexible de mises à jour référencées par le sampler et une acceptation sensible à l'inférence.
3. Validation Empirique : Démontre que MIPU améliore à la fois la performance de raisonnement et la stabilité de l'entraînement dans des contextes de fort décalage (spécifiquement avec des rollouts quantifiés en FP8) par rapport au GRPO standard et aux autres bases de stabilisation.

4. Résultats Expérimentaux

Les auteurs ont évalué MIPU sur les modèles Qwen3-1.7B et Qwen3-4B en utilisant des rollouts quantifiés en FP8 pour induire un décalage significatif entre entraînement et inférence. L'entraînement a été réalisé sur des jeux de données de raisonnement mathématique (DAPO-Math-17, DeepMath-103K) et évalué sur cinq benchmarks (MATH-500, AIME24, AMC23, Minerva, OlympiadBench).

• Performance : MIPU a atteint la précision moyenne la plus élevée sur les deux échelles de modèles (66,71 % sur Qwen3-4B et 53,97 % sur Qwen3-1.7B), surpassant les bases comme le GRPO standard, le MIS (filtrage de décalage) et le décroissance du taux d'apprentissage (LR-decay).
• Stabilité : Alors que les bases présentaient souvent une dégradation brutale des performances ou un effondrement après avoir atteint des pics intermédiaires, MIPU a maintenu une dynamique d'entraînement stable tout au long du processus.
• Études d'Ablation :
  • Étape 1 uniquement : Améliore la qualité de la candidate mais échoue à prévenir l'accumulation d'erreurs de décalage, menant à l'instabilité.
  • Étape 2 uniquement : Prévient l'effondrement en rejetant les mauvaises mises à jour mais ne peut pas améliorer la performance si les bases candidates sont biaisées.
  • MIPU complet : La combinaison était nécessaire ; l'Étape 1 a corrigé la direction de la mise à jour, tandis que l'Étape 2 a filtré les candidates peu fiables, résultant à la fois en une performance de pointe plus élevée et une stabilité à long terme.
• Analyse de l'Étape 2 : Les auteurs ont vérifié que le succès de l'Étape 2 ne provient pas simplement du rejet de plus de mises à jour (un contrôle de "rollback aléatoire" a échoué malgré un rejet plus important). Au lieu de cela, son efficacité provient de l'utilisation du signal de l'écart d'inférence pour distinguer les candidates synchronisées nuisibles des candidates bénignes.

5. Signification et Revendications

Le papier affirme que le décalage entraînement-inférence ne doit pas être vu uniquement comme une simple divergence système de bas niveau à minimiser, mais comme un changement fondamental de l'objectif d'amélioration de la politique. En déplaçant l'attention de la politique d'entraînement vers la politique d'inférence, MIPU traite le "mirage" où les améliorations du côté de l'entraînement ne se traduisent pas par des gains de déploiement.

Les auteurs notent modestement que leurs expériences sont actuellement limitées à des modèles de taille modérée en raison de contraintes de calcul et que l'Étape 2 représente un espace de conception flexible plutôt qu'une implémentation fixe. Ils suggèrent que les travaux futurs pourraient explorer des estimateurs plus efficaces pour l'écart post-mise à jour et appliquer ces principes à des modèles plus larges et à divers systèmes de RL. La contribution centrale est un changement de paradigme : s'assurer que la politique utilisée pour le déploiement est celle qui est optimisée, plutôt que de supposer que l'optimisation du côté de l'entraînement suffit.