🤖 machine learning

Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration

Ce papier propose l'Étalonnage Optimal des Coefficients (OCC), un schéma adaptatif dérivé d'une analyse d'optimisation des interactions de gradient, pour permettre un entraînement conjoint efficace de la Prédiction Multi-Jumeaux et de l'Apprentissage par Renforcement à partir de Récompenses Vérifiables, surmontant ainsi la dégradation des performances précédente et obtenant des résultats supérieurs sur les benchmarks de raisonnement mathématique.

Auteurs originaux : Zili Wang, Jiajun Chai, Lin Chen, Xiaohan Wang, Shiming Xiang, Guojun Yin

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zili Wang, Jiajun Chai, Lin Chen, Xiaohan Wang, Shiming Xiang, Guojun Yin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Deux Entraîneurs, Un Athlète

Imaginez que vous entraînez un robot géant et ultra-intelligent (un Modèle de Langage de Grande Taille) à résoudre des problèmes mathématiques difficiles.

L'Entraîneur Principal (RL) : Cet entraîneur apprend au robot comment gagner. Il examine les réponses du robot, donne un « pouce en l'air » pour les solutions correctes et un « pouce en bas » pour les mauvaises. Le robot apprend à répéter ce qui fonctionne et à arrêter ce qui ne fonctionne pas. Cela s'appelle l'Apprentissage par Renforcement (RL).
L'Entraîneur Assistant (MTP) : Cet entraîneur est un module spécial qui tente de prédire les quelques mots suivants que le robot va dire, et pas seulement le mot suivant. Cela s'appelle la Prédiction Multi-Jetons (MTP). C'est comme un entraîneur qui aide le robot à planifier ses phrases à l'avance.

Le Problème :
Auparavant, les chercheurs tentaient de faire entraîner le robot par les deux entraîneurs simultanément. Mais quelque chose s'est mal passé. Le robot a commencé à performer moins bien que s'il n'avait eu que l'Entraîneur Principal.

Pour cette raison, la plupart des équipes ont décidé de licencier l'Entraîneur Assistant pendant la phase d'entraînement « gagnante ». Ils ont laissé l'Entraîneur Assistant regarder, mais ils n'ont pas permis que les conseils de l'Assistant modifient le cerveau du robot. Ils ont « détaché » l'Entraîneur Assistant.

La Question :
Les auteurs de ce papier se sont demandé : Pourquoi la présence des deux entraîneurs nuit-elle au robot ? Peut-on trouver un moyen pour que les deux travaillent ensemble sans ruiner l'entraînement ?

Le Diagnostic : Le Problème de la « Poussée et de la Traction »

Les auteurs ont examiné les mathématiques derrière l'entraînement et ont trouvé la réponse. Ils ont réalisé que lorsque l'Entraîneur Assistant tente de donner des conseils, cela crée deux forces opposées sur le cerveau du robot :

La Poussée Utile (Corrélation) : Parfois, les conseils de l'Entraîneur Assistant pointent dans la même direction que ceux de l'Entraîneur Principal. C'est bon ! C'est comme deux personnes poussant une voiture dans la même direction.
Le Tressaillement Agaçant (Pénalité) : Parfois, les conseils de l'Entraîneur Assistant ne sont que du « bruit ». Ils poussent le cerveau du robot dans des directions aléatoires qui n'aident pas à gagner. C'est comme quelqu'un qui secoue la voiture pendant que vous essayez de la conduire.

Pourquoi les anciennes méthodes ont échoué :

Méthode A (Détachement) : Ils ont coupé la poussée de l'Entraîneur Assistant. C'est sûr, mais ils ont manqué la « Poussée Utile ».
Méthode B (Entropie Croisée) : Ils ont laissé l'Entraîneur Assistant pousser, mais celui-ci tentait d'enseigner au robot à prédire chaque mot de manière égale, même les mauvais. Cela a créé beaucoup de « Tressaillement » et très peu de « Poussée ». Le robot s'est confus et a empiré.
Méthode C (Perte de Politique) : Ils ont demandé à l'Entraîneur Assistant d'utiliser les mêmes règles de « victoire » que l'Entraîneur Principal. Au début, cela a très bien fonctionné ! La « Poussée » était forte. Mais à mesure que le robot s'améliorait, les deux entraîneurs ont commencé à ne pas tout à fait s'accorder. Le « Tressaillement » est resté le même, mais la « Poussée Utile » s'est affaiblie. Finalement, le Tressaillement a pris le dessus et les performances du robot se sont effondrées.

L'Analogie :
Imaginez que vous essayez de marcher sur un fil de fer (l'entraînement RL).

Le Détachement consiste à marcher seul. C'est sûr, mais lent.
L'Ancien Entraînement Conjoint consiste à avoir un ami qui vous tient la main, mais qui est ivre. Il vous tire du fil.
Le problème de « Montée et Chute » consiste à avoir un ami sobre qui vous aide au début, mais qui, à mesure que vous vous fatiguez, commence à vous tirer dans la mauvaise direction, vous faisant tomber.

La Solution : Le « Régleur Intelligent » (OCC)

Les auteurs ont réalisé que le problème n'était pas que l'Entraîneur Assistant était mauvais ; c'était que le volume de sa voix était bloqué à un niveau fixe.

Au début de l'entraînement : L'Entraîneur Assistant est très utile. Nous devrions monter leur volume HAUT.
À la fin de l'entraînement : L'Entraîneur Assistant commence à devenir une distraction. Nous devrions baisser leur volume BAS.

Ils ont créé un nouveau système appelé Calibration du Coefficient Optimal (OCC).

Comment cela fonctionne (la Métaphore Créative) :
Pensez à l'OCC comme un thermostat intelligent pour le processus d'entraînement.

Au lieu de régler la température (le poids de l'entraînement) sur un nombre fixe, le thermostat vérifie constamment la pièce.
Il utilise un « proxy » (un capteur rapide et peu coûteux) pour vérifier si l'Entraîneur Assistant aide ou nuit actuellement.
Si l'Entraîneur Assistant pousse dans la bonne direction, le thermostat monte le volume HAUT.
Si l'Entraîneur Assistant commence à dériver et à créer du bruit, le thermostat baisse le volume BAS.

Cela se produit automatiquement, étape par étape, sans avoir besoin de s'arrêter et de calculer des mathématiques complexes qui ralentiraient tout.

Les Résultats : Une Fin Heureuse

Les auteurs ont testé ce nouveau « Régleur Intelligent » sur six compétitions mathématiques difficiles (comme l'AIME et les Olympiades).

Il a battu les anciennes méthodes : Le robot entraîné avec le « Régleur Intelligent » (OCC) a résolu plus de problèmes que le robot entraîné uniquement avec l'Entraîneur Principal (Détachement).
Il a corrigé l'effondrement : Contrairement à la méthode « Perte de Politique » qui commençait fort puis échouait, la méthode OCC est restée forte du premier pas au dernier.
Il était rapide : Le « Régleur Intelligent » n'a pas ralenti l'entraînement. Il était aussi rapide que l'ancienne méthode « Détachement » car il utilisait un raccourci astucieux pour vérifier le volume au lieu d'effectuer des calculs lourds.

Résumé

Le papier prouve que vous pouvez entraîner un robot avec un Entraîneur Principal et un Entraîneur Assistant, mais vous ne pouvez pas les laisser sur un réglage fixe. Vous avez besoin d'un système dynamique qui écoute le processus d'entraînement et ajuste l'influence de l'Entraîneur Assistant en temps réel. Lorsqu'ils le font, le robot apprend mieux et plus vite que jamais auparavant.

Résumé technique : Entraînement conjoint de la prédiction multi-jetons en apprentissage par renforcement via un calibrage optimal des coefficients

Énoncé du problème

L'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) est devenu le paradigme standard pour améliorer les capacités de raisonnement des grands modèles de langage (LLM). Parallèlement, la prédiction multi-jetons (MTP), un objectif auxiliaire entraîné lors du pré-entraînement pour prédire plusieurs jetons futurs, a démontré des avantages significatifs en termes d'efficacité des échantillons et de son utilisation comme modèle de brouillon pour le décodage spéculatif.

Intuitivement, l'optimisation conjointe des objectifs MTP et RL pendant le post-entraînement devrait permettre aux modèles de bénéficier d'une supervision multi-jetons tout en acquérant des capacités de raisonnement. Cependant, les preuves empiriques montrent que l'entraînement conjoint MTP-RL entraîne souvent une dégradation significative des performances du modèle principal. Par conséquent, les pratiques actuelles (par exemple dans des frameworks comme veRL et slime) détachent généralement les gradients MTP du modèle principal pendant l'entraînement RL. Ce détachement force les paramètres MTP à s'adapter uniquement par un affinage post-hoc indépendant, sacrifiant ainsi les gains potentiels d'une supervision multi-jetons simultanée. Le problème central abordé est le suivant : Pourquoi l'entraînement conjoint MTP-RL échoue-t-il, et peut-on concevoir une stratégie fondée sur des principes pour permettre un entraînement conjoint efficace ?

Méthodologie

Analyse théorique

Les auteurs abordent le problème sous l'angle de l'optimisation, en analysant l'effet par étape du MTP sur l'objectif RL $J(\theta)$ . En supposant une fonction objectif $L$ -lisse, ils dérivent une borne inférieure pour l'amélioration par étape. Cette décomposition révèle que l'effet du MTP est régi par deux termes concurrents :

Terme de corrélation du premier ordre : Déterminé par l'accord directionnel (produit scalaire) entre le gradient RL ( $g_{RL}$ ) et le gradient MTP ( $g_{MTP}$ ).
Pénalité de perturbation du second ordre : Un terme non positif reflétant la perturbation introduite par la magnitude du gradient MTP.

Une amélioration des performances ne se produit que si le terme de corrélation l'emporte sur le terme de pénalité.

Analyse des régimes existants

En utilisant cette décomposition, l'article unifie et explique trois régimes d'entraînement existants :

Détachement : $g_{MTP} = 0$ concernant le modèle principal. $\Delta_{MTP} = 0$ . Cela est sûr mais renonce aux gains potentiels.
Perte d'entropie croisée (CE) : Le terme de corrélation est proche de zéro en espérance car le RL surpondère les échantillons à haute récompense tandis que la CE traite tous les échantillons de manière égale. Par conséquent, la pénalité négative du second ordre domine, provoquant une dégradation.
Perte de politique : Utilise la même formulation d'objectif RL pour le MTP. Initialement, les gradients sont alignés et le terme de corrélation domine, produisant des gains. Cependant, à mesure que l'entraînement progresse et que le modèle entre dans des régions plates du paysage de perte, la corrélation décroît tandis que la norme du gradient (et donc la pénalité) persiste. Cela conduit à une courbe de performance en forme de « montée puis descente » où un coefficient fixe ne peut pas suivre la transition de phase.

Solution proposée : Calibrage optimal des coefficients (OCC)

Pour répondre à la transition de phase, les auteurs proposent le Calibrage optimal des coefficients (OCC), un schéma adaptatif qui suit le coefficient MTP optimal ( $\lambda$ ) en ligne.

Optimum sous forme fermée : L'analyse fournit une expression sous forme fermée pour le $\lambda^*$ optimal à chaque étape, qui est proportionnel au rapport entre la corrélation des gradients ( $c$ ) et le carré de la norme du gradient ( $v^2$ ).
Proxy de probabilité logarithmique : Le calcul des gradients du modèle complet pour $c$ $c$ et $v^2$ $v^{2}$ est prohibitivement coûteux dans les systèmes distribués à grande échelle. L'OCC utilise un proxy de probabilité logarithmique dérivé du changement de probabilité logarithmique sous des mises à jour de petite étape ( $\delta \approx \log \pi_\theta - \log \pi_{old}$ $δ \approx lo g π_{θ} - lo g π_{o l d}$ ).
- Proxy d'alignement ( $\hat{c}_t$ ) : Estime le produit scalaire.
- Proxy de variance ( $\hat{v}^2_t$ ) : Estime le carré de la norme.
Mise à jour adaptative : Le coefficient est mis à jour selon $\lambda_t = \lambda_+ \cdot \frac{\hat{c}_t}{\hat{v}^2_t + \epsilon}$ . Cela permet à l'OCC d'ajuster dynamiquement le poids du MTP, maintenant des gains positifs tout au long de l'entraînement sans calculer de gradients complets.

Contributions clés

Unification théorique : L'article fournit une analyse théorique qui unifie les régimes de détachement, d'entropie croisée et de perte de politique, expliquant leur succès ou leur échec en fonction de l'interaction entre la corrélation du premier ordre et la perturbation du second ordre.
Algorithme OCC : Il propose le calibrage optimal des coefficients, une procédure adaptative qui calibre le coefficient MTP en ligne en utilisant un proxy de probabilité logarithmique. Cette méthode nécessite des frais généraux de calcul négligeables et évite le calcul de gradients du modèle complet.
Validation empirique : Des expériences extensives sur plusieurs modèles (MiMo-7B, GLM-4.5-Air) et algorithmes (DAPO, GSPO) sur des benchmarks de raisonnement mathématique de niveau compétition démontrent que l'OCC correspond systématiquement ou dépasse la ligne de base de détachement.

Résultats expérimentaux

Les auteurs ont évalué l'OCC sur six benchmarks : AIME24, AIME25, AMC, MATH, Minerva et OlympiadBench.

Performance : Sur tous les benchmarks et toutes les échelles de modèles (7B dense et 106B MoE), l'OCC a systématiquement surpassé la ligne de base de détachement et la perte de politique à coefficient fixe.
- Sur MiMo-7B avec DAPO, l'OCC a atteint une précision moyenne de 61,7 %, dépassant le détachement (58,9 %) et la perte de politique (57,4 %).
- Sur GLM-4.5-Air, l'OCC a atteint 67,6 % de précision moyenne contre 65,9 % pour le détachement.
Dynamique d'entraînement : Alors que la perte de politique montrait une tendance en montée puis en descente (dégradation dans les étapes ultérieures), l'OCC a maintenu des améliorations stables tout au long de l'entraînement. La perte CE a systématiquement sous-performé par rapport au détachement.
Efficacité : L'OCC a introduit des frais généraux négligeables. Le temps d'entraînement en temps réel par étape pour l'OCC (8,07 s) était comparable à celui du détachement (8,11 s), tandis que la rétropropagation complète du modèle nécessitait 45,06 s (un ralentissement de 5,6×).
Ablation : L'analyse de sensibilité a montré que le facteur d'échelle prédéfini $\lambda_+$ est robuste sur une gamme de valeurs, avec $\lambda_+ = 1,0$ produisant les meilleures performances moyennes.

Importance et affirmations

L'article affirme que l'échec de l'entraînement conjoint MTP-RL n'est pas inhérent mais découle d'un décalage entre des coefficients statiques et la dérive dynamique de l'alignement des gradients pendant l'entraînement. En fournissant une décomposition théorique du paysage d'optimisation et en proposant l'OCC, les auteurs démontrent que le MTP peut être réintroduit en toute sécurité dans le post-entraînement RL.

L'importance réside dans la capacité des modèles à acquérir simultanément des capacités de raisonnement via le RL et à exploiter des représentations multi-jetons sans sacrifier les performances ni engendrer de coûts de calcul prohibitifs. Ce travail suggère que le calibrage adaptatif est essentiel pour l'entraînement conjoint dans des paysages d'apprentissage profond non convexes, offrant une alternative fondée sur des principes à la norme industrielle actuelle de détachement des gradients.

Limitations

Les auteurs notent que leur analyse théorique repose sur des hypothèses de $L$ -lissité qui peuvent ne pas s'appliquer exactement dans des paysages non convexes, fournissant une guidance qualitative plutôt que quantitative. Le proxy de probabilité logarithmique est une approximation du premier ordre qui peut perdre en fidélité sous de grands taux d'apprentissage. De plus, les expériences sont centrées sur le raisonnement mathématique avec des récompenses vérifiables ; la généralisation à des contextes comme le RLHF avec des modèles de récompense appris ou la génération ouverte reste à valider.