🤖 machine learning

Predictive Divergence Masks for LLM RL

Cet article propose les Masques de Divergence Prédictive (Predictive Divergence Masks), une nouvelle méthode pour l'apprentissage par renforcement des LLM qui remplace le critère de direction basé sur le ratio de PPO par une prédiction sous forme fermée de savoir si la prochaine étape de gradient augmentera ou diminuera la divergence de probabilité utilisée pour le critère de proximité, améliorant ainsi la stabilité et la performance de l'entraînement à travers différentes échelles de modèles.

Auteurs originaux : Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiangxin Zhou, Jiarui Yao, Penghui Qi, Bowen Ping, Jiaqi Tang, Haonan Wang, Tianyu Pang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot super intelligent comment écrire des histoires. Vous voulez qu'il apprenne de ses erreurs, mais vous avez une règle stricte : « Ne change pas ton style d'écriture de manière trop brutale en une seule fois. » Si le robot s'emballe et commence à écrire avec une voix complètement différente, vous devez serrer les freins. C'est le travail de l'apprentissage par renforcement (Reinforcement Learning - RL) pour les modèles de langage (LLM).

Pendant longtemps, la méthode standard pour serrer ces freins était une méthode appelée PPO. Elle fonctionnait comme un feu de signalisation simple basé sur un seul mot. Chaque fois que le robot choisissait un mot, le système vérifiait : « Est-ce que ce mot est beaucoup plus probable que ce que le robot choisit habituellement ? Et est-ce que la récompense nous dit de le rendre encore plus probable ? » Si la réponse était « oui » aux deux, le système disait : « Stop ! C'est trop loin ! » et ignorait la leçon de ce mot.

Mais voici le problème : le robot ne choisit pas seulement un mot ; il réorganise toute sa personnalité (sa distribution de probabilité) pour choisir ce mot. L'ancienne méthode ne regardait que le mot spécifique qu'il a choisi, comme si l'on jugeait tout un orchestre en écoutant un seul violon. Elle ne voyait pas comment le reste de la musique changeait.

La nouvelle idée : Le « Masque de Divergence Prédictive »

Une équipe de chercheurs de Tencent, de l'UIUC et de la NUS a réalisé que cette vision par mot unique était trompeuse. Ils ont proposé une nouvelle règle appelée le Masque de Divergence Prédictive (Predictive Divergence Mask).

Au lieu de regarder seulement le mot que le robot a choisi, cette nouvelle méthode pose une question plus large : « Si nous faisons ce pas, la personnalité entière du robot va-t-elle s'éloigner davantage de son moi originel ? »

Voyez cela comme ceci :

L'ancienne méthode (PPO) : Vous voyez un enfant courant vers une falaise. Vous vérifiez si ce pas spécifique est dangereux. Si oui, vous criez « Stop ! ».
La nouvelle méthode (Divergence prédictive) : Vous voyez l'enfant courir. Vous regardez tout le chemin. Même si ce pas spécifique semble correct, peut-être que l'élan de l'enfant est sur le point de le faire pivoter et de l'envoyer vers une autre falaise. La nouvelle méthode prédit tout le pivotement avant de laisser le pas se produire.

Comment ça marche (La magie mathématique)

Les chercheurs ont trouvé une astuce mathématique ingénieuse pour prédire ce « pivotement entier » sans avoir à lancer la simulation au préalable.

Le terme local : C'est la partie que l'ancienne méthode connaissait déjà. C'est le changement dans le mot spécifique que le robot a choisi.
Le terme global : C'est la nouvelle recette secrète. Il rend compte de la façon dont le changement d'un mot force le robot à ajuster les probabilités de tous les autres mots qu'il n'a pas choisis (car la probabilité totale doit toujours être égale à 100 %).

L'ancienne méthode ignorait le Terme Global. La nouvelle méthode l'additionne. Si les mathématiques montrent que la personnalité entière du robot dérive trop loin, le masque bloque la mise à jour. Si les mathématiques montrent que le robot revient en fait vers la sécurité, la mise à jour est autorisée.

Le problème du « Top-K »

Il y a un bémol. Dans le monde réel, le moteur du robot (le moteur de déploiement ou rollout engine) ne montre que les 20 mots les plus probables (le « Top-K ») pour gagner du temps et de la mémoire. Il cache les milliers d'autres mots dans un compartiment de « queue » (tail bucket).

Pour que leur prédiction fonctionne avec cette vue limitée, les chercheurs ont inventé deux estimateurs légers :

L'estimateur de la queue agrégée (Aggregated-Tail Estimator) : Prétend que tous les mots cachés sont un seul énorme bloc.
L'estimateur de la queue uniforme (Uniform-Tail Estimator) : Prétend que les mots cachés sont tous également probables.

Ils ont découvert que, comme les 20 mots du haut détiennent généralement presque toute la probabilité (plus de 99 %), les deux méthodes fonctionnent presque exactement de la même manière. C'est comme deviner la météo en regardant le ciel ; vous n'avez pas besoin de compter chaque nuage pour savoir s'il va pleuvoir.

Ce que les expériences ont montré

L'équipe a testé cela sur différentes tailles de robots (des modèles allant de 4 à 30 milliards de paramètres) et a même testé ces modèles lorsqu'ils fonctionnaient en précision « FP8 » (un mode mathématique super rapide et légèrement moins précis qui fait que les moteurs d'entraînement et d'écriture agissent différemment).

Le résultat : Le nouveau masque a rendu l'entraînement plus stable.
La preuve : Ils ont lancé 61 expériences différentes (seeds). Ils ont constaté que l'ancienne méthode conservait parfois des mises à jour qui faisaient en réalité dériver le robot plus loin (un taux de « conservation non sécurisée » de 36,9 %). La nouvelle méthode a réduit ce chiffre à 34,2 %.
L'amélioration : Bien que les chiffres puissent paraître faibles, dans le monde de l'entraînement des modèles d'IA géants, empêcher même quelques mauvais pas aide le robot à apprendre mieux et plus vite. La nouvelle méthode a fonctionné de manière cohérente à travers toutes les tailles de modèles et les réglages de précision.

Ce qu'ils ont explicitement rejeté

L'article est très clair sur ce qui ne fonctionne pas aussi bien :

Ils soutiennent contre l'utilisation du rapport d'importance du jeton échantillonné (sampled-token importance ratio — l'ancien contrôle du « seul violon ») pour décider de la direction de la mise à jour. Ils ont montré que ce contrôle sur un seul mot est souvent en désaccord avec le véritable changement de la personnalité entière du robot.
Ils ont également montré que le simple fait de rendre la « zone de sécurité » (la région de confiance) plus étroite (en utilisant un seuil de 0,05 au lieu de 0,15) dégrade les performances, suggérant que le simple fait d'être plus restrictif n'est pas la solution ; il faut être plus intelligent quant à la direction.

À quel point sont-ils sûrs ?

Les auteurs sont confiants dans leurs conclusions grâce aux données mesurées de leurs expériences. Ils n'ont pas seulement simulé cela dans le vide ; ils ont entraîné de vrais modèles sur de vrais problèmes mathématiques (en utilisant le jeu de données DAPO-Math-17k) et ont mesuré la précision sur des benchmarks comme AIME24 et AIME25.

Ils suggèrent que cette approche est un meilleur alignement des règles : si vous définissez la zone de sécurité en regardant la personnalité entière (la divergence), vous devriez aussi vérifier la direction de la mise à jour en regardant la personnalité entière, et non pas un seul mot. Les résultats suggèrent que cela conduit à un entraînement plus stable, mais ils reconnaissent qu'il s'agit encore d'une « approximation locale de premier ordre » — ce qui signifie que c'est une très bonne estimation basée sur l'étape suivante immédiate, et non une boule de cristal parfaite pour tout le futur.

En bref, la nouvelle méthode est comparable à donner au robot un GPS qui regarde toute la carte, plutôt que de regarder seulement le pas qu'il est en train de faire en ce moment. Cela aide le robot à apprendre plus vite sans s'égarer au bord du monde.

Résumé Technique : Masques de Divergence Prédictive pour le RL des LLM

1. Énoncé du Problème

L'apprentissage par renforcement (RL) pour les grands modèles de langage (LLM) est intrinsèquement hors-politique (off-policy) en raison des décalages entre les moteurs d'inférence utilisés pour les déroulements (rollouts) et les piles d'entraînement, ainsi que de la vétusté de la politique. Pour stabiliser ces mises à jour hors-politique, les méthodes standards comme l'Optimisation de Politique Proximale (PPO) emploient des masques de région de confiance. Ces masques reposent sur deux critères pour décider de masquer (mettre à zéro) le gradient d'un jeton (token) :

Critère de Proximité : Détermine si la politique s'est trop éloignée de la politique de comportement.
Critère de Direction : Détermine si la mise à jour pousse la politique plus loin de la politique de comportement (pointant vers l'extérieur) ou la ramène (corrective).

Des travaux récents, spécifiquement DPPO, ont amélioré le critère de proximité en remplaçant le rapport d'importance à échantillon unique par une divergence distributionnelle (par exemple, la divergence KL) estimée sur le top- $K$ du vocabulaire. Cependant, DPPO conserve le critère de direction original de PPO, qui repose uniquement sur le rapport d'importance du jeton échantillonné ( $r_t - 1$ ).

Les auteurs identifient une incohérence fondamentale dans cette approche hybride : alors que le critère de proximité est désormais défini par une divergence distributionnelle globale, le critère de direction reste un proxy à échantillon unique. Les auteurs observent que le signe du changement du rapport échantillonné peut être en désaccord avec le signe du changement réel de la divergence. Par conséquent, un jeton peut être conservé (parce que le rapport suggère une mise à jour corrective) même si la mise à jour augmente réellement la divergence globale, ou inversement.

2. Méthodologie

Le papier propose le Masque de Divergence Prédictive, une méthode qui aligne le critère de direction sur la nature distributionnelle du critère de proximité. Au lieu de demander « Le rapport échantillonné va-t-il s'éloigner de l'un ? », la méthode demande « La prochaine étape de gradient va-t-elle augmenter la divergence ? ».

Dérivation Théorique

Pour les politiques softmax utilisées dans les LLM autorégressifs, les auteurs dérivent une expression en forme fermée de la dérivée directionnelle de la divergence de Kullback-Leibler, notée $\dot{D}$ , le long d'une étape de gradient de politique.
$\dot{D} = \underbrace{(\pi_k - \mu_k)}_{\text{Terme Local}} + \underbrace{\sum_{i} \pi_i (\mu_i - \pi_i)}_{\text{Terme Global}}$
Où :

$\pi_k$ et $\mu_k$ sont les probabilités du jeton échantillonné $k$ sous les politiques d'entraînement et de comportement, respectivement.
Le Terme Local correspond exactement à la quantité utilisée dans le critère de direction standard basé sur le rapport ( $r - 1$ ).
Le Terme Global capture le couplage de normalisation à travers l'ensemble du vocabulaire. Ce terme est invisible pour un rapport échantillonné unique mais est crucial pour déterminer le véritable changement de divergence.

Le masque prédictif ne conserve une mise à jour que si le signe de $\hat{A}_t \cdot \dot{D}_t$ est non-positif (indiquant un mouvement correctif ou neutre), à condition que le jeton soit déjà en dehors de la région de confiance ( $D_t > \delta$ ).

Estimation Pratique

Les moteurs de déroulement de production n'exposent généralement que les probabilités des top- $K$ jetons, et non la distribution complète du vocabulaire. Pour calculer $\dot{D}$ sous cette vue tronquée, les auteurs proposent deux estimateurs légers pour la queue non vue de la distribution :

Estimateur de Queue Agrégée (Aggregated-Tail Estimator) : Réduit toute la masse de probabilité résiduelle en un seul jeton agrégé.
Estimateur de Queue Uniforme (Uniform-Tail Estimator) : Distribue la masse résiduelle uniformément sur les jetons de vocabulaire non vus.

Les deux estimateurs ne nécessitent que des réductions simples sur les probabilités top- $K$ retenues et les masses de queue, ajoutant un surcoût computationnel négligeable.

3. Contributions Clés

Identification de l'Incohérence : Le papier souligne que mélanger un critère de proximité distributionnel (divergence) avec un critère de direction à échantillon unique (rapport) crée un désalignement où le masque de direction peut échouer à suivre le véritable changement de divergence.
Masque de Divergence Prédictive : Une nouvelle règle de masquage qui utilise le changement de premier ordre de la divergence elle-même pour déterminer la direction de la mise à jour.
Dérivation en Forme Fermée : La dérivation de la dérivée directionnelle pour les politiques softmax, séparant explicitement les composantes locales (échantillonnées) et globales (normalisation).
Estimateurs de Vocabulaire Tronqué : Deux estimateurs légers (queue agrégée et uniforme) qui permettent à la méthode de fonctionner avec les contraintes de production standard (vues top- $K$ ).

4. Résultats Expérimentaux

Les auteurs ont évalué la méthode sur le jeu de données DAPO-Math-17k avec des modèles Qwen3 (4B, 8B et 30B) avec diverses configurations de précision (FP8).

Stabilité de l'Entraînement : À travers toutes les échelles de modèles et configurations de précision (y compris les tests de stress en FP8), le Masque de Divergence Prédictive a amélioré la stabilité de l'entraînement par rapport à la ligne de base DPPO-TopK-KL. En revanche, le GRPO standard avec des astuces de type clip-higher a montré de l'instabilité et un effondrement dans les configurations de modèles plus larges.
Alignement du Critère de Direction : L'analyse au niveau du jeton a révélé que le critère de direction basé sur la divergence est mieux aligné avec le changement réalisé de la divergence que le critère de rapport.
- Parmi les jetons où les deux critères divergeaient, le critère basé sur la divergence présentait un taux de « conservation non sécurisée » (unsafe-keep) plus faible (34,2 % contre 36,9 %), ce qui signifie qu'il était moins susceptible de conserver des mises à jour qui augmentaient réellement la divergence.
- Inversement, il a conservé une fraction plus élevée de mises à jour qui contractaient avec succès la divergence (65,1 % contre 62,9 %).
Robustesse : La méthode a démontré une robustesse améliorée face à l'hyperparamètre du seuil de région de confiance ( $\delta$ ), se comportant mieux que la ligne de base même sous des contraintes plus strictes ( $\delta = 0,05$ ).
Équivalence des Estimateurs : Les estimateurs de queue agrégée et de queue uniforme ont produit des résultats presque identiques, suggérant que la méthode n'est pas sensible à l'hypothèse de modélisation de la queue.

5. Signification et Revendications

Le papier affirme que le Masque de Divergence Prédictive résout une incohérence structurelle dans les méthodes actuelles de RL basées sur la divergence pour les LLM. En s'assurant que les deux critères de proximité et de direction sont dérivés de la même divergence distributionnelle, la méthode fournit un contrôle de région de confiance plus fidèle.

Les auteurs soulignent que, bien que l'amélioration des taux de « conservation non sécurisée » soit modeste (en raison du petit ensemble de jetons où les critères divergent), la cohérence est théoriquement solide et empiriquement bénéfique à travers les échelles. Ils concluent que le critère de direction devrait recevoir le même traitement distributionnel que le critère de proximité pour tirer pleinement parti des avantages des régions de confiance basées sur la divergence. La méthode est présentée comme un remplacement direct (drop-in replacement) pour les implémentations DPPO existantes qui ne nécessite aucun nouvel hyperparamètre au-delà du seuil de divergence existant.