🤖 machine learning

GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

Cet article révèle que GRPO, Dr. GRPO et DAPO ne sont pas des méthodes distinctes mais plutôt trois configurations spécifiques d'un mécanisme sous-jacent unique : l'écart type du groupe des récompenses binaires, qui dicte l'ampleur des mises à jour de l'entraînement et détermine quels problèmes contribuent efficacement à l'apprentissage.

Auteurs originaux : Yong Yi Bay, Kathleen A. Yearick

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yong Yi Bay, Kathleen A. Yearick

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant comment résoudre un problème de mathématiques difficile. Au lieu de lui poser la question une seule fois, vous lui demandez d'essayer le même problème huit fois de suite.

Si l'étudiant se trompe huit fois de suite, vous ne pouvez pas beaucoup lui apprendre car vous ne savez pas encore à quoi ressemble une "bonne" réponse pour lui.
S'il réussit huit fois de suite, vous ne pouvez pas non plus beaucoup lui apprendre car il sait déjà faire ; il n'y a pas de lutte nécessaire pour apprendre.
Mais s'il réussit quatre fois et se trompe quatre fois, c'est le point idéal. Vous pouvez pointer les bonnes réponses et dire : « Fais cela », et pointer les mauvaises et dire : « Ne fais pas ça ». Le désaccord entre ses tentatives est ce qui crée le signal d'apprentissage.

Cet article, intitulé "GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number", soutient que ces trois méthodes populaires pour entraîner le raisonnement de l'IA sont en réalité trois manières différentes de gérer ce moment précis de désaccord.

Voici la décomposition en utilisant des analogies simples :

Le « Nombre Magique » : L'écart type

L'article se concentre sur un nombre spécifique calculé à partir de ces huit tentatives : l'écart type.

Considérez ce nombre comme un « Compteur de Confusion ».
Si l'étudiant réussit 8/8 ou 0/8, le compteur affiche zéro. Il n'y a pas de confusion, et donc, pas de signal d'apprentissage.
Si l'étudiant réussit 4/8, le compteur affiche son maximum. L'étudiant est confus, et cette confusion est précisément là où l'apprentissage se produit.

L'article prouve que pour les récompenses binaires (Vrai/Faux), ce « Compteur de Confusion » n'est pas seulement un outil d'aide ; il est la taille réelle de la leçon.

Les Trois Méthodes : Trois façons de tourner le cadran

L'article montre que ces trois célèbres méthodes d'entraînement de l'IA sont simplement trois réglages différents sur ce même cadran :

GRPO (L'Amplificateur) :
- Ce qu'il fait : Il prend la leçon et la divise par le « Compteur de Confusion ».
- L'analogie : Imaginez un professeur qui dit : « Si tu es confus (compteur élevé), je vais crier la leçon très fort pour m'assurer que tu l'entendes. Si tu n'es pas confus (compteur bas), je chuchoterai. »
- Le résultat : Cette méthode favorise fortement les problèmes les plus difficiles et les plus faciles (où le compteur est élevé) et ignore les problèmes « juste corrects ». Cela crée un « biais de difficulté », poussant l'IA à se concentrer intensément sur les extrêmes.
Dr. GRPO (Le Lisseur) :
- Ce qu'il fait : Il supprime la division. Il ignore totalement le « Compteur de Confusion ».
- L'analogie : Ce professeur dit : « Je vais crier la leçon exactement au même volume, peu importe ton niveau de confusion. »
- Le résultat : L'IA apprend uniquement sur la base des taux de réussite bruts. Il traite un pari de 50/50 et un taux de réussite de 90 % avec le même poids par unité d'amélioration. Cela supprime le « biais de difficulté » de la première méthode.
DAPO (Le Filtre) :
- Ce qu'il fait : Il regarde le « Compteur de Confusion ». Si le compteur est à zéro (tout le monde a réussi ou tout le monde a échoué), il rejette ce groupe et demande à l'étudiant de réessayer.
- L'analogie : Ce professeur dit : « Si vous obtenez toutes les bonnes réponses ou toutes les mauvaises, je ne vais pas perdre de temps à noter. Je vais simplement vous faire essayer une nouvelle série de questions jusqu'à ce que vous montriez une certaine confusion. »
- Le résultat : Cela économise de la puissance de calcul en ignorant les groupes « silencieux » qui n'enseignent rien.

La Grande Découverte : Un seul cadran, trois réglages

La thèse principale de l'article est que ces méthodes ne sont pas trois inventions distinctes. Elles sont simplement trois opérations sur le même nombre unique (l'écart type des réponses du groupe).

GRPO divise par lui.
Dr. GRPO l'ignore.
DAPO filtre les zéros.

Pourquoi cela importe (La loi de la « Taille du Groupe »)

L'article donne également une règle pratique pour savoir combien de fois vous devez demander à l'étudiant d'essayer le problème (la « Taille du Groupe »).

La Règle : Plus le problème est difficile, plus vous devez demander de répétitions.
L'analogie : Si un problème est un « pile ou face » (50 % de chances de réussir), demander 8 fois est généralement suffisant pour obtenir une bonne leçon. Mais si un problème est très difficile (seulement 5 % de chances de réussir), demander 8 fois pourrait aboutir à 8 échecs consécutifs (un groupe silencieux). Vous devrez peut-être demander 70 fois juste pour obtenir un seul groupe où l'étudiant réussit quelques fois et échoue quelques fois, afin de pouvoir réellement l'enseigner.

Résumé

L'article démystifie l'entraînement complexe de l'IA en montrant que :

L'apprentissage se fait par le désaccord. Si un groupe d'IA est d'accord sur tout (tout bon ou tout faux), il n'apprend rien.
Le « Compteur de Confusion » est la leçon. Le degré de désaccord détermine la force du signal d'apprentissage.
Les trois méthodes sont simplement différentes façons d'utiliser ce compteur. L'une l'amplifie, l'autre l'ignore, et la troisième saute les groupes où le compteur est cassé.

Les auteurs ont testé cela sur un ensemble massif de problèmes mathématiques et dans des simulations informatiques contrôlées, prouvant que ces formules prédisent parfaitement la quantité d'apprentissage de l'IA et le nombre de tentatives nécessaires pour réussir.

Résumé Technique : L'Identité de l'Écart-Type de Groupe dans l'Entraînement RLVR

Énoncé du Problème
Dans l'apprentissage par renforcement avec récompenses vérifiables (RLVR - Reinforcement Learning with Verifiable Rewards), l'entraînement de modèles de langage pour le raisonnement implique souvent d'échantillonner plusieurs réponses candidates ( $G$ ) pour un seul prompt et d'utiliser un vérificateur automatique pour attribuer des récompenses binaires (1 pour correct, 0 pour incorrect). Trois méthodes de traitement de ces récompenses — Group Relative Policy Optimization (GRPO), GRPO Done Right (Dr. GRPO), et Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO) — semblent employer des heuristiques distinctes. GRPO normalise les avantages par l'écart-type des récompenses du groupe ; Dr. GRPO supprime cette normalisation ; DAPO écarte les groupes où toutes les réponses concordent (écart-type nul). Le papier traite de l'absence d'une compréhension théorique unifiée de ces méthodes, se demandant si elles sont des correctifs distincts ou les variations d'un mécanisme unique sous-jacent.

Méthodologie et Identité Centrale
Le papier isole la mise à jour de l'entraînement pour un prompt unique avec une taille de groupe finie $G$ et des récompenses binaires. Il dérive une identité mathématique exacte pour la mise à jour du gradient de politique par prompt, indépendante de la ligne de base utilisée.

Soit $k$ le nombre de réponses correctes dans un groupe de taille $G$ . L'écart-type des récompenses du groupe est $\sigma = \sqrt{k(G-k)/G}$ . Le papier prouve l'Identité de l'Écart-Type de Groupe :
$g = \sigma (\bar{s}_+ - \bar{s}_-)$
où $\bar{s}_+$ et $\bar{s}_-$ sont les scores moyens des rollouts corrects et incorrects, respectivement.

Cette identité révèle que l'amplitude de la mise à jour de l'entraînement est exactement l'écart-type des récompenses du groupe. La mise à jour devient nulle lorsque le groupe est unanime ( $k=0$ ou $k=G$ , donc $\sigma=0$ ) et atteint son maximum lorsque le groupe est divisé de moitié ( $k=G/2$ ).

Unification des Méthodes
Le papier démontre que GRPO, Dr. GRPO et DAPO ne sont pas des algorithmes distincts mais trois opérations appliquées à cette quantité scalaire unique ( $\sigma$ ) :

GRPO : Divise l'avantage par $\sigma$ . Cela met à l'échelle la mise à jour par $\sigma$ , optimisant ainsi un objectif stabilisé par la variance ( $2\arcsin\sqrt{p}$ ).
Dr. GRPO : Supprime la division par $\sigma$ . Cela résulte en une mise à jour proportionnelle à $\sigma^2$ , optimisant le taux de succès brut ( $p$ ).
DAPO : Écarte les groupes où $\sigma = 0$ . Cela filtre les groupes "silencieux" qui n'apportent aucun contraste entre le juste et l'erroné.

Contributions Clés
Le papier présente cinq contributions théoriques et empiriques spécifiques :

L'Identité Exacte du Groupe Fini : Le papier établit que la mise à jour GRPO est exactement la direction du score contrastif mise à l'échelle par $\sigma$ , valable pour tout $G$ fini et toute dimension de politique, sans dépendre de limites asymptotiques.
La Loi de la Taille de Groupe : Il dérive une relation en forme fermée déterminant combien d'échantillons ( $G$ ) sont nécessaires pour atteindre une fidélité cible ( $\phi$ ) du gradient du grand groupe. La taille de groupe requise est proportionnelle au carré du poids de difficulté : $G \gtrsim 1/(8\epsilon p(1-p))$ . Cela implique que les prompts difficiles (faible $p$ ) nécessitent des tailles de groupe nettement plus grandes pour produire un signal d'apprentissage stable par rapport aux prompts de difficulté moyenne.
Le Taux de Groupe Silencieux : Le papier quantifie la probabilité qu'un groupe soit "silencieux" (ne fournissant aucun gradient) comme étant $P = p^G + (1-p)^G$ . Cela explique le mécanisme derrière l'échantillonnage dynamique de DAPO, qui sur-échantillonne et écarte ces groupes spécifiques.
Caractérisation Exacte du Biais de Difficulté : Le papier prouve que le "biais de difficulté" observé dans GRPO (où les prompts faciles et difficiles sont sur-pondérés) est une conséquence directe de la division par $1/\sigma$ . Cette division correspond à la dérivée de la transformation arcsinus ( $\partial_p 2\arcsin\sqrt{p} = 1/\sqrt{p(1-p)}$ ), qui attribue un poids marginal plus élevé aux difficultés extrêmes. Supprimer la division (Dr. GRPO) revient à l'objectif du taux de succès brut avec une pondération de difficulté plate.
Validation Empirique :
- Jeu de données Big-Math : Sur un ensemble de 215 608 problèmes, le papier montre que la standardisation de GRPO déplace le budget de gradient, allouant presque le double de la part aux prompts de difficulté extrême (13,9 % $\to$ 24,7 %) par rapport à Dr. GRPO. Il confirme également qu'à des tailles de groupe standards ( $G=8$ ), 44 % des prompts produisent des groupes silencieux, ce qui correspond à la prédiction théorique.
- Campagne d'Entraînement Contrôlée : Une expérience reproductible avec 6 000 prompts Bernoulli-logit confirme que les prédictions en forme fermée pour les taux de groupes silencieux et la distribution de la masse de gradient suivent les dynamiques d'entraînement réelles avec une grande précision ( $R^2 = 0,999$ pour les groupes silencieux).

Signification et Revendications
Le papier affirme que ce qui est souvent considéré comme une étape de normalisation cosmétique est en réalité le "curseur" qui détermine où et comment l'apprentissage se produit avec force.

Signal vs Bruit : L'écart-type du groupe n'est pas simplement un normalisateur ; il est la taille même du signal d'apprentissage. Un prompt n'enseigne que lorsque ses réponses échantillonnées divergent.
Vue Unifiée : Les trois méthodes sont unifiées par des opérations sur un seul nombre. GRPO choisit d'amplifier le signal par le niveau de désaccord ; Dr. GRPO choisit d'ignorer le niveau de désaccord ; DAPO choisit d'ignorer les cas où il n'y a pas de désaccord.
Implications Pratiques : Les conclusions suggèrent qu'utiliser une taille de groupe uniforme est sous-optimal, car cela dessert les prompts difficiles (qui ont besoin d'un $G$ plus grand pour éviter le silence) et sur-sert les prompts moyens. Le papier soutient qu'une compréhension exacte de la comptabilité des groupes finis permet aux praticiens de faire des choix éclairés concernant la taille du groupe et la formulation de l'objectif, plutôt que de s'appuyer sur des approximations asymptotiques ou du réglage heuristique.

Le papier conclut que ces résultats ne nécessitent pas de nouveaux algorithmes mais découlent d'une comptabilité exacte d'un groupe échantillonné unique, fournissant un cadre en forme fermée pour analyser le façonnage des récompenses en RLVR.