📊 statistics

Uniform-Correct Policy Optimization: Breaking RLVR's Indifference to Diversity

Ce papier identifie que les objectifs standard d'apprentissage par renforcement avec récompenses vérifiables (RLVR) provoquent un effondrement de la diversité en étant indifférents à la distribution de la masse de probabilité parmi les solutions correctes, et propose l'optimisation de politique uniforme-correcte (UCPO) pour imposer une uniformité sur les sorties valides, améliorant ainsi considérablement la diversité et la couverture multi-échantillons tout en maintenant la précision à une seule tentative.

Auteurs originaux : Anamika Lochab, Bolian Li, Ruqi Zhang

Publié 2026-05-04

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anamika Lochab, Bolian Li, Ruqi Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Piège du « Taille Unique »

Imaginez que vous formiez un étudiant brillant pour résoudre des problèmes de mathématiques. Vous lui dites : « Votre objectif est d'obtenir la bonne réponse. »

Dans le monde de l'IA, cela s'appelle RLVR (Apprentissage par Renforcement avec Récompenses Vérifiables). L'IA tente de résoudre un problème, et si la réponse est correcte, elle reçoit une « étoile d'or ».

Le Problème :
Le papier soutient que les méthodes d'entraînement standard (comme GRPO) sont trop focalisées sur l'obtention de l'étoile d'or et ne se soucient pas de la manière dont l'étudiant l'obtient.

Imaginez un problème de mathématiques qui possède trois façons différentes et valides de le résoudre (Méthode A, Méthode B et Méthode C).

L'Ancienne Façon (GRPO) : L'IA tente les trois. Par pure chance, elle résout un problème en utilisant la Méthode A. Elle obtient une étoile d'or. Parce qu'elle a obtenu une étoile, l'IA pense : « La Méthode A est la meilleure ! Je ferai celle-ci la prochaine fois. » Elle arrête d'essayer les Méthodes B et C.
Le Résultat : L'IA devient une maîtresse de la Méthode A. Elle obtient la bonne réponse presque à chaque fois qu'elle essaie une seule fois (Pass@1). Mais si vous lui demandez d'essayer 64 fois pour voir si elle peut trouver n'importe quelle solution, elle échoue. Pourquoi ? Parce qu'elle a oublié les Méthodes B et C. Elle s'est effondrée dans une habitude unique et étroite.

Le papier appelle cela « l'Effondrement de la Diversité ». L'IA devient un poney à un seul tour.

Le Diagnostic : Pourquoi Cela Se Produit-il ?

Les auteurs ont identifié deux raisons principales pour lesquelles cela se produit :

L'Objectif est Trop Vague : La règle d'entraînement dit : « Maximisez les réponses correctes. » Elle ne dit pas : « Maximisez les réponses correctes et essayez d'utiliser chaque méthode possible. » Ainsi, l'IA est indifférente. Elle ne sait pas qu'elle est censée être diverse.
Le Cycle « Les Riches S'enrichissent » :
- Imaginez que l'IA ait un peu plus de chances de choisir la Méthode A simplement par hasard.
- Parce qu'elle choisit la Méthode A plus souvent, elle s'exerce davantage avec elle.
- Les mises à jour d'entraînement renforcent encore la Méthode A.
- Maintenant, elle choisit la Méthode A encore plus souvent.
- Finalement, les Méthodes B et C ne sont jamais choisies, donc l'IA n'a jamais la chance de les réapprendre. Elles disparaissent.

La Solution : La Politique « Uniforme-Correcte »

Les auteurs se sont demandé : « Quelle est la façon parfaite pour une IA de se comporter lorsqu'il existe plusieurs réponses correctes ? »

Ils ont conclu que l'IA devrait être Uniforme-Correcte.

Uniforme : Elle devrait traiter chaque solution valide (Méthode A, B et C) exactement de la même manière. Elle devrait leur donner une chance égale (33 % chacune).
Correcte : Elle ne devrait jamais perdre de temps avec des réponses fausses.

Pensez-y comme à un chef qui connaît trois façons différentes de préparer un parfait œuf au plat. Le chef « Uniforme-Correct » ne se contente pas de s'en tenir à celle qu'il a préparée en premier ; il alterne entre les trois méthodes de manière égale afin de ne jamais oublier comment préparer les autres.

Le Nouvel Outil : UCPO

Pour corriger le piège du « Taille Unique », les auteurs ont créé une nouvelle méthode d'entraînement appelée UCPO (Optimisation de Politique Uniforme-Correcte).

Son fonctionnement (L'Analogie) :
Imaginez que l'IA est un professeur notant une classe d'élèves (les différentes solutions).

Ancienne Méthode (GRPO) : Le professeur ne félicite que l'élève qui a levé la main en premier. Les autres élèves restent silencieux et finissent par arrêter de lever la main.
Nouvelle Méthode (UCPO) : Le professeur observe toute la classe. Si l'Élève A a levé la main beaucoup, le professeur dit : « Bon travail, mais donnons un bonus spécial à l'Élève B et à l'Élève C qui n'ont pas levé la main beaucoup jusqu'à présent. »

UCPO ajoute une « pénalité » à l'entraînement. Si l'IA commence à favoriser une solution de manière excessive, l'entraînement résiste et dit : « Non, vous devez répartir votre attention plus uniformément parmi toutes les réponses correctes. »

Les Résultats : Qu'est-il Arrivé ?

L'équipe a testé cela sur trois modèles d'IA différents (allant du petit au grand) en utilisant des benchmarks mathématiques difficiles (comme le concours de mathématiques AIME).

La précision est restée élevée : L'IA était toujours aussi bonne pour obtenir la bonne réponse du premier coup (Pass@1) que les anciennes méthodes.
La diversité a explosé : Lorsqu'ils ont demandé à l'IA de générer 64 tentatives différentes, elle a trouvé beaucoup plus de solutions correctes et uniques.
- Sur le test le plus difficile (AIME24), la nouvelle méthode a amélioré la capacité à trouver n'importe quelle solution correcte parmi 64 essais de 10 %.
- La variété des équations mathématiques utilisées dans les réponses a augmenté de 45 %.

Résumé

Le papier montre que l'entraînement standard de l'IA rend les modèles trop rigides : ils trouvent une façon d'avoir raison et s'y tiennent, oubliant toutes les autres façons valides. La nouvelle méthode, UCPO, force l'IA à garder toutes ses options ouvertes, traitant chaque chemin correct comme également précieux. Cela rend l'IA plus robuste et créative sans sacrifier sa précision.

1. Énoncé du problème

L'apprentissage par renforcement avec récompenses vérifiables (RLVR) a considérablement amélioré la précision à tentative unique (Pass@1) des grands modèles de langage (LLM) sur des tâches de raisonnement telles que les mathématiques. Cependant, un effet secondaire critique a été identifié : l'effondrement de la diversité.

Le phénomène : Bien que le RLVR augmente la probabilité de générer une réponse correcte, il réduit souvent drastiquement le Pass@K (la probabilité qu'au moins une des $K$ réponses échantillonnées soit correcte). Cela indique que l'espace de solutions du modèle se contracte, concentrant la masse de probabilité sur un sous-ensemble étroit de solutions correctes tout en supprimant d'autres chemins de raisonnement valides.
La cause racine : Les auteurs identifient une limitation structurelle dans les objectifs RLVR standards (tels que GRPO - Group Relative Policy Optimization). Ces objectifs sont indifférents à la manière dont la masse de probabilité est distribuée parmi les solutions correctes.
- Mathématiquement, toute politique qui place 100 % de sa masse sur l'ensemble des sorties correctes $Y^+$ produit la même récompense maximale, indépendamment du fait que cette masse soit concentrée sur une seule solution (effondrée) ou distribuée uniformément sur toutes les solutions valides (diverse).
- Combinée aux dynamiques d'échantillonnage on-policy, cette indifférence crée une boucle de rétroaction auto-renforçante : les solutions échantillonnées légèrement plus souvent reçoivent des mises à jour de gradient plus importantes, augmentant davantage leur probabilité et leur fréquence d'échantillonnage, conduisant à un effondrement de mode irréversible.

2. Méthodologie

A. Analyse théorique

Les auteurs formalisent le mécanisme d'effondrement et définissent la structure de politique optimale :

Mécanisme d'effondrement : Ils prouvent que sous GRPO, un biais d'échantillonnage conduit à des comptes d'échantillons inégaux. Les mises à jour de gradient sont proportionnelles à ces comptes, amplifiant la probabilité des solutions dominantes et supprimant celles minoritaires. Une fois qu'une solution tombe en dessous d'un seuil d'échantillonnage ( $\pi(y) \ll 1/K$ ), elle ne reçoit aucun signal de gradient et ne peut pas se rétablir.
Définition de la politique optimale : Les auteurs proposent que la politique optimale devrait être la Politique Uniforme-Correcte (UCP). Cette politique satisfait deux critères :
- Robustesse : Elle maximise la masse de probabilité conservée dans le pire des cas si un sous-ensemble de solutions correctes est désactivé (par exemple, en raison d'un décalage de distribution).
- Optimalité régularisée par l'entropie : Elle maximise de manière unique l'objectif d'équilibrer la justesse avec la diversité (entropie) au sein de l'ensemble correct.
- Définition : La UCP place une probabilité nulle sur les sorties incorrectes et distribue la probabilité uniformément sur toutes les solutions correctes ( $\pi(y|x) = 1/|Y^+|$ pour $y \in Y^+$ ).

B. Solution proposée : Uniform-Correct Policy Optimization (UCPO)

Pour atteindre la Politique Uniforme-Correcte, les auteurs proposent UCPO, une modification de l'objectif GRPO.

Fonction objectif : UCPO augmente la maximisation standard de la justesse avec une pénalité d'uniformité conditionnelle.
$\mathcal{L}_{UCPO} = \underbrace{\log Z_\theta(x)}_{\text{Masse de justesse}} - \tau \underbrace{KL(u(\cdot|x) \parallel q_\theta(\cdot|x))}_{\text{Pénalité d'uniformité}}$
- $Z_\theta(x)$ : Masse de probabilité totale sur les sorties correctes.
- $q_\theta(\cdot|x)$ : La distribution conditionnelle de la politique sur les sorties correctes.
- $u(\cdot|x)$ : La distribution uniforme sur l'ensemble des sorties correctes.
- $\tau$ : Un hyperparamètre contrôlant la force de la pénalité d'uniformité.
Mécanisme de gradient :
- Le GRPO standard pondère les gradients par la fréquence d'échantillonnage actuelle (favorisant les modes dominants).
- UCPO réajuste le signal de gradient pour contrer ce biais. Il interpole entre la distribution conditionnelle actuelle et la cible uniforme.
- Pondération inverse : L'estimateur de gradient attribue des poids plus élevés aux solutions correctes sous-représentées (celles avec une probabilité actuelle faible) et des poids plus faibles aux solutions dominantes. Cela redistribue efficacement le « budget d'avantage » pour amplifier les réponses correctes minoritaires sans sacrifier la masse totale de justesse.

3. Contributions clés

Identification de l'indifférence : Le papier prouve formellement que les objectifs RLVR standards sont indifférents à la diversité intra-ensemble correct, permettant aux dynamiques stochastiques d'entraînement de conduire à un effondrement de mode irréversible.
Caractérisation théorique : Il établit la Politique Uniforme-Correcte comme la solution optimale unique selon les critères de robustesse et de régularisation par l'entropie.
Conception d'algorithme (UCPO) : Il dérive UCPO, une modification simple mais efficace de GRPO qui impose la Politique Uniforme-Correcte comme son optimum unique.
Redistribution des gradients : Il introduit un mécanisme pour redistribuer les signaux de gradient vers les réponses correctes sous-représentées, brisant le cycle d'effondrement auto-renforçant.

4. Résultats expérimentaux

Les auteurs ont évalué UCPO sur trois modèles (1,5B, 7B paramètres) et cinq benchmarks de raisonnement mathématique (AIME24/25, AMC, MATH, OlympiadBench).

Amélioration du Pass@K : UCPO améliore constamment le Pass@K (spécifiquement Pass@64) tout en maintenant un Pass@1 compétitif.
- AIME24 (modèle 7B) : A atteint une amélioration absolue de +10 % en Pass@64 par rapport au GRPO standard.
- Amélioration moyenne : Sur tous les modèles, UCPO a amélioré le Pass@64 moyen de +3,5 à +4,8 points par rapport à GRPO.
Métriques de diversité :
- UCPO a atteint jusqu'à 45 % de diversité de niveau équation plus élevée au sein de l'ensemble correct par rapport à GRPO.
- Contrairement à la régularisation d'entropie globale (qui étend souvent la masse vers des réponses incorrectes), UCPO maintient une masse de justesse élevée ( $Z_\theta \approx 1$ ) tout en diversifiant l'ensemble correct.
Comparaison avec les bases de référence : UCPO a surpassé d'autres méthodes de préservation de la diversité telles que la régularisation par entropie (Ent-Reg), le contrôle de covariance KL et le Focal GRPO. La régularisation d'entropie globale s'est révélée fragile et a souvent dégradé le Pass@1 ou n'a pas réussi à améliorer la diversité au sein de l'ensemble correct.
Efficacité : UCPO introduit une surcharge computationnelle négligeable (seulement une réaffectation scalaire des avantages) et ne nécessite aucun défilement supplémentaire ni modèles de référence.

5. Signification

Ce travail aborde un défaut fondamental des paradigmes d'entraînement RLVR actuels pour les modèles de raisonnement. En passant d'une focalisation sur la simple « recherche d'une réponse correcte » au « maintien d'une distribution diverse de toutes les réponses correctes », UCPO :

Prévient la contraction de l'espace de solutions : Il garantit que les modèles n'« oublient » pas les chemins de raisonnement valides lors du fine-tuning.
Améliore la robustesse : Une politique couvrant plusieurs solutions correctes est plus robuste aux décalages de distribution ou au bruit du vérificateur.
Fournit une cible principielle : Il va au-delà des bonus d'entropie heuristiques pour atteindre un objectif théoriquement fondé qui cible explicitement la structure de la politique optimale.

En résumé, UCPO offre une solution évolutive et théoriquement solide au problème de l'effondrement de la diversité dans le RLVR, permettant aux LLM d'atteindre une couverture multi-échantillons plus élevée sans sacrifier la précision à tentative unique.