💬 NLP

MDP-GRPO: Stabilized Group Relative Policy Optimization for Multi-Constraint Instruction Following

Le document introduit MDP-GRPO, une variante stabilisée de l'optimisation de politique par groupe relative (Group Relative Policy Optimization) qui emploie l'échantillonnage multi-température, des avantages à double ancrage, le façonnage par la théorie des perspectives et une régularisation KL asymétrique pour surmonter l'instabilité dans les contextes de récompenses discrètes à faible dispersion, améliorant ainsi de manière significative la performance du suivi d'instructions à contraintes multiples.

Auteurs originaux : Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un chef très talentueux mais légèrement chaotique (l'IA) comment suivre une recette très spécifique. La recette n'est pas seulement « faire un gâteau » ; c'est une liste de règles strictes : « Utilisez exactement 3 œufs », « N'utilisez pas de chocolat », « Écrivez les instructions en MAJUSCULES » et « Terminez la note par la phrase 'Bon Appétit' ».

Dans le monde de l'IA, on appelle cela le Suivi d'Instructions à Multi-Contraintes. Le problème est que les méthodes d'entraînement standard de l'IA se confondent souvent lorsque les règles sont aussi strictes et que le retour est binaire (soit vous avez suivi la règle, soit vous ne l'avez pas suivie).

Voici une décomposition simple de la solution du papier, MDP-GRPO, en utilisant des analogies de la vie quotidienne.

Le Problème : Le Piège de la « Note de Groupe »

Le papier commence par expliquer comment fonctionne l'entraînement actuel de l'IA (appelé GRPO). Imaginez un professeur donnant un quiz à un groupe de 8 étudiants (les tentatives de l'IA) en même temps. Au lieu de noter chaque étudiant par rapport à un standard parfait, le professeur les note les uns par rapport aux autres.

Si 7 étudiants ont un « C » et 1 étudiant a un « B », l'étudiant « B » reçoit un énorme bonus, et les étudiants « C » reçoivent une énorme pénalité.
Le Bug : Dans le respect strict des règles, il est fréquent que tout le monde dans le groupe reçoive exactement la même note (par exemple, tout le monde a échoué à la règle des « majuscules »).
- Effondrement de Variance Nulle (Zero-Variance Collapse) : Si tout le monde obtient un « 0 », le professeur n'a aucun moyen de savoir qui a fait mieux. La « note » est nulle pour tout le monde, et l'IA n'apprend rien.
- Aveuglement de Centrage sur la Moyenne (Mean-Centering Blindness) : Si un groupe d'étudiants échoue lourdement, et qu'un autre groupe échoue aussi lourdement, le professeur les traite de la même manière car ils sont « également mauvais » par rapport à leur propre groupe. L'IA ne sait pas quelle règle spécifique elle a enfreinte.
- Amplification de Faible Variance (Low-Variance Amplification) : Si les scores sont 99, 100, 100, 100, la minuscule différence entre 99 et 100 est amplifiée en une pénalité massive, provoquant une réaction excessive de l'IA et la rendant instable.

La Solution : MDP-GRPO

Les auteurs proposent une nouvelle méthode d'entraînement avec quatre « outils » pour corriger ces bugs. Considérez cela comme une mise à niveau du système de notation du professeur.

1. Le « Mélangeur de Saveurs » (Échantillonnage Multi-Température)

Le Problème : Si vous demandez à l'IA d'écrire 8 variations d'une histoire, elle pourrait écrire 8 histoires presque identiques. Si elles sont toutes identiques, elles reçoivent toutes la même note, et l'entraînement stagne.
La Correction : Les auteurs disent à l'IA d'écrire ces 8 histoires en utilisant différents « niveaux de créativité ». Certaines sont écrites de manière très stricte (température basse), et d'autres sont écrites de manière sauvage et créative (température haute).
Le Résultat : Cela garantit que même si les règles sont difficiles, les 8 tentatives seront suffisamment différentes pour avoir des scores différents. Cela évite le problème du « tout le monde a eu zéro ».

2. Le Système des « Deux Ancres » (Avantages à Double Ancre)

Le Problème : Quand le groupe est dans le chaos (tout le monde a échoué), le système de « notation relative » s'effondre.
La Correction : Au lieu de simplement comparer les étudiants entre eux, le professeur les compare également à un « Étudiant Neutre » imaginaire et fixe.
- Imaginez un « Étudiant Neutre » qui réussit exactement 50 % des règles par pur hasard.
- Si le groupe de l'IA fait moins bien que cet Étudiant Neutre, l'IA reçoit un signal clair : « Vous faites moins bien que la moyenne, essayez plus fort ! »
- Cela donne un signal d'apprentissage à l'IA même lorsque tout le groupe échoue, évitant l'« aveuglement » face à la performance absolue.

3. La « Peur de la Perte Humaine » (Formage par la Théorie des Perspectives)

Le Problème : L'entraînement standard traite une petite victoire et une petite perte comme égales mais opposées. Mais dans la réalité, les humains détestent perdre plus qu'ils n'aiment gagner.
La Correction : Les auteurs empruntent un concept de l'économie appelé Théorie des Perspectives (Prospect Theory). Ils programment l'IA pour qu'elle ressente la « douleur » de briser une règle beaucoup plus intensément que la « joie » de la suivre.
- Si l'IA enfreint une règle, la pénalité est énorme et tranchante.
- Si l'IA suit une règle, la récompense est plafonnée et douce.
- Cela empêche l'IA d'être trop imprudente et la force à être très prudente face aux contraintes strictes.

4. La « Ceinture de Sécurité Asymétrique » (Régularisation KL Asymétrique)

Le Problème : Parfois, en essayant de suivre les règles, l'IA oublie comment parler normalement ou devient trop rigide.
La Correction : Ils mettent une « ceinture de sécurité » sur les changements de l'IA.
- Si l'IA s'améliore (suit mieux les règles), la ceinture est lâche, permettant de grands changements.
- Si l'IA régress de (enfreint les règles), la ceinture se resserre instantanément, empêchant de commettre des erreurs sauvages et dommageables.

Les Résultats

Les auteurs ont testé cette nouvelle méthode sur des modèles comme Llama-3.2 et Gemma-2.

Meilleure maîtrise des règles : L'IA est devenue nettement meilleure pour suivre des instructions strictes et multiples (jusqu'à 5 % d'amélioration des taux de succès stricts).
Apprentissage Stable : L'entraînement ne s'est pas effondré ou confondu lorsque l'IA a heurté un mur d'échecs.
Toujours Intelligente : Crucialement, l'IA n'a pas perdu ses connaissances générales (comme répondre à des questions de culture générale ou résoudre des énigmes logiques) tout en apprenant ces règles strictes.

Résumé

Le papier soutient que l'enseignement à une IA pour suivre des règles strictes et multiples est comme apprendre à un chef à suivre une recette avec 10 contraintes minuscules et spécifiques. Les méthodes standards échouent car elles se confondent lorsque tout le monde dans la classe échoue. MDP-GRPO corrige cela en :

Rendant les tentatives d'entraînement plus diverses.
Donnant un point de référence fixe afin que l'IA sache où elle en est, même en cas d'échec.
Faisant en sorte que l'IA « craigne » les erreurs plus qu'elle ne « chérit » le succès.
Empêchant l'IA de changer trop radicalement lorsqu'elle commet une erreur.

Le résultat est une IA beaucoup plus fiable pour suivre des instructions complexes et strictes sans perdre son intelligence générale.

Résumé Technique : MDP-GRPO

Énoncé du Problème

Les grands modèles de langage (LLM) éprouvent souvent des difficultés avec le suivi d'instructions à contraintes multiples, où un seul prompt exige l'adhésion à plusieurs règles explicites et déterministes (par exemple, un formatage spécifique, des mots interdits, une fin exacte). Bien que l'Apprentissage par Renforcement avec Récompenses Vérifiables (RLVR) offre une solution prometteuse en utilisant des vérificateurs basés sur des règles pour fournir des signaux fiables et sans biais, le Group Relative Policy Optimization (GRPO) standard devient instable dans ce régime.

Le problème central provient du fait que les récompenses à contraintes multiples sont discrètes et fréquemment à faible variance. Lors des premières phases d'entraînement ou avec des contraintes strictes, les groupes de complétions échantillonnées produisent souvent des récompenses homogènes (tous les échantillons respectent ou violent les mêmes contraintes). Dans ces conditions, la normalisation par score z (z-score) du GRPO standard souffre de trois pathologies spécifiques :

Amplification de la faible variance : Les fluctuations mineures de la récompense sont amplifiées en avantages disproportionnés, provoquant des mises à jour fragiles.
Aveuglement par centrage de la moyenne : La normalisation par score z rejette les niveaux de récompense absolus, rendant impossible la distinction entre un groupe qui échoue systématiquement et un groupe qui réussit systématiquement si leurs distributions relatives sont similaires.
Effondrement de la variance nulle : Lorsque tous les échantillons d'un groupe reçoivent des récompenses identiques, l'écart-type du groupe ( $\sigma_{group}$ ) tend vers zéro. Cela provoque l'effondrement du signal d'avantage vers zéro ou le rend indéfini, éliminant totalement le signal d'apprentissage.

Méthodologie : MDP-GRPO

Pour remédier à ces instabilités, les auteurs proposent le MDP-GRPO, une variante stabilisée du GRPO qui intègre trois mécanismes complémentaires :

1. Échantillonnage à Température Multiple (Prévention)

Pour empêcher la formation de groupes homogènes, la méthode remplace l'échantillonnage à température fixe par un programme de température ( $T = [\tau_1, \dots, \tau_G]$ ) pour le groupe de $G$ complétions.

Mécanisme : Les températures basses encouragent l'exploitation (bases de haute qualité), tandis que les températures élevées induisent l'exploration.
Objectif : Cela permet de mélanger des complétions de haute qualité et exploratoires au sein d'un même groupe, garantissant une dispersion de la récompense suffisante ( $\sigma_{group} > 0$ ) même avec de petits lots (batch sizes), sans modifier l'objectif de RL sous-jacent.

2. Avantages à Double Ancrage (Restauration du Signal)

Pour traiter l'effondrement de la variance nulle et l'aveuglement par centrage de la moyenne, la méthode introduit un ancrage sensible à l'objectif aux côtés de l'avantage relatif au groupe standard.

Mécanisme : Une base neutre est modélisée comme un processus binomial où les contraintes sont satisfaites avec une probabilité $p=0,5$ . Cela génère un avantage "sensible à l'objectif" fixe ( $\delta_i$ ) qui varie proportionnellement au nombre de contraintes.
Intégration : L'avantage final ( $A_i$ ) est une interpolation pondérée entre l'avantage relatif au groupe façonné ( $\tilde{z}_i$ ) et l'avantage sensible à l'objectif façonné ( $\tilde{\delta}_i$ ) :
$A_i = (1 - \alpha)\tilde{z}_i + \alpha\tilde{\delta}_i$
Bénéfice : Même lorsque la variance du groupe est nulle, l'ancrage sensible à l'objectif fournit un signal d'apprentissage valide, empêissant la stagnation de l'entraînement.

3. Façonnement par la Théorie des Perspectives (Stabilisation)

Inspirée par la Théorie des Perspectives (Kahneman & Tversky, 1979), la méthode applique une fonction de façonnement asymétrique et bornée aux avantages bruts avant le mélange.

Mécanisme : Une transformation tanh mise à l'échelle borne les avantages et impose une aversion à la perte ( $\lambda_- > \lambda_+$ ).
Objectif : Cela garantit que les violations de contraintes (résultats négatifs) entraînent des mises à jour de gradient plus importantes que des succès équivalents, pénalisant lourdement la régression. Simultanément, la fonction de bornage empêche les gradients non bornés causés par la faible variance, stabilisant ainsi l'entraînement.

4. Régularisation KL Asymétrique

L'objectif inclut une pénalité KL asymétrique où le coefficient de pénalité est plus élevé ( $\beta_{high}$ ) lorsque l'avantage est négatif (baisse de performance) et plus faible ( $\beta_{low}$ ) lorsqu'il est positif, contraignant davantage le modèle lors des phases de régression.

Contributions Clés

Formalisation des Pathologies : Le papier identifie et formalise trois modes d'échec des mises à jour de politique relatives au groupe dans les régimes de récompense à faible dispersion et discrets : l'amplification de la faible variance, l'aveuglement par centrage de la moyenne et l'effondrement de la variance nulle.
Prévention par Échantillonnage : Introduction de l'échantillonnage de groupe à température multiple pour augmenter artificiellement la diversité des récompenses dans les configurations à petits lots sans modifier la fonction d'objectif.
Récupération du Signal : Proposition d'avantages à double ancrage pour restaurer les signaux d'apprentissage dans les groupes à variance nulle et récupérer l'information de performance absolue perdue par la normalisation standard.
Façonnement Robuste : Application du façonnement de la théorie des perspectives pour borner les magnitudes de mise à jour et prioriser la correction des violations de contraintes.
Validation Empirique : Démonstration que ces composants améliorent collectivement la stabilité et les performances sur les tâches à contraintes multiples tout en préservant les capacités générales.

Résultats Expérimentaux

La méthode a été évaluée sur IFEval, FollowBench et un jeu de données à contraintes multiples curaté en utilisant les modèles Gemma-2-2B et Llama-3.2-3B.

Gains de Performance : MDP-GRPO a systématiquement surpassé le GRPO standard et la ligne de base zero-shot. Sur Llama-3.2-3B, il a amélioré la satisfaction des contraintes strictes (HSR) jusqu'à 5,0 % sur le jeu de données personnalisé.
Efficacité des Petits Lots : La méthode s'est révélée particulièrement efficace avec des tailles de groupe réduites ( $G=4$ ). L'échantillonnage à température multiple a permis à MDP-GRPO d'approcher les performances du GRPO standard entraîné avec des groupes plus larges ( $G=8$ ), démontrant son utilité sous des budgets de calcul restreints.
Échelle de Difficulté : Les variantes stabilisées (spécifiquement celles avec doubles ancres) se sont dégradées plus lentement que les lignes de base à mesure que le nombre de contraintes augmentait, maintenant des taux de réussite plus élevés sur des prompts complexes (Difficulté 5-6).
Capacités Générales : Les évaluations sur MMLU et ARC ont confirmé que les gains en suivi d'instructions ne se sont pas faits au détriment du raisonnement général ou de la rétention de connaissances.
Dynamiques d'Entraînement : Les diagnostics ont montré que les méthodes proposées ont réussi à réduire la fréquence des groupes à variance nulle et à contrôler la dérive de la divergence KL par rapport au GRPO standard.

Signification et Revendications

Les auteurs affirment que MDP-GRPO fournit un cadre stable et fiable pour le RLVR dans les contextes de contraintes multiples, un domaine où les méthodes de normalisation de groupe standard échouent souvent en raison de la parcité des récompenses. En traitant explicitement les pathologies mathématiques de la normalisation par score z, la méthode permet :

Une convergence stable même avec de petites tailles de groupe.
Un apprentissage efficace à partir de récompenses discrètes et basées sur des règles sans nécessiter de modèles de récompense appris ou d'étiquettes de préférences humaines.
Une robustesse contre la "fragilité" des mises à jour du GRPO standard face à des distributions de récompenses homogènes.

Le papier conclut que, bien que l'approche soit spécifiquement conçue pour les contraintes déterministes et vérifiables, ses composantes centrales (double ancrage et façonnement des perspectives) sont agnostiques à la source de la récompense et pourraient être adaptées à d'autres contextes de RL. Cependant, les auteurs notent modestement que la méthode repose sur des vérificateurs automatiques et pourrait ne pas s'étendre directement aux contraintes subjectives ou stylistiques sans modèles de récompense appris.