💬 NLP

Multi-Objective and Mixed-Reward Reinforcement Learning via Reward-Decorrelated Policy Optimization

Ce papier présente l'optimisation de politique décorrélationnée par récompense (RDPO), une méthode novatrice qui utilise la normalisation quantile sensible à l'amplitude et le blanchiment de Mahalanobis pour stabiliser l'estimation de l'avantage dans l'apprentissage par renforcement multi-récompenses, améliorant ainsi les performances du modèle en matière de suivi d'instructions, de rédaction et de robustesse sans compromettre les capacités de raisonnement ou de codage.

Auteurs originaux : Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yang Bai, Kaiyuan Liu, Ziyuan Zhuang, Jiahong Zhou, Rongxiang Weng, Xin Chen, Jingang Wang, Xunliang Cai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraînez un robot très intelligent (une IA) à effectuer simultanément de nombreuses tâches différentes : rédiger des histoires, résoudre des problèmes mathématiques, coder des logiciels et suivre des instructions strictes. Pour enseigner au robot, vous lui fournissez un retour d'information (des récompenses) après chaque tentative.

Le problème est que ces signaux de retour sont désordonnés. Certains sont de simples notes « réussi/échoué » (comme un interrupteur binaire), d'autres sont des scores de 0 à 100, et certains sont des opinions complexes. De plus, ces signaux se chevauchent souvent. Par exemple, une réponse longue peut obtenir des points pour être « détaillée » mais perdre des points pour être « trop verbeuse », et le score « détaillé » peut être mathématiquement lié au score « verbeux ».

Lorsque vous essayez d'additionner tous ces scores mélangés pour indiquer au robot comment s'améliorer, l'entraînement devient chaotique. Le robot peut être confus par un score énorme, ignorer les autres, ou rester bloqué dans une boucle parce que deux signaux se combattent mutuellement.

Les auteurs de cet article proposent une nouvelle méthode appelée RDPO (Reward-Decorrelated Policy Optimization) pour régler ce désordre. Considérez RDPO comme un « Nettoyeur de Signaux » en deux étapes qui prépare le retour d'information avant que le robot n'apprenne de celui-ci.

Étape 1 : Le « Filtre d'Équité » (Normalisation Quantile Sensible à la Magnitude)

Le Problème : Imaginez que vous notez une classe. Un élève obtient un score de 100, un autre 99, et un troisième 0. Si vous regardez simplement les chiffres bruts, l'écart entre 99 et 100 semble minuscule, mais l'écart entre 0 et 99 est énorme. Dans l'entraînement de l'IA, si un type de récompense (comme une vérification « réussi/échoué ») présente un écart énorme, il peut noyer tous les autres retours, obligeant le robot à se concentrer uniquement sur cette seule chose et à ignorer tout le reste.

La Solution : RDPO utilise un « Filtre d'Équité » appelé Normalisation Quantile Sensible à la Magnitude.

Comment cela fonctionne : Au lieu d'examiner les chiffres bruts, il examine le classement et les écarts entre les tentatives. Il compresse les énormes écarts (de sorte qu'un 100 n'est pas infiniment meilleur qu'un 99) et étire les minuscules écarts (de sorte qu'un 99 et un 100 restent distincts).
L'Analogie : Imaginez une course où un coureur termine en 10 secondes et un autre en 100 secondes. Si vous regardez simplement le temps, le deuxième coureur semble terrible. Mais si vous normalisez la course de sorte que chacun soit jugé sur sa performance par rapport au groupe, le deuxième coureur a une chance équitable de s'améliorer sans être écrasé par l'avance massive du premier coureur. Cela garantit qu'aucune tentative « mauvaise » ou « aberrante » ne détourne le processus d'apprentissage du robot.

Étape 2 : Le « Réducteur de Bruit » (Blanchiment de Mahalanobis)

Le Problème : Parfois, les signaux de retour sont redondants. Imaginez que vous avez deux capteurs : l'un mesure « combien le robot a parlé » et l'autre mesure « combien le robot a parlé ». Si vous additionnez ces deux scores, vous comptez deux fois la même information. Ou, imaginez deux capteurs qui sont opposés : l'un dit « soyez plus long » et l'autre dit « soyez plus court ». Si vous les additionnez simplement, ils s'annulent mutuellement, et le robot ne reçoit aucune direction claire.

La Solution : RDPO utilise un « Réducteur de Bruit » appelé Blanchiment de Mahalanobis.

Comment cela fonctionne : Il examine la relation entre les différents signaux de retour. Si deux signaux disent la même chose (corrélés), il réduit le poids de l'un afin qu'ils ne comptent pas deux fois. S'ils se combattent mutuellement, il les ajuste afin que le robot reçoive une instruction claire et équilibrée.
L'Analogie : Pensez à un groupe où le batteur et le bassiste jouent exactement le même rythme. Cela sonne boueux et redondant. Le « Réducteur de Bruit » agit comme un ingénieur du son qui baisse légèrement le volume de la basse afin que la section rythmique sonne nette et claire, plutôt que boueuse. Cela garantit que le robot apprend à partir d'informations uniques, et non d'un bruit répété.

Les Résultats

Les auteurs ont testé cette méthode sur un grand modèle d'IA appelé LongCat-Flash. Ils l'ont entraîné sur quatre types de tâches :

Suivi des Instructions : Faire exactement ce qu'on vous demande.
Rédaction Générale : Créer de bonnes histoires ou articles.
Raisonnement Mathématique : Résoudre des énigmes logiques.
Codage : Écrire des programmes informatiques.

Qu'est-il arrivé ?

Rédaction et Instructions : Le robot s'est considérablement amélioré dans le suivi des instructions et la rédaction de textes de haute qualité. Il est devenu plus robuste face à des invites difficiles ou piégeuses.
Mathématiques et Codage : Le robot a performé aussi bien que les meilleures méthodes précédentes. Il ne s'est pas détérioré en mathématiques ou en codage ; il est resté compétitif tout en s'améliorant considérablement dans les autres tâches.

La Conclusion

L'article affirme qu'en nettoyant les signaux de retour (en les rendant équitables et en éliminant la redondance) avant que l'IA n'apprenne, le processus d'entraînement devient beaucoup plus stable. Cela permet à l'IA de s'améliorer dans des tâches complexes et multi-tâches (comme la rédaction et le suivi de règles) sans perdre sa capacité à résoudre des problèmes mathématiques ou à écrire du code. C'est une manière plus intelligente de mélanger différents types de louanges et de critiques afin que l'IA apprenne les bonnes leçons.

Résumé technique : Optimisation de la politique décorrélationnée par récompense (RDPO)

1. Énoncé du problème

Dans les environnements complexes d'apprentissage par renforcement (RL) pour les grands modèles de langage (LLM), l'entraînement implique souvent des configurations multi-tâches avec des formulations de récompenses mixtes. Une seule session d'entraînement peut intégrer des objectifs divers tels que la justesse, le respect des instructions, la satisfaction de critères, les scores de modèles de préférence et la longueur des réponses.

L'agrégation de ces signaux de récompense hétérogènes en un seul avantage scalaire présente deux défis principaux qui déstabilisent l'entraînement :

Échelles et distributions hétérogènes : Les récompenses varient considérablement en échelle (binaire, fractionnaire, continue) et en forme de distribution (asymétrique, liée, sujette aux valeurs aberrantes). Les méthodes d'agrégation standard échouent souvent à allouer des avantages de manière robuste au niveau de l'invite, conduisant à des situations où un seul défilement domine le signal de mise à jour.
Corrélation des récompenses : Les dimensions de récompense au sein d'une tâche sont souvent corrélées (par exemple, la justesse du code et la longueur de la réponse, ou la satisfaction des critères et les scores de préférence). La somme de récompenses corrélées sans ajustement introduit une variance redondante, amenant le modèle à « compter deux fois » des variations spécifiques ou à annuler des signaux utiles, réduisant ainsi l'efficacité informationnelle effective de l'avantage agrégé.

Les méthodes existantes comme GRPO (somme directe) obscurcissent les variations de performance relative, tandis que GDPO (normalisation Z-score indépendante) reste sensible aux distributions non gaussiennes au niveau de l'invite et ne parvient pas à traiter les corrélations inter-récompenses.

2. Méthodologie : Optimisation de la politique décorrélationnée par récompense (RDPO)

Les auteurs proposent RDPO, un pipeline de traitement de récompense léger en deux étapes conçu pour cibler explicitement les modes de défaillance de l'instabilité d'échelle et de la redondance de corrélation.

2.1 Métrique diagnostique : Efficacité informationnelle effective ( $\eta_{eff}$ )

Avant de détailler la solution, l'article introduit $\eta_{eff}$ comme mesure diagnostique pour évaluer l'agrégation de récompenses mixtes. Il se décompose en :

$\eta_{proj}$ (Efficacité de projection) : Mesure dans quelle mesure l'agrégation s'aligne avec une projection pondérée également dans l'espace des récompenses standardisées. Elle pénalise les déséquilibres causés par des échelles de récompenses variables.
$\eta_{corr}$ (Efficacité de corrélation) : Quantifie l'information indépendante conservée après la somme de récompenses corrélées. Elle pénalise la redondance causée par des dépendances linéaires positives ou négatives entre les dimensions de récompense.

2.2 Étape 1 : Normalisation Quantile Sensible à la Magnitude (MAQ)

Objectif : Stabiliser l'allocation d'avantages au niveau de l'invite à travers des récompenses binaires, fractionnaires et continues, en abordant les limites de la normalisation Z-score dans des conditions non gaussiennes.

Mécanisme :

Espacements compressés par logarithme : Au lieu d'une mise à l'échelle linéaire, MAQ calcule l'espacement entre les scores de défilement triés en utilisant une fonction de compression logarithmique : $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$ . Cela limite l'influence des valeurs aberrantes extrêmes tout en préservant les distinctions subtiles dans les régions denses.
Allocation par fonction de répartition cumulative (CDF) : Les espacements sont normalisés pour allouer des positions de fonction de répartition cumulative (CDF) de manière proportionnelle.
Mappage inverse normal : Les valeurs sont mappées vers une distribution normale standard via la CDF inverse ( $\Phi^{-1}$ ).

Effet : MAQ produit des avantages comparables entre les dimensions et moins sensibles aux statistiques de groupe pathologiques (liens, asymétrie, valeurs aberrantes), garantissant qu'aucun défilement unique ne domine de manière disproportionnée la mise à jour au niveau de l'invite.

2.3 Étape 2 : Blanchiment de Mahalanobis

Objectif : Atténuer la variance redondante entre les dimensions de récompense co-occurrentes au sein d'un sous-espace de tâche spécifique.

Mécanisme :

Sélection de sous-espace : Dans les configurations multi-tâches, un défilement observe rarement toutes les dimensions de récompense. RDPO applique le blanchiment exclusivement sur le sous-espace de récompense observé $S$ pour une tâche donnée.
Estimation de covariance en cours : Une moyenne mobile exponentielle (EMA) est utilisée pour estimer la matrice de covariance $\hat{\Sigma}_t$ des avantages normalisés par MAQ en ligne, lissant le bruit au niveau des lots.
Transformation de blanchiment : Le vecteur d'avantage $A^{(i,j)}$ est transformé en utilisant la racine carrée inverse de la matrice de covariance : $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$ . Cela déplace les dimensions de récompense actives vers des signaux non corrélés et de variance unitaire.
Agrégation : L'avantage scalaire final est la somme des dimensions blanchies, suivie d'une normalisation par lot.

3. Configuration expérimentale

Modèle : LongCat-Flash (phase de post-entraînement).
Tâches : Un mélange unifié de quatre types de tâches : Raisonnement mathématique, Génération de code, Respect des instructions et Écriture générale.
Sous-espaces de récompense :
- Mathématiques : Justesse mathématique + Longueur.
- Code : Justesse du code + Longueur.
- Respect des instructions : IFEval + Critères.
- Écriture générale : Longueur + RM (Modèle de récompense) + Critères.
Lignes de base : GRPO (somme brute), GDPO (normalisation Z-score) et le modèle d'initialisation RL.
Validation : Validation à petite échelle sur un modèle plus petit de la même famille pour isoler les contributions de MAQ et du blanchiment avant de passer à LongCat-Flash.

4. Résultats clés

4.1 Validation à petite échelle

Sur un modèle interne plus petit, le pipeline complet RDPO a surpassé GDPO, GRPO et le modèle d'initialisation sur plusieurs métriques :

Respect des instructions : Gains significatifs sur IFEval (83,55 % contre 78,56 % pour GDPO).
Raisonnement et codage : Améliorations sur AIME24, FullStackBench, HumanEval+ et MBPP+.
Analyse des composants : Tanto MAQ (Q) que le blanchiment (M) ont apporté des avantages complémentaires. MAQ s'est révélé particulièrement efficace sur les métriques sensibles à la distribution (par exemple, AH-Creative), tandis que le blanchiment a aidé les configurations sensibles à la corrélation.

4.2 Résultats mis à l'échelle sur LongCat-Flash

Lorsqu'appliqué à LongCat-Flash, RDPO a démontré :

Respect des instructions et écriture : RDPO a obtenu les scores les plus élevés sur IFEval (90,39 %), GuideBench, SOP-Maze, WritingBench et les deux sous-ensembles d'ArenaHard v2 (AH-Creative : 89,00 %, AH-Hard : 76,10 %). Cela confirme l'utilité de stabiliser les avantages au niveau de l'invite et de réduire la redondance pour les tâches ouvertes et sensibles aux préférences.
Raisonnement et codage : Les résultats étaient globalement compétitifs mais mitigés. RDPO a égalé le meilleur score MATH500 (98,60 %) et est resté compétitif sur AIME2025 et GPQA. En codage, RDPO a mené sur MBPP+ et LiveCodeBench v6, tandis que GRPO ou le modèle d'initialisation restaient plus performants sur FullStackBench et HumanEval+.
Stabilité globale : La méthode s'est transférée avec succès de la validation à petite échelle à l'entraînement à grande échelle, maintenant des performances stables en raisonnement et en codage tout en boostant significativement le respect des instructions et la qualité de l'écriture.

5. Signification et affirmations

L'article affirme que RDPO offre une solution robuste pour le RL multi-objectif dans le post-entraînement des LLM en traitant explicitement les deux modes de défaillance de l'instabilité d'échelle et de la redondance de corrélation.

Contribution méthodologique : En combinant la normalisation Quantile Sensible à la Magnitude avec le blanchiment de Mahalanobis, RDPO garantit que le signal d'avantage agrégé est à la fois géométriquement cohérent (contribution égale entre les dimensions) et informationnellement efficace (minimisation de la variance redondante).
Impact pratique : La méthode permet l'optimisation simultanée de tâches hétérogènes (par exemple, mathématiques, code, écriture) sans l'instabilité d'entraînement généralement associée aux formulations de récompenses mixtes.
Performance : Les auteurs concluent que RDPO améliore le respect des instructions, la qualité de l'écriture et la robustesse face aux invites difficiles, tout en restant globalement compétitif sur les évaluations de raisonnement et de codage, validant ainsi son efficacité en tant que stratégie de traitement de récompense à usage général pour les environnements RL complexes.