🤖 machine learning

Value-Free Policy Optimization via Reward Partitioning

Cet article introduit l'Optimisation de la Partition de Récompense (RPO), une méthode d'apprentissage de préférences par trajectoire unique, simple et évolutive, qui élimine la nécessité d'une estimation de la fonction de valeur en normalisant les récompenses via des distributions au niveau du prompt, atteignant ainsi un alignement, une diversité et une stabilité supérieurs par rapport aux bases existantes telles que DRO et KTO.

Auteurs originaux : Bilal Faye, Hanane Azzag, Mustapha Lebbah

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bilal Faye, Hanane Azzag, Mustapha Lebbah

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot chef comment préparer le repas parfait. Par le passé, il existait deux manières principales de le faire, et les deux posaient des problèmes majeurs.

Les anciennes méthodes : Le « Test de Goût » et le « Juge Gourmet »

Le « Test de Goût » (Préférences par paires) :
Traditionnellement, pour enseigner au chef, on lui présentait deux plats pour une même commande (par exemple, deux lasagnes différentes) et on demandait à un humain : « Lequel est le meilleur ? » Le robot apprend en comparant les deux.

Le Problème : À mesure que le robot s'améliore, il devient extrêmement difficile pour les humains de distinguer la différence entre deux bonnes lasagnes. C'est comme demander à un critique gastronomique de choisir entre deux repas 5 étoiles ; c'est épuisant, coûteux et lent.

Le « Juge Gourmet » (Modèles de Récompense + Apprentissage par Renforcement) :
Une autre méthode consiste à embaucher un « Juge Gourmet » (une IA distincte) qui goûte la nourriture et lui attribue une note de 1 à 10. Le robot tente alors de cuisiner des plats qui obtiennent le score le plus élevé de la part de ce Juge.

Le Problème : Le Juge peut se tromper, ou le robot peut essayer de « manipuler » le Juge en créant des plats bizarres, toxiques ou absurdes juste pour obtenir un score élevé. C'est aussi très coûteux en calcul et instable, comme si l'on essayait de faire tenir un château de cartes dans un coup de vent.

La nouvelle méthode : RPO (Optimisation par Partitionnement de Récompense)

Les auteurs de cet article introduisent une nouvelle méthode, plus simple, appelée RPO. Au lieu de comparer deux plats ou d'embaucher un Juge IA séparé, RPO examine tous les plats que le robot a déjà préparés pour une commande spécifique et détermine la « qualité moyenne » de cette commande précise.

Voici comment fonctionne RPO, en utilisant une analogie simple :

L'analogie de la « Note de Classe »

Imaginez un professeur (le robot) qui corrige des rédactions.

L'ancienne méthode (DRO) : Le professeur essaie de deviner le « score parfait » pour chaque rédaction avant même d'avoir fini de l'écrire. Il doit deviner ce « score parfait » tout en écrivant simultanément la rédaction. C'est déroutant et cela mène à des erreurs.
La méthode RPO : Le professeur regarde toutes les rédactions écrites pour un sujet spécifique (par exemple, « Écrivez une histoire sur un chat »).
- Certaines rédactions sont terribles (score 2).
- Certaines sont correctes (score 5).
- Certaines sont incroyables (score 9).
- RPO calcule la qualité moyenne de toutes ces histoires de chats.
- Si le robot écrit une histoire qui est meilleure que la moyenne pour ce sujet, il reçoit un « pouce levé » et apprend à recommencer.
- S'il écrit une histoire moins bonne que la moyenne, il reçoit un « pouce baissé » et apprend à changer.

Le tour de magie : RPO n'a pas besoin d'une IA « Juge » distincte pour lui dire quel est le niveau moyen. Il se contente d'examiner les données qu'il possède déjà (l'instruction, la réponse et le score) et effectue un calcul mathématique rapide pour trouver cette moyenne. Cela rend le processus d'apprentissage beaucoup plus rapide, plus stable et moins susceptible de devenir incontrôlable.

Qu'ont-ils découvert ?

Les chercheurs ont testé cette nouvelle méthode sur de nombreux types de modèles d'IA (certains qui lisent et écrivent, et d'autres qui ne font qu'écrire). Voici ce qui s'est passé :

De meilleurs résultats : Les robots entraînés avec RPO ont produit des réponses plus utiles, plus diversifiées (moins répétitives) et plus sûres (moins toxiques) que les robots entraînés avec les anciennes méthodes.
Stabilité : Alors que les anciennes méthodes faisaient parfois varier le comportement du robot de manière erratique (comme une voiture perdant le contrôle), RPO a maintenu le robot sur une trajectoire fluide et constante.
Vitesse : Il a fallu moins de temps pour entraîner les robots en utilisant RPO.
Robustesse : Même si les scores donnés aux rédactions étaient un peu « bruyants » ou imparfaits (comme un correcteur humain passant une mauvaise journée), RPO a fonctionné correctement. Il ne s'est pas effondré.

Le revers de la médaille (Limites)

L'article est honnête sur les points où RPO pourrait éprouver des difficultés :

Il faut une foule : Pour calculer cette « moyenne », vous devez voir plusieurs réponses différentes pour le même sujet. Si vous n'avez qu'une seule réponse pour un sujet, RPO ne peut pas faire sa magie mathématique.
« Garbage In, Garbage Out » (Déchet en entrée, déchet en sortie) : Si les scores (récompenses) sont complètement faux ou corrompus, la méthode rencontrera également des difficultés, bien qu'elle gère mieux les petites erreurs que les anciennes méthodes.

L'essentiel

L'article propose RPO comme une manière plus intelligente et plus simple d'apprendre à l'IA à être utile. Au lieu de demander aux humains de comparer deux options ou de construire un système complexe pour deviner les « scores parfaits », RPO examine simplement l'ensemble des réponses pour une question, trouve la moyenne, et enseigne à l'IA à viser plus haut que cette moyenne. C'est une façon plus stable, plus efficace et plus performante d'aligner l'IA sur les préférences humaines.

Résumé technique : Optimisation de politique sans valeur via le partitionnement de récompense

Énoncé du problème

L'alignement des grands modèles de langage (LLM) avec les préférences humaines repose généralement sur l'apprentissage par renforcement à partir de rétroactions humaines (RLHF) ou sur l'optimisation directe des préférences (DPO). Cependant, ces paradigmes font face à des défis importants en termes de scalabilité et de stabilité :

RLHF nécessite une annotation humaine coûteuse des préférences par paires, l'entraînement d'un modèle de récompense (RM) distinct, et des boucles d'apprentissage par renforcement instables (ex: PPO) qui sont peu efficaces en termes d'échantillonnage et sensibles aux hyperparamètres.
Les méthodes de type DPO (Direct Preference Optimization) éliminent le RM explicite et la boucle RL, mais nécessitent des données de préférence par paires curatées. À mesure que les modèles s'améliorent, distinguer les réponses de haute qualité devient de plus en plus difficile, ce qui augmente les coûts d'annotation.
L'apprentissage sur trajectoire unique (Single-Trajectory Learning) offre une alternative pratique utilisant des tuples $(prompt, réponse, récompense\_scalaire)$ (plus faciles à annoter, ex: pouce levé/baissé). Cependant, les méthodes existantes pour ce cadre, telles que l'optimisation directe de la récompense (DRO), reposent sur l'apprentissage conjoint d'une politique et d'une fonction de valeur. Cette optimisation conjointe introduit de la variance, de l'instabilité et une sensibilité aux données hors-politique (off-policy), car les erreurs d'estimation de la valeur peuvent biaiser l'entraînement de la politique.

Le problème central abordé est le besoin d'une méthode stable, scalable et simple pour optimiser les politiques directement à partir de données de récompense scalaires, sans la complexité et l'instabilité de l'apprentissage d'une fonction de valeur auxiliaire.

Méthodologie : Optimisation par partitionnement de récompense (RPO)

Les auteurs proposent l'Optimisation par Partitionnement de Récompense (RPO), un objectif sans valeur qui exploite la forme analytique de la politique optimale sous régularisation KL pour éliminer le besoin d'une fonction de valeur apprise.

Fondement théorique

En partant de la formulation de la politique optimale dans le cadre de la maximisation de la récompense régularisée par KL :
$\pi^*(y|x) = \pi_{ref}(y|x) \exp\left(\frac{1}{\tau} (r(x, y) - V^*(x))\right)$
où $V^*(x)$ est la fonction de valeur douce agissant comme une fonction de partition pour normaliser les récompenses. Les méthodes traditionnelles comme DRO approximent $V^*(x)$ à l'aide d'un réseau de neurones distinct, menant à une optimisation couplée de la politique ( $\pi_\theta$ ) et de la valeur ( $V_\phi$ ).

RPO contourne cela en estimant empiriquement la fonction de partition directement à partir des données. Pour un prompt donné $x$ , la méthode agrège toutes les réponses disponibles $y_j$ dans le jeu de données pour calculer une fonction de partition empirique $\hat{Z}(x)$ :
$\hat{Z}(x) = \sum_{j \in I_x} \pi_{ref}(y_j|x) \exp\left(\frac{1}{\tau} r(x, y_j)\right)$
où $I_x$ est l'ensemble des indices des échantillons pour le prompt $x$ . La valeur empirique est ensuite $\hat{V}(x) = \tau \log \hat{Z}(x)$ .

Objectif d'optimisation

RPO formule la tâche d'apprentissage comme une régression directe sur le log-ratio entre la politique apprise et la politique de référence. La fonction de perte minimise l'erreur quadratique entre le log-ratio prédit et la récompense centrée et mise à l'échelle :
$\mathcal{L}_{RPO}(\theta) = \frac{1}{2} \mathbb{E}_{(x,y,r) \sim D} \left[ \left( \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)} - \frac{1}{\tau}(r(x, y) - \hat{V}(x)) \right)^2 \right]$

Les caractéristiques clés de la méthode incluent :

Sans valeur (Value-Free) : Aucun réseau de valeur auxiliaire n'est entraîné ; $\hat{V}(x)$ est calculé à la volée à partir de la politique de référence et des récompenses observées.
Gradients stables : La mise à jour du gradient dépend uniquement des paramètres de la politique, évitant la rétropropagation à travers un estimateur de valeur appris.
Compatibilité hors ligne (Offline) : La méthode est entièrement hors ligne et passe à l'échelle sur de grands jeux de données sans nécessiter de boucles de RL en ligne.

Contributions clés

Proposition de RPO : Une nouvelle méthode d'optimisation de politique sur trajectoire unique qui remplace l'estimation de la valeur par la normalisation empirique de la récompense.
Analyse de DRO : Une critique théorique et pratique de l'optimisation directe de la récompense, soulignant son instabilité due à l'optimisation conjointe politique-valeur.
Dérivation formelle : Une preuve montrant que RPO approxime la structure de la politique optimale en exploitant la formulation de la fonction de partition.
Évaluation exhaustive : Expérimentations complètes sur des architectures encodeur-décodeur (Flan-T5) et décodeur seul (Mistral, LLaMA, Qwen), démontrant une supériorité constante sur SFT, KTO et DRO.

Résultats expérimentaux

Les auteurs ont évalué RPO sur le jeu de données UltraFeedback et sur plusieurs benchmarks (AlpacaEval, MT-Bench, IFEval, GSM8K).

Performance intra-domaine (UltraFeedback)

Métriques : RPO surpasse systématiquement SFT, Kो et DRO sur les métriques automatiques (BERTScore, ROUGE-L, Distinct-2) et la sécurité (Toxicité).
LLM-as-a-Judge : RPO obtient des taux de victoire plus élevés contre les bases de référence lors de l'évaluation par GPT-4o et Claude-3.5.
Stabilité : L'analyse de la divergence KL montre que RPO maintient des trajectoires lisses et contrôlées, tandis que DRO présente une forte croissance de la divergence (particulièrement dans les modèles décodeurs seuls) et KTO montre des oscillations.
Efficacité : RPO a démontré une convergence plus rapide et un temps d'entraînement inférieur à DRO et KTO sur toutes les échelles de modèles.

Généralisation hors distribution (OOD)

RPO montre des améliorations robustes mais dépendantes de la tâche. Les gains sont plus prononcés dans les benchmarks de suivi d'instructions (AlpacaEval, IFEval).
Les performances sur les tâches de raisonnement (GSM8K) et de conversation multi-tours (MT-Bench) montrent des améliorations constantes mais plus modérées, variant selon la famille de modèles.

Études d'ablation

Température ( $\tau$ ) : La méthode est robuste à un lissage modéré ( $\tau=5.0$ ) mais souffre d'une dégradation significative des performances avec une mise à l'échelle très abrupte ( $\tau=0.1$ ), menant à une optimisation instable.
Normalisation empirique ( $\hat{V}(x)$ ) : Le retrait de la normalisation de la récompense par prompt cause une dégradation constante de la similitude sémantique, de la diversité et de la sécurité, confirmant son rôle critique dans la stabilisation des échelles de récompense.
Densité de données : Les performances diminuent à mesure que le nombre de complétions par prompt diminue, une configuration à 25 % de densité causant des chutes substantielles de qualité. Cela souligne la dépendance de la méthode à la diversité des distributions de récompense par prompt pour une estimation précise de la partition.
Robustesse au bruit : RPO reste stable sous un bruit de récompense modéré ( $\sigma=0.1, 0.5$ ) mais les performances déclinent à mesure que l'intensité du bruit augmente, bien qu'elle ne s'effondre pas même sous une forte corruption ( $\sigma=1.0$ ).

Signification et limites

L'article affirme que RPO offre une alternative simple, scalable et stable aux méthodes d'alignement existantes. En éliminant le besoin d'apprendre une fonction de valeur, elle réduit la complexité et la variance de l'optimisation tout en fournissant une supervision de récompense absolue. Les auteurs positionnent RPO comme une direction prometteuse pour l'optimisation des préférences scalable, particulièrement dans les scénarios où les données par paires sont rares mais où le feedback scalaire est disponible.

Limites reconnues par les auteurs :

Exigences en données : RPO dépend de données groupées où plusieurs complétions existent par prompt pour estimer efficacement la fonction de partition. Les performances diminuent si la diversité par prompt est insuffisante.
Qualité de la récompense : Bien que robuste au bruit modéré, la méthode reste dépendante de la qualité des annotations de récompense ; une corruption sévère impacte négativement l'alignement.
Portée de l'évaluation : L'évaluation actuelle se concentre principalement sur les benchmarks de suivi d'instructions et d'alignement. Les auteurs notent que des domaines plus larges, des contextes multilingues et des tâches de raisonnement à long terme nécessitent des études plus approfondies pour évaluer pleinement la généralisation.