💬 NLP

When Are Two RLHF Objectives the Same?

Cet article introduit Opal, un algorithme de canonicalisation qui détermine l'équivalence algébrique des objectifs de préférence RLHF, révélant que de nombreuses méthodes largement utilisées sont en réalité des reparamétrisations du même objectif sous-jacent tout en identifiant les mécanismes structurels spécifiques qui créent des objectifs véritablement distincts.

Auteurs originaux : Madhava Gaikwad

Publié 2026-02-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Madhava Gaikwad

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de perfectionner la recette d'un nouveau plat. Au cours des dernières années, des centaines d'autres chefs ont publié leurs propres versions « améliorées » de cette recette. Certains disent qu'ils ont changé les épices, d'autres qu'ils ont ajusté la température de cuisson, et d'autres encore prétendent avoir inventé une toute nouvelle façon de mélanger les ingrédients.

La grande question est : S'agit-il réellement de recettes différentes, ou est-ce simplement le même plat avec des noms différents ?

Ce document présente un outil appelé Opal (pensez à un « Traducteur de Recettes » ou un « Scanner d'Empreinte de Saveur ») pour répondre à cette question exacte pour les méthodes d'entraînement d'IA connues sous le nom de RLHF (Apprentissage par Renforcement à partir du Feedback Humain).

Voici le détail de ce que l'article a découvert, en utilisant des analogies simples :

1. Le Problème : Trop de noms, même goût

Dans le monde de l'IA, des chercheurs ont proposé des dizaines de façons différentes d'enseigner aux modèles d'IA à suivre les préférences humaines. Ils leur donnent des noms sophistiqués comme DPO, SPPO, SimPO et GRPO. Chaque article prétend que sa méthode est une « percée » ou « distinctement meilleure ».

Les auteurs se sont demandé : S'agit-il réellement d'objectifs mathématiques différents, ou est-ce simplement le même objectif écrit dans des langues différentes ?

2. La Solution : Opal (Le Traducteur)

Les auteurs ont construit un algorithme nommé Opal. Vous pouvez considérer Opal comme une machine qui prend deux recettes différentes (formules mathématiques) et tente de les traduire dans une langue « canonique » standard.

Si les recettes se traduisent par exactement la même langue standard : Opal dit : « Ce sont les mêmes. » Il leur donne la même « empreinte » (un code de hachage).
Si elles ne peuvent pas être traduites dans la même langue : Opal produit un « témoin ». C'est comme un exemple concret montrant précisément pourquoi elles sont différentes. Par exemple : « Dans la Recette A, si vous ajoutez du sel, cela goûte le salé. Dans la Recette B, ajouter du sel fait goûter sucré selon ce qu'il y a déjà dans la marmite. »

3. La Grande Découverte : Beaucoup de « Nouvelles » Méthodes ne sont que de Vieilles Méthodes Déguisées

Lorsque les auteurs ont passé 33 méthodes différentes au crible d'Opal, ils ont découvert quelque chose de surprenant :

La Famille « DPO » : Dix méthodes différentes (incluant SPPO et Nash-MD) se sont révélées être algébriquement identiques à la célèbre méthode DPO.
- L'analogie : C'est comme si quelqu'un prétendait avoir inventé une nouvelle façon de faire bouillir l'eau en l'appelant « Transition de Phase Thermique ». C'est la même eau qui bout, juste avec un nom sophistiqué.
- Le résultat : Passer de DPO à SPPO ne change pas l'objectif réel que l'IA essaie d'atteindre ; cela change simplement la façon dont les mathématiques sont écrites.
Les « Vraies » Innovations : Seule une petite poignée de méthodes étaient réellement différentes.
- GRPO (L'Effet de Lot) : Cette méthode est utilisée par le célèbre modèle DeepSeek-R1. Opal a prouvé qu'elle est fondamentalement différente de DPO.
  - L'analogie : Imaginez que vous notez des élèves. Dans la méthode standard (DPO), vous notez l'Élève A en vous basant uniquement sur son propre score de test. Dans GRPO, vous notez l'Élève A en fonction de la manière dont il s'est comporté par rapport aux autres élèves de la classe ce jour-là. Si vous mettez un génie dans la salle, l'Élève A semble moins bon. Si vous mettez un élève en difficulté, l'Élève A semble meilleur. Le « lot » (batch) de l'étudiants change la note. Opal a prouvé que cette « dépendance au lot » fait de GRPO une bête complètement différente.
- KTO et Autres : Ces méthodes traitent les « victoires » et les « pertes » différemment (comme un parieur qui craint davantage la perte qu'il ne profite du gain). Cette asymétrie les rend structurellement uniques.

4. Les Quatre « Ingrédients Secrets » pour de Réelles Différences

Le papier identifie que pour qu'une méthode soit vraiment nouvelle (et non juste une reformulation), elle doit briser l'une des quatre règles. Si elle ne brise pas une règle, il s'agit probablement d'un simple recyclage d'une ancienne méthode.

Normalisation de Groupe : Changer le score en fonction de qui d'autre est dans le groupe (comme GRPO).
Pondération Dépendante des Paires : Traiter des paires de réponses spécifiques différemment en fonction de leurs traits uniques (comme KTO).
Structure au Niveau du Token : Regarder la réponse de l'IA mot par mot plutôt que la phrase entière d'un coup.
Niveau de Trajectoire : Regarder tout le chemin des décisions prises par l'IA, et non pas seulement la réponse finale.

5. Ce que cela signifie pour les Praticiens

Si vous êtes un ingénieur essayant de choisir une méthode :

Ne vous laissez pas tromper par les noms. Si vous voyez une nouvelle méthode qui ressemble à DPO mais qui possède une dérivation sophistiquée, il se peut que ce ne soit que du DPO en smoking.
Vérifiez le « Lot » (Batch). Si une méthode change son comportement en fonction des autres exemples présents dans le lot d'entraînement, elle fait quelque chose d'unique (comme GRPO).
L'Objectif est le Même. Même si les mathématiques semblent différentes, si Opal dit qu'elles sont équivalentes, elles viseront le même comportement « parfait » de l'IA. Cependant, elles pourraient y parvenir à des vitesses ou avec des stabilités différentes.

Résumé

Ce papier est un « rappel à la réalité » pour le domaine de l'IA. Il utilise un outil mathématique (Opal) pour dépouiller le jargon sophistiqué et montrer que la plupart des récentes « nouvelles » méthodes sont en fait les mêmes vieilles méthodes écrites différemment. L'innovation véritable ne se produit que lorsque vous changez fondamentalement la façon dont l'IA compare les réponses (comme regarder l'ensemble du groupe ou l'ensemble du chemin), et non simplement lorsque vous réorganisez l'algèbre.

Résumé Technique : « Quand deux objectifs de RLHF sont-ils identiques ? »

Énoncé du Problème

L'apprentissage par renforcement à partir des commentaires humains (RL-HF) est devenu le paradigme standard pour aligner les modèles de langage sur les préférences humaines. Bien que le pipeline original impliquait l'entraînement d'un modèle de récompense suivi de l'optimisation de politique proximale (PPO), des développements récents ont introduit de nombreuses variantes de l'optimisation de préférence directe (DPO) et des formulations de la théorie des jeux (par exemple, SPPO, Nash-MD, GRPO, KTO). Malgré l'annonce de progrès distincts, une question fondamentale reste sans réponse : quand deux méthodes d'optimisation de préférences doivent-elles être considérées comme véritablement différentes ?

Il n'est pas clair si des méthodes dérivées de perspectives théoriques différentes (par exemple, modélisation de la récompense vs théorie des jeux) optimisent des objectifs distincts ou ne représentent que des réarrangements algébriques de la même fonction de perte. Cette ambiguïté complique l'évaluation de la nouveauté algorithmique et la prise de décision pratique concernant la sélection de méthodes.

Méthodologie : Le Cadre Opal

Pour y répondre, les auteurs introduisent Opal, un algorithme de canonicalisation conçu pour déterminer si deux objectifs de préférence sont algébriquement équivalents. Le cadre repose sur le postulat que les méthodes de préférence par paires peuvent être exprimées comme des transformations d'une marge commune sous-jacente, $\Delta = s(y^+) - s(y^-)$ , où $s$ est une fonction de score.

Opal décompose toute perte de préférence en une composition de trois opérations primitives :

Add[ $\phi$ ] (Ajout) : Ajoute un terme de pénalité dépendant des réponses individuelles (par exemple, régularisation KL, normalisation de la longueur).
- $\Delta(y, z) \mapsto \Delta(y, z) + \phi(y) - \phi(z)$
Reweight[ $\omega$ ] (Repondération) : Multiplie la marge par un poids (par exemple, température, poids d'importance).
- $\Delta(y, z) \mapsto \omega \cdot \Delta(y, z)$
Link[ $g$ ] (Lien) : Applique une fonction monotone à la marge (par exemple, perte logistique, de type hinge ou quadratique).
- $\Delta(y, z) \mapsto g(\Delta(y, z))$

Conditions de Réductibilité

Une méthode est jugée réductible (et donc capable d'être mappée vers une forme canonique unique) si elle satisfait trois conditions :

(R1) Transitivité : La marge doit être exprimable comme une différence de scores $\phi(y) - \phi(z)$ . Les violations impliquent des préférences intransitives où la marge entre $a$ et $c$ dépend de plus que leurs simples scores individuels.
(R2) Indépendance par paire : Les poids doivent dépendre uniquement du prompt $x$ , et non de la paire spécifique $(y, z)$ ou de la composition du batch.
(R3) Monotonie : La fonction de transformation $g$ doit être strictement monotone pour préserver l'ordre de préférence.

Canonicalisation et Témoins

Forme Canonique : Si une méthode satisfait (R1)–(R3), Opal la réduit à une forme normale unique : $NF(L) = \text{Add}[\Phi] \circ \text{Reweight}[s(x)] \circ \text{Link}[g]$ , où $\Phi$ est centré ( $\sum \Phi(y) = 0$ ). Deux méthodes sont équivalentes si et seulement si leurs formes canoniques (et les empreintes numériques résultantes) correspondent.
Témoins (Witnesses) : Si une méthode échoue à l'une des conditions, Opal génère un témoin concret certifiant la non-équivalence. Exemples :
- Témoin de Cycle : Un triplet $(a, b, c)$ avec une somme de cycle non nulle, violant la transitivité.
- Poids dépendant de la paire : Deux paires au même prompt recevant des poids différents.
- Poids dépendant du groupe : La même paire recevant des poids effectifs différents selon la composition du batch.

Le cadre exclut explicitement les méthodes au niveau du token (ex: RTO) et les méthodes au niveau de la trajectoire (ex: PPO-RLHF) car elles ne fonctionnent pas sur des marges scalaires entre des paires de réponses complètes, sortant ainsi du champ de l'analyse de marge par paire.

Contributions Clés

L'algorithme Opal : Un outil systématique qui décide de l'équivalence algébrique en réduisant les objectifs à une forme canonique ou en produisant un témoin vérifiable de non-équivalence.
Analyse de 33 méthodes : Les auteurs ont analysé 33 méthodes d'optimisation de préférences dans des contextes de paires, de listes, de groupes, de tokens et de trajectoires.
- Résultat : 25 méthodes sont réductibles, se regroupant en 14 formes canoniques distinctes.
- Équivalence : Dix méthodes (incluant DPO, SPPO, Nash-MD, INPO, DNO, APO, RSO, XPO, cDPO, rDPO) se réduisent à la même forme canonique que DPO.
- Irréductibilité : Huit méthodes sont prouvées irréductibles, notamment GRPO, RLOO, KTO, WPO, BCO, RTO, PPO-RLHF et ReMax.
Preuve d'irréductibilité de GRPO : L'article fournit un témoin explicite prouvant que GRPO est fondamentalement différent de DPO. Il démontre que la normalisation par groupe de GRPO fait que la contribution du gradient d'une paire de réponses dépend de la composition spécifique du batch (violant R2), modifiant l'échelle relative des marges en fonction des autres réponses présentes.
Axes de Conception Orthogonaux : Les auteurs identifient quatre mécanismes structurels qui génèrent des objectifs réellement différents, lesquels sont orthogonaux à l'équivalence canonique :
- Normalisation par groupe (ex: GRPO).
- Pondération dépendante de la paire (ex: KTO).
- Structure au niveau du token (ex: RTO).
- Optimisation au niveau de la trajectoire (ex: PPO-RLHF).

Résultats

Équivalence Algébrique : De nombreuses méthodes largement citées sont algébriquement identiques. Par exemple, SPPO et Nash-MD, dérivés d'objectifs minimax de la théorie des jeux, se réduisent exactement à la même forme canonique que DPO. Passer de l'une à l'autre ne change pas la cible d'optimisation, seulement sa dérivation.
Distinctions Structurelles : Les méthodes qui violent les conditions de réductibilité (spécifiquement R2) présentent des paysages d'optimisation fondamentalement différents. La normalisation dépendante du batch de GRPO signifie qu'une même paire de réponses peut recevoir des gradients différents selon le batch, une propriété impossible pour toute méthode réductible.
Vérification par Hash : Les auteurs fournissent un hash SHA-256 pour la forme canonique de chaque méthode réductible, permettant de vérifier l'équivalence de manière programmatique.

Signification et Revendications

L'article affirme qu'Opal sépare les changements de représentation des changements de substance.

Clarification de la Nouveauté : Le cadre suggère qu'une grande partie de la diversité apparente dans la littérature de l'optimisation de préférences provient de reparamétrisations d'un petit ensemble d'objectifs sous-jacents. Une véritable nouveauté algorithmique nécessite de violer au moins une des hypothèses de réductibilité (R1–R3).
Orientation Pratique : Pour les praticiens, le choix entre des méthodes équivalentes (ex: DPO vs SPPO) doit être guidé par les détails d'implémentation, la stabilité numérique ou le biais implicite, plutôt que par l'attente d'un comportement algorithmique fondamentalement différent.
Équivalence Décisionnelle : Les méthodes équivalentes induisent le même ordre de préférence de Bayes optimal et s'accordent sur le signe de chaque marge, bien qu'elles puissent différer en termes de magnitudes de gradient et de taux de convergence.

Les auteurs positionnent ce travail comme le premier cadre algorithmique capable de répondre à la question « ces deux méthodes sont-elles les mêmes ? » par une preuve formelle dans les deux sens, passant d'une catégorisation heuristique à une vérification algébrique rigoureuse.