💬 NLP

Offline Preference Optimization via Maximum Marginal Likelihood Estimation

Cet article introduit MMPO, une méthode d'optimisation de préférences hors ligne stable et simplifiée qui aligne les grands modèles de langage avec les préférences humaines en maximisant la log-vraisemblance marginale, éliminant ainsi le besoin de modèles de récompense explicites tout en surpassant les méthodes de référence en termes de qualité d'alignement et de préservation des capacités générales.

Auteurs originaux : Saeed Najafi, Alona Fyshe

Publié 2026-01-27

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Saeed Najafi, Alona Fyshe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Enseigner la « politesse » à un robot

Imaginez que vous avez un robot très intelligent (un grand modèle de langage ou LLM) qui a lu presque tout ce qui existe sur Internet. Il peut écrire des histoires, résoudre des problèmes mathématiques et répondre à des questions. Cependant, il est un peu comme un adolescent brillant mais chaotique : il sait comment parler, mais il ne sait pas toujours ce que les humains veulent réellement entendre. Parfois, il est impoli, parfois il est confus, et parfois il invente n'importe quoi.

Pour corriger cela, nous devons « aligner » le robot sur les préférences humaines. La méthode standard actuelle pour faire cela s'appelle le RLHF (Apprentissage par renforcement à partir de la rétroaction humaine). Voyez cela comme l'embauche d'un entraîneur sévère qui surveille le robot, lui donne des points pour les bonnes réponses et lui en retire pour les mauvaises. Mais ce processus est désordonné, coûteux, et le robot se laisse souvent troubler par les règles incohérentes de l'entraîneur.

Récemment, une méthode plus simple appelée DPO a été inventée. C'est comme si l'on sautait l'étape de l'entraîneur pour simplement montrer au robot deux réponses (une bonne, une mauvaise) et lui dire : « Choisis la bonne ». Cela fonctionne mieux, mais cela présente encore des particularités et peut être instable si l'on modifie trop les réglages.

Ce papier introduit une nouvelle méthode appelée MMPO. Les auteurs disent : « Essayons un angle complètement différent. » Au lieu d'essayer d'apprendre au robot à choisir le vainqueur, ils traitent le problème comme une estimation de la vraisemblance marginale.

L'idée centrale : Le jeu de la « meilleure supposition »

Pour comprendre le MMPO, imaginez que vous essayez de deviner la fin d'une histoire de mystère. Vous connaissez le début (l'amorce), et vous avez deux fins possibles :

La bonne fin : Celle que les humains préfèrent.
La mauvaise fin : Celle que les humains n'aiment pas.

L'ancienne méthode (DPO/RLHF) :
Les anciennes méthodes sont comme un jeu de « chaud et froid ». Elles calculent un score pour la Bonne Fin, un score pour la Mauvaise Fin, puis tentent de pousser la Bonne Fin vers le haut et la Mauvaise Fin vers le bas. C'est un peu comme essayer de faire l'équilibre sur une balançoire à bascule ; si vous poussez trop fort d'un côté, tout bascule (instabilité).

La nouvelle méthode (MMPO) :
Les auteurs proposent une approche différente basée sur la Vraisemblance Maximale Marginale (MML).

Imaginez que vous êtes un détective essayant de déterminer la probabilité qu'une « Bonne Fin » spécifique soit la véritable fin de l'histoire, étant donné que vous n'avez que quelques indices (les deux fins que vous examinez).

Au lieu de comparer les deux fins directement l'une par rapport à l'autre, le MMPO demande : « Si nous regardons toutes les façons possibles dont cette histoire pourrait se terminer, quelle est la probabilité que la "Bonne Fin" soit celle qui s'est réellement produite ? »

Pour ce faire, les mathématiques examinent à la fois la Bonne Fin et la Mauvaise Fin comme des « échantillons » (indices) pour estimer cette probabilité.

Il n'a pas besoin d'un « Entraîneur » séparé (Modèle de Récompense) pour lui dire ce qui est bien.
Il n'a pas besoin de forcer le robot à être « créatif » (Maximisation de l'Entropie) juste pour le plaisir.

Le tour de magie : Comment cela fonctionne sans entraîneur

Le papier affirme qu'en utilisant ce calcul de la « meilleure supposition », le robot apprend implicitement à préférer la bonne réponse sans qu'on lui dise explicitement de le faire.

Voici l'analogie :
Imaginez que vous apprenez à un chien à s'asseoir.

RLHF : Vous avez un dresseur avec un clicker et des friandises. Vous cliquez quand le chien s'assoit, et vous ne faites rien quand il ne le fait pas.
DPO : Vous montrez au chien une photo de lui assis et une photo de lui debout, et vous dites : « J'aime plus la photo où il est assis. »
MMPO : Vous regardez simplement la photo de l'action « assis » et vous calculez la probabilité que ce soit le comportement correct sur la base des preuves dont vous disposez.

Le papier prouve mathématiquement que lorsque vous effectuez ce calcul, les mathématiques poussent naturellement le robot à choisir la « Bonne Fin » plus souvent. C'est comme si les mathématiques elles-mêmes agissaient comme le système de récompense. Le robot apprend à augmenter la probabilité de la bonne réponse et à baisser légèrement la mauvaise, le tout en un seul mouvement fluide.

Pourquoi est-ce meilleur ? (Les résultats)

Les auteurs ont testé cela sur des robots de différentes tailles (allant de petits « jouets » à de grands robots « cérébraux »). Voici ce qu'ils ont trouvé :

C'est plus stable :
Pensez à l'accordage d'une radio. Avec les anciennes méthodes (DPO), si vous tournez le cadran (un réglage appelé $\beta$ ) même un tout petit peu, la musique peut se transformer en statique ou se couper complètement. Avec le MMPO, la radio reste claire, peu importe comment vous tournez le cadran. Il est beaucoup plus difficile de « casser » l'entraînement.
Cela préserve l'intelligence du robot :
Parfois, quand on apprend à un robot à être poli, il oublie comment faire des maths ou raconter des blagues. Il devient un « béni-oui-oui » qui est sûr mais ennuyeux.
Le papier montre que le MMPO est meilleur pour préserver les capacités intellectuelles originales du robot. Il apprend à être poli sans oublier comment être un assistant polyvalent.
Il gagne plus souvent :
Lorsqu'ils ont opposé leur nouvelle méthode aux anciennes dans une compétition (AlpacaEval), le MMPO a systématiquement gagné ou fait match nul pour la première place, en particulier sur les modèles plus petits et plus efficaces.

Les ingrédients de la « recette secrète »

Le papier a également mené des expériences pour voir quelles parties de leur recette étaient essentielles. Ils ont découvert deux ingrédients clés qui font fonctionner la magie :

La Normalisation par Lot (In-Batch Normalization) : C'est comme s'assurer que tout le monde dans une classe est noté sur la même échelle. Si un élève obtient un A+ et un autre un F, l'enseignant ajuste les notes pour que la comparaison soit équitable. Cela empêche un exemple étrange de fausser toute la leçon.
Pas d'« Entropie Supplémentaire » : Ils ont découvert que forcer le robot à être « diversifié » (maximisation de l'entropie) en réalité le rendait moins performant. Ils ont laissé les mathématiques faire le travail naturellement.

Résumé

En bref, ce papier dit : « Arrêtez d'essayer de construire un système de récompense complexe pour enseigner aux robots ce que les humains aiment. Utilisez plutôt un tour statistique simple qui traite les préférences humaines comme des indices. Ce tour apprend naturellement au robot à être utile, le maintient stable et garantit qu'il n'oublie pas comment être intelligent. »

Ils appellent cette nouvelle méthode MMPO (Optimisation de la Préférence par la Vraisemblance Maximale Marginale), et ils estiment qu'il s'agit d'une façon plus simple et plus fiable d'aligner l'IA sur les valeurs humaines.

Résumé technique : Optimisation des préférences hors ligne via l'estimation du maximum de vraisemblance marginale

Énoncé du problème

L'alignement des grands modèles de langage (LLM) avec les préférences humaines est une étape critique pour leur déploiement en conditions réelles, traditionnellement réalisée par l'apprentissage par renforcement à partir de rétroaction humaine (RLHF). Cependant, le pipeline standard du RLHF est complexe et instable, nécessitant l'entraînement d'un modèle de récompense distinct et l'utilisation d'algorithmes de gradient de politique sensibles comme le Proximal Policy Optimization (PPO). Bien que le Direct Preference Optimization (DPO) ait simplifié ce processus en reformulant l'alignement comme un problème de classification, sa fonction de perte est encore dérivée de l'objectif de RLHF, ce qui encourage implicitement l'optimisation de l'entropie du modèle de langage. Les auteurs étudient si un alignement efficace peut être obtenu sous des hypothèses encore plus souples, spécifiquement en supprimant le besoin explicite d'une fonction de récompense et du terme de maximisation de l'entropie inhérent aux objectifs standards de RLHF.

Méthodologie : MMPO

Le papier propose le Maximum Marginal Likelihood Preference Optimization (MMPO), un nouvel algorithme d'alignement de préférences hors ligne.

Fondement théorique

MMPO reformule le problème d'alignement à travers le prisme de l'estimation du maximum de vraisemblance marginale (MML). Au lieu d'optimiser directement pour les préférences, la méthode maximise la log-vraisemblance marginale d'une sortie textuelle $y$ étant donné un intrant $x$ .

Formulation : La cible est de maximiser $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$ , où $z$ représente les complétions textuelles possibles et $P^*$ est la distribution sous-jacente réelle.
Approximation : Puisque la sommation sur tous les $z$ possibles est intraitable, la méthode approxime la marginalisation en utilisant la paire de préférences fournie $(z_w, z_l)$ (réponses choisies et rejetées) comme échantillons.
Stabilité : Pour assurer la stabilité numérique pendant l'entraînement, l'objectif est reformulé à l'aide de l'opération log-sum-exp.

Connexion théorique à l'optimisation des préférences

Les auteurs démontrent (Théorème 3.2) qu'optimiser l'objectif MML approximatif sur un jeu de données de préférences effectue implicitement une optimisation de préférence.

Gradient implicite : Il est démontré que la mise à jour du gradient résultante est équivalente à une somme pondérée des gradients pour les réponses choisies ( $z_w$ ) et rejetées ( $z_l$ ).
Mécanisme de pondération : La mise à jour augmente naturellement le poids de la réponse choisie par rapport à la réponse rejetée, modulé par une fonction sigmoïde de la différence de score ( $\sigma(s_w - s_l)$ ).
Distinction clé : Ce processus permet d'atteindre l'alignement des préférences sans formuler explicitement une fonction de récompense ou un terme de maximisation de l'entropie.

Implémentation de l'algorithme

La fonction de perte MMPO incorpore plusieurs choix de conception spécifiques :

Définition du score : Les scores $s_w$ et $s_l$ sont définis sur la base des log-probabilités et d'un terme de récompense (approximé via les log-probabilités du modèle de référence et un hyperparamètre $\beta$ ).
Normalisation par lot (In-Batch Normalization) : Pour stabiliser l'entraînement et empêcher les valeurs aberrantes de dominer les gradients, les récompenses sont normalisées au sein d'un mini-lot. Cela garantit que les scores relatifs sont sur une échelle cohérente.
Objectif auxiliaire : Un terme auxiliaire, $\log \sigma(s_w - s_l)$ , est ajouté pour renforcer explicitement la contrainte de préférence ( $s_w \ge s_l$ ), fournissant un signal de supervision direct similaire au DPO mais opérant sur des scores normalisés plutôt que sur des rapports de log-probabilité par rapport à un modèle SFT.

Contributions clés

Introduction de l'algorithme : La proposition de MMPO, un nouvel algorithme d'optimisation de préférences hors ligne qui traite les paires de préférences comme des échantillons pour l'estimation MML.
Analyse théorique : Une preuve montrant que le MMPO sur les paires de préférences est équivalent à une mise à jour de gradient pondérée qui favorise intrinsèquement les réponses préférées sans modèle de récompense explicite ni termes d'entropie.
Stabilité empirique : Démonstration que MMPO est significativement plus stable vis-à-vis de l'hyperparamètre clé $\beta$ par rapport à DPO et SimPO.
Préservation des capacités : Preuve que MMPO préserve mieux les capacités de langage générales (raisonnement et compréhension) des modèles de base ajustés par instruction par rapport aux bases existantes.
Performance sur les benchmarks : Atteinte de taux de victoire compétitifs ou supérieurs sur le benchmark AlpacaEval-2 pour des modèles allant de 135M à 8B de paramètres.

Résultats expérimentaux

Les auteurs ont évalué MMPO sur quatre tailles de modèles (SmolLM2-135M, SmolLM2-360M, Llama3.2-1B, et Llama3-8B) en utilisant les jeux de données Orca DPO Pairs et UltraFeedback-Binarized.

Stabilité : Contrairement à DPO et SimPO, qui ont montré une sensibilité significative à l'hyperparamètre $\beta$ , MMPO a maintenu des performances constantes à travers une gamme de valeurs de $\beta$ (0.01, 0.05, 0.5).
Alignement des préférences : MMPO a obtenu des taux de victoire élevés sur AlpacaEval-2. Par exemple, sur SmolLM2-135M, MMPO a amélioré les taux de victoire de manière monotone jusqu'à 67,3 %, tandis que DPO produisait des taux de victoire très faibles et SimPO se dégradait considérablement au fil des époques d'entraînement.
Rétention des capacités générales : Évalué sur le benchmark LM Harness (10 tâches diverses de compréhension du langage), MMPO a causé une dégradation minimale des capacités de langage générales. En revanche, DPO et SimPO ont souvent montré des chutes d'exactitude plus importantes, particulièrement lorsqu'ils étaient ajustés pour un haut niveau d'alignement de préférence.
Optimalité de Pareto : MMPO a démontré un profil de compromis plus favorable, délivrant des taux de victoire de préférence plus élevés avec un sacrifice minimal des capacités de raisonnement général par rapport aux bases de référence.

Études d'ablation

Les expériences sur le modèle SmolLM2-360M ont révélé :

Normalisation de la longueur : Améliore l'exactitude générale mais n'augmente pas significativement les taux de victoire de préférence.
Maximisation de l'entropie : L'ajout explicite d'un terme d'entropie a dégradé les performances sur les deux benchmarks, suggérant que l'optimisation implicite dans MMPO est suffisante et que l'encouragement explicite de la diversité est préjudiciable dans ce contexte.
Perte auxiliaire et normalisation : La suppression de la perte auxiliaire de type DPO ou de la normalisation par lot a légèrement amélioré les taux de victoire mais a dégradé l'exactitude générale de pointe, indiquant un compromis où le terme central log-sum-exp conduit la performance tandis que les composants auxiliaires aident à préserver les capacités générales.

Signification et affirmations

Le papier affirme que MMPO offre une alternative plus simple et plus stable aux paradigmes d'alignement actuels. En recadrant l'alignement comme un problème d'estimation MML, il élimine le besoin de modèles de récompense explicites et de régularisation d'entropie tout en réalisant implicitement l'optimisation de préférence souhaitée. Les auteurs soulignent que la stabilité de MMPO est une propriété inhérente à sa formulation (provenant de la normalisation par lot et de l'opération log-sum-exp) plutôt que le résultat de mécanismes de calibration complexes.

Ce travail suggère qu'un alignement efficace ne nécessite pas strictement la machinerie complexe du RLHF ou les contraintes spécifiques de DPO. Au lieu de cela, maximiser la vraisemblance marginale des sorties préférées en utilisant les paires de préférences comme échantillons offre une voie robuste vers l'alignement qui préserve les capacités fondamentales de langage du modèle. Les auteurs notent que bien que l'évaluation actuelle soit limitée aux contextes hors ligne et aux modèles allant jusqu'à 8B de paramètres (en raison de contraintes de ressources), la méthode représente une direction prometteuse pour simplifier le pipeline d'alignement des LLM.