Résumé Technique : Optimisation de Préférences Multi-Objectifs (MOPO)

1. Énoncé du Problème

Les approches actuelles pour l'alignement des Grands Modèles de Langage (LLM) avec les préférences humaines, telles que l'Apprentissage par Renforcement à partir du Feedback Humain (RLHF) et l'Optimisation de Préférence Directe (DPO), reposent principalement sur une optimisation à objectif unique. Ces méthodes consistent généralement à réduire de multiples préférences humaines (par exemple, l'utilité, l'innocuité, la véracité, la diversité) en un signal de récompense scalaire unique via des sommes pondérées ou une scalarisation heuristique.

L'article soutient que cette approche est fondamentalement limitée car :

1. Objectifs Conflitants : Les préférences humaines sont souvent multidimensionnelles et conflictuelles (par exemple, maximiser l'utilité peut dégrader l'innocuité).
2. Perte de l'Optimalité de Pareto : La scalarisation masque les compromis et ne parvient pas à récupérer le front de Pareto — l'ensemble des solutions non dominées où aucun objectif ne peut être amélioré sans en dégrader un autre.
3. Rigidité de l'Inférence : Les méthodes multi-objectifs existantes nécessitent souvent des vecteurs de préférences explicites de la part de l'utilisateur au moment de l'inférence (par exemple, "0,6 utile, 0,4 sûr"), ce que les utilisateurs articulent rarement explicitement, ou elles reposent sur un réentraînement pour chaque configuration de poids.

Le problème central abordé est l'Alignement de Préférences Multi-Objectifs : apprendre une politique unique qui équilibre simultanément plusieurs objectifs potentiellement conflictuels à partir de données de préférence par paires, sans nécessiter de scalarisation explicite ou de poids fournis par l'utilisateur lors de l'inférence.

2. Méthodologie : MOPO

Les auteurs proposent l'Optimisation de Préférence Multi-Objectif (MOPO), un cadre d'optimisation contrainte hors ligne qui apprend directement à partir de données de préférence par paires.

2.1 Formulation

MOPO cadre le problème d'alignement comme un Problème d'Optimisation Contrainte Concave (COP). Au lieu de maximiser une somme pondérée de récompenses, il maximise un objectif primaire tout en imposant des contraintes de borne inférieure sur des objectifs secondaires.

Étant donné une politique de référence $\pi_{ref}$, une fonction de préférence primaire $p(\cdot)$, et un vecteur de fonctions de préférence secondaires $q(\cdot)$, le problème est :
$$\begin{aligned} \max_{\pi} \quad & \mathbb{E}_{x, y, y'} [p(y \succ y' | x)] - \tau \text{KL}(\pi \parallel \pi_{ref}) \\ \text{s.t.} \quad & \mathbb{E}_{x, y, y'} [q(y \succ y' | x)] \geq \mathbf{b} \end{aligned}$$
où $\mathbf{b}$ représente les seuils de sécurité ajustables pour les objectifs secondaires, et $\tau$ est un paramètre de régularisation.

2.2 Composants Algorithmiques

Pour résoudre cela sans récompenses par point, MOPO utilise les mécanismes suivants :

• Ratio d'Échantillonnage Importance ($\rho$) : La politique est représentée via le ratio $\rho(y) = \pi(y) / \pi_{ref}(y)$. L'optimisation est effectuée sur $\rho$ pour dériver une solution en forme close de la politique optimale.
• Formulation Duale Lagrangienne : Le problème contraint est converti en un problème dual impliquant des multiplicateurs de Lagrange $\lambda$. La $\rho^*$ optimale est dérivée comme suit :
  $$\rho^*_\lambda(y) = \exp\left( \tau^{-1} \mathbb{E}_{y' \sim \mu} [p(y \succ y') + \lambda^T q(y \succ y')] - 1 \right)$$
  Ici, $\lambda$ agit comme une pénalité qui augmente si la politique sous-performe sur les objectifs secondaires.
• Estimation de Borne Inférieure Robuste : Pour gérer les erreurs d'estimation dans les jeux de données finis, MOPO ne contraint pas directement l'espérance empirique brute. Au lieu de cela, il contraint une borne inférieure des estimations de préférence. Ceci est réalisé en résolvant un problème d'optimisation antagoniste auxiliaire pour trouver une distribution $\pi_k$ qui minimise la préférence pour l'objectif $k$ dans un budget de divergence KL ($\epsilon$). Cela produit une estimation de borne inférieure robuste utilisée dans la boucle d'optimisation principale.
• Mises à Jour Itératives : L'algorithme alterne entre :
  1. La mise à jour des paramètres de la borne inférieure ($\chi$) pour resserrer les estimations de contraintes.
  2. La mise à jour des multiplicateurs de Lagrange ($\lambda$) pour équilibrer les objectifs.
  3. La mise à jour des paramètres de la politique ($\psi$) via l'imitation comportementale pondérée par l'importance.

2.3 Implémentation Pratique

• Politique de Référence Décalée : Pour éviter l'effondrement et assurer une progression stable vers le front de Pareto, la politique de référence $\pi_{ref}$ est mise à jour périodiquement (toutes les $t_0$ étapes) pour devenir la politique actuelle $\pi^{(t-t_0)}$, plutôt que de rester fixe.
• Calendrier de Contrainte Adaptatif : Puisque les seuils de contrainte $\mathbf{b}$ exacts sont inconnus, ils sont définis de manière adaptative en fonction de la performance de la politique précédemment optimisée, à l'aide d'un paramètre de relaxation $\beta$.
• Architecture Multi-Têtes : Pour l'inférence, MOPO emploie un squelette Transformer partagé avec plusieurs têtes de politique. Lors de l'inférence, l'utilisateur sélectionne un objectif primaire, et la tête correspondante est utilisée, permettant à un seul modèle de s'adapter à différentes priorités de préférence sans réentraînement.

3. Contributions Clés

1. Cadre MOPO : Introduction d'un algorithme d'optimisation contrainte hors ligne qui optimise simultanément plusieurs objectifs, atteignant l'optimalité de Pareto sans réduire les préférences en un scalaire unique.
2. Garanties Théoriques : Démonstration que la formulation contrainte proposée récupère des politiques situées sur le véritable front de Pareto, contrairement aux méthodes de scalarisation standard (DPO, RLHF) qui échouent à couvrir l'intégralité du front.
3. Robustesse à l'Erreur d'Estimation : Développement d'un mécanisme de contrainte de borne inférieure qui rend la politique robuste au bruit dans l'estimation des préférences, évitant les violations de contraintes lors du déploiement.
4. Validation Empirique :
   • Benchmarks Synthétiques : MOPO récupère exactement la politique optimale et le front de Pareto dans des contextes synthétiques où la vérité terrain est connue.
   • LLM du Monde Réel : Des expériences sur des modèles de 7 milliards de paramètres (ex: Zephyr-7b-beta, Llama-3.1-8B) sur des tâches comme "Assistant Utile" et "Résumé Reddit" montrent que MOPO atteint des récompenses plus élevées et domine le front de Pareto des bases de référence (incluant les variantes de RiC, PARM, MODPO et DPO).
   • Stabilité : Les études d'ablation confirment la stabilité de l'algorithme à travers divers hyperparamètres (relaxation de contrainte $\beta$, décalage $t_0$, et régularisation $\tau$).

4. Résultats

• Récupération du Pareto : Dans les expériences synthétiques, MOPO approxime avec succès le front de Pareto, alors que DPO entraîné sur des objectifs uniques ou des récompenses scalarisées manque des portions significatives du front.
• Performance sur les LLM : Sur les tâches "Assistant Utile" et "Résumé Reddit", MOPO (spécifiquement la variante Lagrangienne, MOPO-Lag) surpasse ou égale systématiquement les bases de référence de pointe (state-of-the-art) sur plusieurs objectifs (utilité, innocuité, humour, fidélité).
• Scalabilité : La méthode passe de petits modèles (phi-1.5) à des modèles plus larges de 7B/8B.
• Satisfaction des Contraintes : Dans les tâches avec contrainte de verbosité (contrôle de la longueur de réponse), MOPO parvient à maintenir les longueitudes de réponse dans les limites spécifiées tout en améliorant l'utilité.

5. Signification et Revendications

L'article affirme que MOPO comble une lacune critique dans les paradigmes d'alignement actuels : l'incapacité à gérer les préférences humaines multidimensionnelles sans scalarisation arbitraire ou intervention de l'utilisateur lors de l'inférence.

• Changement de Paradigme : Il dépasse l'hypothèse du "signal de récompense unique" des méthodes RLHF/DPO standard, offrant une manière principled de naviguer dans les compromis entre des buts conflictuels (ex: sécurité vs utilité).
• Utilité Pratique : En récupérant des politiques Pareto-optimales hors ligne, MOPO permet le déploiement de modèles qui sont robustes et adaptables à divers besoins des utilisateurs sans nécessiter de vecteurs de préférence explicites ou de réentraînement pour chaque nouvelle configuration de poids.
• Directions Futures : Les auteurs notent modestement que bien que les résultats empiriques soient solides, une analyse théorique rigoureuse de la convergence de MOPO et de ses garanties d'optimalité reste une direction future importante.

Le travail suggère que pour les modèles génératifs complexes, traiter l'alignement comme un problème d'optimisation multi-objectif contraint est supérieur à le traiter comme une optimisation à objectif unique avec des récompenses pondérées.