Résumé Technique : Retour à Blackwell : Boucler la boucle sur l'intransitivité dans l'affinement des préférences multi-objectifs

1. Énoncé du problème

L'article aborde un défi fondamental dans l'affinement des préférences (PFT) pour les grands modèles de langage (LLM) : les préférences intransitives (cycliques). L'intransitivité se produit lorsqu'un juge LLM classe l'option $A \succ B$ et $B \succ C$, mais échoue à classer $A \succ C$. Ce phénomène provient de deux sources principales :

1. Des classements incohérents le long d'un seul objectif.
2. La scalarisation de plusieurs objectifs en une seule métrique, qui peut introduire des incohérences même si les objectifs individuels sont cohérents.

Les pipelines PFT standards reposent sur l'apprentissage d'un ordre total via un modèle de récompense. Cependant, sous des préférences intransitives, aucune politique optimale bien définie (vainqueur de Condorcet) n'existe, ce qui rompt les hypothèses fondamentales du PFT standard. Alors que des travaux antérieurs ont tenté d'atténuer ce problème soit (a) en divisant les jugements agrégés en plusieurs objectifs, soit (b) en formulant le PFT comme un jeu à somme nulle pour trouver une politique robuste face aux comparateurs du pire cas, la combinaison de ces approches est techniquement difficile. Plus précisément, la division des objectifs dans un cadre multi-objectif invalide le théorème Minimax, entraînant l'échec des mécanismes standards de résolution de jeux (comme l'auto-jeu).

2. Méthodologie

2.1 Concept de solution : Vainqueur Blackwell à entropie maximale (MaxEntBW)

Les auteurs proposent un nouveau concept de solution théorique des jeux appelé le Vainqueur Blackwell à entropie maximale (MaxEntBW). Contrairement au vainqueur Minimax (qui est mal défini dans les cadres multi-objectifs sans le théorème Minimax), le MaxEntBW est bien défini même sous des préférences multiples et globalement incohérentes.

Formellement, un MaxEntBW est une politique $\pi^*$ qui maximise la valeur du jeu $V(\pi)$, définie comme suit :
$$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$$
Où :

• $P(\pi \succ \pi' \mid x)$ est le vecteur des probabilités de victoire par paires à travers $m(x)$ objectifs.
• $w(x)$ représente la pondération des objectifs par l'adversaire.
• $\pi'$ est la politique de comparaison de l'adversaire.
• $\beta D_{KL}(\pi' \parallel \pi_{ref})$ est un terme de régularisation KL qui contraint l'adversaire à rester proche d'une politique de référence $\pi_{ref}$.

Cette formulation garantit que la politique est robuste face à la pondération des objectifs et à la politique de comparaison du pire cas au sein de son voisinage local, sans exiger que le théorème Minimax soit vérifié.

2.2 Algorithme : PROSPER

Pour calculer les MaxEntBW à grande échelle, les auteurs dérivent PROSPER (PReference Optimization with a Single Player over Entire Rubrics). L'algorithme réduit le jeu complexe à trois joueurs (Apprenant, Poids d'objectifs adverses, Politique adverse) en un problème d'optimisation à un seul joueur traitable grâce à trois étapes clés :

1. Politique adverse sous forme fermée : En fixant l'apprenant $\pi$ et les poids $w$, la minimisation interne sur la politique adverse $\pi'$ admet une solution sous forme fermée via la régularisation par entropie (inspirée de Ziebart et al., 2008). Cela élimine le besoin de boucles d'entraînement adverses.
2. Minimisation par prompt : L'optimisation sur les poids d'objectifs $w$ s'avère concave. Par conséquent, le $w$ optimal pour n'importe quel prompt est un sommet du simplexe (c'est-à-dire la sélection d'un seul objectif du pire cas). Cela permet à l'algorithme de simplement minimiser sur les objectifs prompt par prompt, supprimant le besoin d'optimiser $w$.
3. Optimisation basée sur la régression : L'objectif restant est concave en $\pi$. Au lieu d'effectuer une descente de miroir en ligne directement (ce qui est irréalisable pour les grands modèles), PROSPER utilise une reformulation basée sur la régression. Il estime les gradients par échantillonnage et met à jour les paramètres de la politique $\theta$ en résolvant un problème de régression à perte quadratique :
   $$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$$
   où $g(z)$ est le gradient estimé dérivé de l'objectif du pire cas et de la politique de référence.

3. Contributions clés

1. Définition du MaxEntBW : L'article introduit le Vainqueur Blackwell à entropie maximale, un concept de solution qui généralise les Vainqueurs Blackwell aux cadres multi-objectifs et reste bien défini sous des préférences intransitives sans dépendre du théorème Minimax.
2. Algorithme PROSPER : Les auteurs dérivent un algorithme basé sur la régression, prouvé comme efficace, pour calculer les MaxEntBW. La méthode fusionne des insights de l'apprentissage par renforcement inverse et des techniques récentes d'optimisation des préférences pour éliminer les optimisations de boucle interne, réduisant le problème à une simple régression.
3. Validation empirique : L'article démontre que les feedbacks de juges LLM multi-objectifs sont substantiellement intransitifs en pratique. Il montre que PROSPER surpasse les lignes de base dans l'affinement des LLM (échelles 3B et 7B) à partir de feedbacks multi-objectifs, spécifiquement dans le suivi d'instructions et les benchmarks de chat général.

4. Résultats expérimentaux

Les auteurs ont évalué PROSPER en utilisant le jeu de données WILDCHECKLISTS, où des juges LLM évaluent des réponses par rapport à des grilles d'évaluation spécifiques aux prompts.

• Analyse de l'intransitivité : Les expériences ont confirmé que la division des grilles en éléments individuels (multi-objectifs) réduit mais n'élimine pas l'intransitivité. Une fraction significative de prompts présente toujours des cycles et manque d'un vainqueur de Condorcet.
• Performance sur les benchmarks :
  • Suivi d'instructions et Chat : Sur AlpacaEval 2.0 et Arena-Hard, PROSPER (7B) a obtenu les scores les plus élevés parmi toutes les lignes de base, y compris la ligne de base RLCF (Reinforcement Learning from Checklist Feedback) et les variantes d'ablation (PROSPER-JC et PROSPER-VB).
  • Capacités générales : Sur les benchmarks hors domaine (IFEval, MMLU, ARC, HellaSwag, TruthfulQA), PROSPER a maintenu une performance comparable au modèle de base et à RLCF, indiquant que la nature adverse de l'entraînement n'a pas dégradé les capacités de raisonnement général ou de connaissances.
• Études d'ablation :
  • PROSPER-JC (Objectif unique / Score agrégé) : A obtenu de moins bons résultats que le PROSPER complet, soulignant la nécessité de gérer explicitement plusieurs objectifs.
  • PROSPER-VB (Compétiteur fixe) : A obtenu de moins bons résultats que le PROSPER complet, démontrant la valeur de la politique de compétiteur sélectionnée de manière adverse.

5. Importance et revendications

L'article revendique que PROSPER fournit un cadre robuste pour aligner les LLM avec des préférences humaines (ou d'IA) complexes et multi-critères qui sont intrinsèquement incohérentes. En s'éloignant de la scalarisation et des hypothèses théoriques des jeux standards qui échouent dans les cadres multi-objectifs, les auteurs offrent une solution « de premiers principes » qui :

• Gère l'intransitivité : Aborde directement la nature cyclique des préférences sans imposer un ordre total qui pourrait ne pas exister.
• Évolutivité : Atteint l'efficacité en réduisant le problème à une régression à un seul joueur, évitant ainsi le coût computationnel de l'entraînement adverse.
• Utilité pratique : Démontre que l'exploitation de feedbacks détaillés de grilles multi-objectifs (plutôt que des scores agrégés) conduit à des politiques qualitativement plus fortes dans des scénarios réels de chat et de suivi d'instructions.

Les auteurs publient des points de contrôle de modèles entraînés aux échelles de 3B et 7B paramètres pour faciliter la recherche future dans ce domaine.