Transitivity Meets Cyclicity: Explicit Preference Decomposition for Dynamic Large Language Model Alignment

Résumé Technique : La Transitivité Rencontre la Cyclicité : Décomposition Explicite des Préférences pour l'Alignement Dynamique des Grands Modèles de Langage

Énoncé du Problème
Le Reinforcement Learning from Human Feedback (RLHF) standard repose sur le modèle de Bradley-Terry (BT), qui suppose que les préférences humaines sont transitives et peuvent être représentées par des récompenses scalaires ($A \succ B \land B \succ C \implies A \succ C$). Cependant, les préférences humaines réelles exhibent souvent des motifs intransitifs et cycliques (par exemple, des dynamiques de type Pierre-Feuille-Ciseaux) que les modèles scalaires échouent fondamentalement à capturer. Bien que des approches récentes comme le General Preference Model (GPM) abordent la cyclicité en utilisant des formes bilinéaires antisymétriques, les auteurs identifient une limitation théorique critique : la formulation implicite du GPM entrelace les dynamiques hiérarchiques (transitives) et cycliques. Cet entrelacement empêche le GPM de garantir la représentation de « solutions dominantes » (candidats qui battent strictement tous les autres) dans des contextes cycliques arbitraires, car la capacité géométrique requise pour les hiérarchies globales peut être « étouffée » par des cycles locaux complexes.

Méthodologie
L'article propose un cadre à deux volets pour répondre à ces défis structurels et d'optimisation :

1. Modèle Hybride Récompense-Cyclique (HRC) :

   • Fondement Théorique : S'appuyant sur la décomposition issue de la théorie des jeux (Balduzzi et al., 2019), les auteurs formalisent la modélisation des préférences comme un Jeu Fonctionnel Symétrique à Somme Nulle. Ils prouvent que toute fonction de préférence peut être décomposée de manière unique en un composant transitif orthogonal ($\phi_T$) et un composant cyclique ($\phi_C$).
   • Architecture : Le HRC instancie explicitement cette décomposition. Il combine une tête de récompense scalaire (capturant le composant transitif via une structure de type BT) avec une tête cyclique vectorielle (capturant les dynamiques intransitives via un opérateur antisymétrique de type GPM).
   • Mécanisme : Le score de préférence final est la somme de la différence scalaire transitive et de l'interaction vectorielle cyclique : $s_{HRC} = (r(y_i) - r(y_j)) + (v_i^\top W v_j)$. Le modèle impose des contraintes de norme unitaire sur les embeddings et utilise un mécanisme de commutation (gating) sensible au contexte pour moduler l'intensité cyclique.
   • Avantage : Contrairement au GPM, qui peine à représenter un candidat dominant à côté d'un cycle sans contraintes spécifiques de haute dimension, le HRC garantit mathématiquement la préservation des hiérarchies dominantes en découplant les deux dynamiques. Il maintient une complexité d'inférence linéaire $O((2d+1)K)$.

2. Optimisation Dynamique des Préférences par Auto-Jeu (DSPPO) :

   • Concept : Les algorithmes d'auto-jeu standards (par exemple, SPPO) optimisent contre un oracle de préférence statique. Les auteurs soutiennent que cela limite la capacité du modèle à naviguer dans le paysage multidimensionnel révélé par le HRC.
   • Mécanisme : Le DSPPO traite l'alignement comme un jeu variant dans le temps. Il planifie le signal de préférence au cours des itérations d'entraînement, effectuant une transition progressive d'une colonne vertébrale transitive robuste vers des nuances cycliques affinées.
   • Planification : Le score de préférence à l'itération $t$ est défini par $s_t = (1 + \frac{\lambda}{\sqrt{t}})s_T + (1 - \frac{\lambda}{\sqrt{t}})s_C$. Cette approche d'apprentissage par curriculum stabilise l'entraînement en établissant une base de qualité globale avant d'introduire des dynamiques locales complexes, garantissant théoriquement la convergence vers l'Équilibre de Nash avec un taux de $O(1/\sqrt{T})$.

Contributions Clés

• Unification Théorique : L'article fournit une preuve théorique que le HRC unifie le modèle BT et le GPM en décomposant explicitement les préférences en composantes transitives et cycliques orthogonales, résolvant ainsi l'incapacité structurelle du GPM à garantir des solutions dominantes dans des contextes mixtes.
• Innovation Algorithmique : L'introduction du DSPPO, un cadre d'optimisation dynamique qui exploite les signaux HRC décomposés pour guider l'évolution de la politique, offrant une trajectoire de convergence plus robuste que les bases de référence statiques.
• Validation Empirique : Des expériences extensives démontrent que le HRC surpasse les modèles BT et GPM en précision de modélisation des préférences, en particulier dans les domaines nécessitant la gestion des « Égalités » (Ties) et du raisonnement complexe. Le cadre HRC+DSPPO améliore considérablement la qualité de génération en aval.

Résultats

• Modélisation des Préférences (RewardBench 2) : Le HRC a constamment surpassé les bases de référence BT et GPM. Sur Gemma-2B-it, le HRC a atteint une précision moyenne de 57,63 %, dépassant la base de référence la plus forte (GPM) de 1,23 %. Notamment, dans le domaine des « Égalités », le HRC a atteint 74,51 % contre 73,53 % pour le BT et le GPM, validant sa capacité à gérer des préférences non strictes.
• Alignement en Aval :
  • AlpacaEval 2.0 : En utilisant Gemma-2B-it comme base, le HRC+DSPPO a atteint un taux de victoire contrôlé par la longueur de pointe de 44,75 %, surpassant significativement les bases de référence SPPO entraînées avec BT ou GPM.
  • Arena-Hard-v0.1 : Le HRC+DSPPO a obtenu un taux de victoire de 46,8 % sur Gemma-2B-it, soit une amélioration de 3,2 % par rapport à la meilleure base de référence, démontrant une capacité supérieure sur des invites complexes.
  • MT-Bench : Le cadre a montré des performances robustes dans les conversations multi-tours, le HRC+DSPPO obtenant un score moyen de 8,29 sur Gemma-2B-it.
• Données Synthétiques : Des expériences sur des ensembles de données synthétiques « dominant + cycle » ont confirmé que le HRC converge plus rapidement et atteint une précision supérieure au GPM dans des contextes mixtes transitifs-cycliques, tandis que le GPM de basse dimension échouait à capturer les structures cycliques.

Signification
L'article affirme que représenter fidèlement la nature complexe et hétérogène des préférences humaines — spécifiquement la dualité entre les hiérarchies transitives globales (par exemple, la sécurité, l'utilité) et les cycles intransitifs locaux (par exemple, les compromis stylistiques) — est essentiel pour un alignement IA robuste. En dissociant explicitement ces composantes, le cadre proposé surmonte les limitations structurelles des modèles scalaires existants et des modèles purement cycliques. Les auteurs postulent que cette approche permet aux systèmes d'IA de naviguer plus efficacement dans des paysages éthiques et culturels diversifiés, favorisant une plus grande confiance dans la prise de décision automatisée en respectant la nature non stricte et multidimensionnelle du jugement humain. Ce travail suggère que les stratégies d'alignement futures devraient aller au-delà des récompenses scalaires statiques pour embrasser des décompositions dynamiques et issues de la théorie des jeux des préférences.