Résumé Technique : Au-delà des Paires : Votre Modèle de Langage Optimise Secrètement un Graphe de Préférences

1. Énoncé du Problème

Les méthodes d'alignement actuelles pour les grands modèles de langage (LLM), en particulier l'Optimisation Directe des Préférences (DPO), reposent principalement sur des comparaisons de préférences par paires. Bien que la DPO offre une alternative stable à l'apprentissage par renforcement à partir de retours humains (RLHF) en éliminant la modélisation explicite de la récompense, elle fait face à un goulot d'étranglement fondamental lorsqu'elle est appliquée à des régimes de collecte de données pratiques.

Dans de nombreux scénarios réels (par exemple, le raisonnement, la synthèse de programmes), les données d'entraînement se composent de plusieurs déroulements par invite, classés par jugement humain, vérification basée sur l'exécution ou heuristiques. La DPO standard gère cela en décomposant ces classements multi-échantillons en comparaisons par paires indépendantes (instances $O(K^2)$). Cette approche réductionniste introduit trois limitations critiques :

1. Perte de Transitivité : Elle écarte la structure transitive globale inhérente aux listes classées (par exemple, si $A \succ B$ et $B \succ C$, la DPO standard n'impose pas explicitement $A \succ C$).
2. Supervision Redondante/Conflitante : Elle traite les paires isolées comme des contraintes séparées, introduisant potentiellement du bruit lorsque les échantillons sont à égalité ou lorsque le classement est partiel.
3. Incompatibilité avec les Ordres Partiels : De nombreux signaux d'évaluation (par exemple, la correction en mathématiques ou en code) produisent des classes d'équivalence ou des ordres partiels qui ne peuvent être fidèlement représentés sous forme de listes d'ordre total strict requises par les méthodes existantes de type "listwise" (par exemple, PRO, LiPO).

2. Méthodologie : Optimisation Directe des Préférences par Graphe (GraphDPO)

Les auteurs proposent GraphDPO, une généralisation fondée sur des principes de la DPO qui déplace la modélisation des préférences des paires isolées ou des listes strictes vers des graphes de préférences acycliques dirigés (DAG).

2.1 Représentation du Graphe de Préférences

Pour une invite donnée $x$ et un ensemble de $K$ réponses candidates $\{y_1, \dots, y_K\}$, GraphDPO construit un DAG $G_x = (V, E)$ :

• Nœuds : Représentent les réponses échantillonnées.
• Arêtes : Encodent les relations de domination. Une arête $i \to j$ existe si la réponse $y_i$ est préférée à $y_j$ ($y_i \succ_x y_j$).
• Classes d'Équivalence : Pour gérer les signaux discrets (par exemple, correct/incorrect) où plusieurs réponses partagent le même niveau de préférence, la méthode regroupe les réponses en classes d'équivalence $C_1 \succ C_2 \succ \dots \succ C_G$. Les arêtes sont uniquement autorisées entre différentes classes ; les arêtes intra-classe sont masquées. Cela empêche les gradients spuriaires d'ordonner arbitrairement des échantillons à égalité.

2.2 Objectif Structuré par Graphe

GraphDPO optimise une vraisemblance définie sur les voisinages dominés. Pour chaque réponse $y_i$, le modèle est entraîné à attribuer un score plus élevé que toutes les réponses qu'il domine ($N^-(i)$).

• Perte Locale : En utilisant une formulation inspirée de Plackett–Luce (PL), la perte pour le nœud $i$ est :
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  où $\tilde{s}_i$ est le score de rapport logarithmique centré par rapport à une politique de référence.
• Agrégation Globale : La perte totale agrège ces termes locaux. Cette formulation impose une transitivité globale : si $y_i$ domine $y_j$, l'objectif encourage $s_i > s_j$, et les relations transitives se propagent naturellement à travers les voisinages partagés.
• Complexité : Bien qu'elle exploite le graphe complet, la méthode maintient une complexité linéaire $O(K)$ par invite sous la construction de classes d'équivalence (DAG en couches), évitant l'énumération $O(K^2)$ des comparaisons par paires ou la normalisation par permutation des méthodes listwise.

2.3 Ancrage sur la Vérité Terrain

Lorsque des solutions vérifiées (réponses oracle) sont disponibles, GraphDPO les intègre en tant que nœuds dominants dans le graphe.

• Perte d'Ancrage : Un terme séparé encourage la réponse oracle à dominer toutes les réponses générées.
• Schedule Recuit : Pour stabiliser l'entraînement précoce tout en préservant la flexibilité ultérieure, le poids du terme d'ancrage $\lambda_{gt}(t)$ est initialisé à un niveau élevé et décroît progressivement vers 1,0. Cela empêche la politique de surajuster à l'oracle trop tôt tout en assurant une propagation cohérente des préférences.

2.4 Objectif d'Entraînement

L'objectif final combine la perte de graphe, l'ancrage optionnel sur la vérité terrain et un terme de régularisation KL au niveau des tokens pour empêcher l'écart par rapport à la politique de référence :
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
La DPO par paires standard est récupérée comme cas particulier lorsque $K=2$ avec une préférence stricte.

3. Contributions Clés

1. Optimisation des Préférences Structurée par Graphe : GraphDPO reformule l'apprentissage des préférences pour construire un DAG de préférences globalement cohérent sur plusieurs déroulements, imposant la transitivité et récupérant la DPO standard comme cas particulier.
2. Classement par Groupes avec Gestion des Préférences à Égalité : Il prend en charge naturellement les classes d'équivalence, effectuant des comparaisons uniquement entre les groupes de préférences pour éviter les gradients spuriaires provenant d'échantillons quasi identiques.
3. Apprentissage du Graphe Complet en Temps Linéaire : La méthode capture les informations de classement global via une agrégation efficace log-sum-exp sur les ensembles dominés, évitant la surcharge computationnelle de l'énumération par paires ou de la normalisation par permutation des méthodes listwise.
4. Ancrage Stabilisant sur la Vérité Terrain : Il introduit un mécanisme d'ancrage recuit qui stabilise l'optimisation précoce en utilisant des solutions vérifiées sans sacrifier la diversité de la politique aux étapes ultérieures.

4. Résultats Expérimentaux

Les auteurs ont évalué GraphDPO sur des benchmarks de raisonnement mathématique (GSM8K, MATH-500) et de synthèse de programmes (APPS) en utilisant des modèles de base Qwen3.

• Performance : GraphDPO a constamment surpassé les lignes de base, y compris le Fine-Tuning Supervisé (SFT), GRPO, SPIN, et les méthodes listwise (PRO, LiPO).
  • GSM8K : A atteint 92,42 % (sans ancrage) et 92,75 % (avec ancrage), dépassant la meilleure ligne de base listwise (LiPO : 89,23 %).
  • MATH-500 : A atteint 87,40 % (sans GT) et 88,87 % (avec GT), montrant un écart plus important par rapport aux méthodes listwise comparé à GSM8K, suggérant que les bénéfices augmentent avec la complexité de la tâche.
  • APPS : A atteint 72,93 % (sans GT) et 73,76 % (avec GT), surpassant les méthodes basées sur des groupes (GRPO) et les méthodes listwise.
• Résultats des Ablations :
  • Graphe vs Listwise : L'écart de performance entre GraphDPO et PRO (qui supprime l'encodage des arêtes du graphe) confirme que la modélisation des ordres partiels et de la structure transitive est supérieure aux hypothèses d'ordre total strict.
  • Nombre de Déroulements ($K$): L'augmentation de $K$ a généralement amélioré les performances en induisant des graphes de préférences plus riches, permettant au modèle d'exploiter des relations de domination transitives non observables dans l'échantillonnage par paires.
  • Ancrage : L'ancrage sur la vérité terrain a fourni des gains constants, en particulier pour des budgets de déroulement plus faibles et des tâches plus difficiles (MATH-500), où il a stabilisé la propagation des préférences.

5. Signification et Revendications

L'article revendique que la modélisation de la structure des préférences sous forme de graphes fournit une alternative évolutive et robuste aux objectifs d'alignement par paires et listwise.

• Évolutivité : En maintenant une complexité linéaire tout en capturant la structure globale, GraphDPO convient aux paramètres d'alignement lourds en déroulements, courants dans les tâches de raisonnement et de codage.
• Robustesse : La méthode gère les ordres partiels, les classes d'équivalence et les relations de comparabilité éparses qui brisent les hypothèses strictes des méthodes listwise.
• Biais Inductif : Les résultats suggèrent que la modélisation explicite des relations structurées entre les déroulements (transitivité et domination) est cruciale pour l'extension de l'alignement à des domaines de problèmes complexes où les hypothèses d'ordonnancement simples échouent.

Les auteurs concluent que GraphDPO offre un biais inductif simple et efficace pour l'alignement des LLM, comblant le fossé entre la simplicité de la DPO et la richesse structurelle des classements multi-échantillons.