Résumé Technique : AdaDPO

1. Énoncé du Problème

L'Optimisation Directe des Préférences (DPO) s'est imposée comme une alternative dominante à l'Apprentissage par Renforcement à partir de Feedback Humain (RLHF) pour l'alignement des Grands Modèles de Langage (LLM), offrant un pipeline simplifié qui élimine le besoin d'un modèle de récompense séparé. Cependant, une analyse théorique récente par Feng et al. [2024] a identifié une asymétrie structurelle dans la fonction de perte DPO.

Le problème central est le déséquilibre des gradients. Dans la DPO standard, le même coefficient $\beta$ multiplie les rapports logarithmiques des réponses préférées ($y_w$) et non préférées ($y_l$). À mesure que l'entraînement progresse et que la politique devient plus confiante dans la réponse préférée, l'amplitude du gradient par rapport à la probabilité préférée ($P_w$) diminue beaucoup plus rapidement que le gradient par rapport à la probabilité non préférée ($P_l$). Plus précisément, le rapport des gradients $|\partial L / \partial P_w| / |\partial L / \partial P_l|$ tombe en dessous de 1, approchant souvent zéro.

Par conséquent, le modèle apprend principalement à supprimer les mauvaises réponses plutôt qu'à promouvoir les bonnes. Ce déséquilibre est une propriété structurelle de la perte, et non un artefact d'hyperparamètre, et devient particulièrement prononcé lorsque les réponses préférées et non préférées sont sémantiquement proches. Cette dynamique a été liée à un biais de longueur, où les modèles exploitent la verbosité pour maximiser les récompenses sans nécessairement améliorer la qualité.

2. Méthodologie : AdaDPO

Les auteurs proposent AdaDPO (Optimisation Directe des Préférences Auto-Adaptative), une variante conçue pour imposer l'égalité des amplitudes de gradients entre les probabilités préférées et non préférées à chaque étape d'optimisation.

Mécanisme Central

Au lieu d'utiliser un coefficient fixe $\beta$ pour les deux termes, AdaDPO introduit des coefficients par paire de préférences $\beta_w$ et $\beta_l$. La fonction de perte est modifiée comme suit :
$$\Delta_{\text{AdaDPO}} = \beta_w \log \frac{P_w}{R_w} - \beta_l \log \frac{P_l}{R_l}$$
où $P$ représente les probabilités de la politique et $R$ représente les probabilités du modèle de référence.

Déduction Théorique

Pour obtenir des gradients équilibrés ($|\partial L / \partial P_w| = |\partial L / \partial P_l|$), les auteurs dérivent une condition nécessaire pour le rapport des coefficients :
$$\frac{\beta_w}{\beta_l} = \frac{P_w}{P_l}$$
(Ou, dans l'espace des rapports de probabilités : $\frac{\beta_w}{\beta_l} = \frac{P_w R_l}{P_l R_w}$).

Détails de l'Implémentation

Pour satisfaire cette condition sans briser la dynamique d'optimisation (c'est-à-dire en empêchant les coefficients de devenir des paramètres différentiables propageant des gradients), AdaDPO emploie un opérateur stop-gradient :
$$\beta_w = \beta \cdot \text{sg}\left( \frac{P_w R_l}{P_l R_w} \right)$$
Ici, $\beta_l$ est maintenu égal à l'hyperparamètre $\beta$ de la DPO standard. L'opérateur stop-gradient (sg) garantit que le rapport est traité comme une constante lors de la rétropropagation, annulant efficacement la mise à l'échelle inverse de la probabilité qui cause le problème de « promotion vanissante » dans la DPO classique.

AdaDPO Stable :
Pour résoudre l'instabilité de l'entraînement sur les longues séquences où les sommes de log-probabilités par token peuvent produire des rapports extrêmes, les auteurs introduisent une variante normalisée par la longueur utilisée dans leurs expériences principales. Cette variante calcule le rapport adaptatif basé sur les log-probabilités moyennes par token et applique une borne de clipping numérique ($C=2.0$) au coefficient adaptatif. Cette variante conserve la structure d'hyperparamètres originale de la DPO et ne nécessite que quelques lignes de modification de code.

3. Contributions Clés

1. Correction Théorique : L'article dérive rigoureusement la condition pour des amplitudes de gradients égales dans les pertes de type DPO et prouve que AdaDPO satisfait cette condition exactement via des opérateurs stop-gradient, fournissant une correction fondée sur des principes au déséquilibre des gradients.
2. Performance Empirique : Sur Llama-3-8B-Instruct entraîné sur le jeu de données UltraFeedback, AdaDPO surpasse constamment la DPO standard sur un large éventail de grilles d'hyperparamètres.
3. Généralisabilité : Le principe d'auto-adaptation est démontré comme une modification « plug-and-play » applicable à une large famille de pertes de préférence contrastives par paires, notamment SimPO, R-DPO, IPO, CPO et ORPO, sans altérer leurs hyperparamètres existants.

4. Résultats Expérimentaux

Les auteurs ont évalué AdaDPO par rapport à des bases de référence DPO et SFT en utilisant Llama-3-8B-Instruct et le jeu de données UltraFeedback, suivant une configuration presque identique à SimPO.

Principales Constatations sur AlpacaEval 2 :

• Taux de Victoire Contrôlé par la Longueur (LC) : AdaDPO a atteint le meilleur LC global de 48,3 % (contre 46,4 % pour DPO).
• Taux de Victoire Brut (WR) : AdaDPO a atteint un WR global de 46,1 % (contre 44,5 % pour DPO).
• Robustesse des Hyperparamètres : Sur 16 combinaisons différentes $(lr, \beta)$ :
  • AdaDPO a surpassé DPO dans 81 % des combinaisons concernant le LC.
  • AdaDPO a produit une marge LC-sur-WR plus grande (indiquant une réduction du biais de longueur) dans 88 % des combinaisons.
  • AdaDPO a atteint des longueurs de réponse moyennes plus courtes tout en maintenant une qualité supérieure, suggérant que les gains ne sont pas pilotés par la verbosité.

Autres Benchmarks :

• Arena-Hard : DPO a montré un taux de victoire brut marginalement plus élevé (42,9 % contre 41,5 %), mais les intervalles de confiance à 95 % se chevauchaient considérablement, indiquant aucune différence statistiquement significative.
• MT-Bench : AdaDPO (8,03) a dépassé marginalement DPO (8,01), une différence que les auteurs notent être inférieure à la résolution de l'échelle du benchmark.

Dynamique d'Optimisation :
AdaDPO a démontré une perte d'évaluation plus faible, une précision de récompense plus élevée et des marges de récompense plus grandes par rapport à DPO, confirmant que les mises à jour de gradients équilibrées se traduisent directement par une amélioration de la qualité de l'alignement.

5. Signification et Revendications

L'article revendique que AdaDPO adresse un défaut structurel fondamental dans la DPO et ses variantes : la tendance à apprendre par suppression plutôt que par promotion.

• Mécanisme d'Amélioration : Les auteurs affirment que les améliorations observées dans les performances contrôlées par la longueur et la réduction du biais de longueur sont des conséquences directes de la rectification du déséquilibre des gradients. En garantissant que le modèle continue de recevoir un signal de renforcement fort pour les réponses préférées même alors qu'il devient confiant, AdaDPO empêche le signal d'optimisation de stagner.
• Praticité : La méthode ne nécessite aucune nouvelle collecte de données, aucun changement d'architecture de modèle et aucun nouvel hyperparamètre sensible (au-delà du $\beta$ standard et d'une constante de clipping robuste). Elle est présentée comme un changement de code minimal avec un impact maximal.
• Portée : Les auteurs encadrent modestement leurs résultats comme s'appliquant à l'optimisation de préférences hors ligne dans le contexte LLM Instruct. Ils déclarent explicitement que la validation inter-modèles, le transfert vers d'autres jeux de données et l'extension vers le RL en ligne ou les objectifs de sécurité sont des travaux futurs, et non des revendications actuelles.

En conclusion, l'article postule que l'équilibre des gradients, plutôt qu'un réglage minutieux des hyperparamètres, est la contrainte principale sur la performance des objectifs de type DPO, et que AdaDPO fournit une solution générale et théoriquement fondée à ce problème.