Provably avoiding over-optimization in Direct Preference Optimization without knowing the data distribution

Énoncé du Problème

L'optimisation directe des préférences (DPO) est devenue une norme pour l'entraînement postérieur des grands modèles de langage (LLM) en raison de sa simplicité et de sa capacité à contourner la modélisation explicite des récompenses. Cependant, il est connu que le DPO souffre d'une surenchère : à mesure que l'entraînement progresse, le modèle peut maximiser la perte d'entraînement tout en dégradant la qualité réelle des réponses générées par rapport au modèle initial. Ce problème est exacerbé par le fait que le DPO standard et l'apprentissage par renforcement à partir de retours humains (RLHF) traitent la récompense estimée comme une vérité terrain parfaite, ignorant ainsi l'incertitude.

Les garanties théoriques pour atténuer la surenchère reposent généralement sur le pessimisme, assurant que la politique apprise est robuste aux erreurs d'estimation. Les variantes pessimistes existantes (par exemple, le DPO régularisé par $\chi^2$, DPO+SFT) atteignent des bornes théoriques solides dépendant uniquement d'un coefficient de concentrabilité de politique unique ($C^\star$), ce qui implique une robustesse même si l'ensemble de données ne couvre pas tout l'espace des politiques. Cependant, ces garanties dépendent de manière critique de la connaissance de la distribution génératrice de données ($\pi_{data}$) ou de l'accès à une politique de référence bien couverte par $\pi_{data}$. En pratique, cette hypothèse est souvent violée, par exemple lors du fine-tuning de modèles plus petits sur des données de préférence générées par des systèmes propriétaires plus grands (par exemple, GPT-4) où $\pi_{data}$ est inconnu et inaccessible.

La question de recherche centrale abordée est la suivante : Pouvons-nous concevoir un algorithme de type DPO qui soit prouvé robuste à la surenchère sans connaissance de la distribution génératrice de données $\pi_{data}$ ?

Méthodologie : PEPO

Les auteurs introduisent PEPO (Optimisation des Préférences basée sur un Ensemble Pessimiste), un algorithme en une seule étape qui réalise le pessimisme grâce à un ensemble de politiques entraînées sur des sous-ensembles de données disjoints, sans nécessiter la connaissance de $\pi_{data}$.

1. Entraînement de l'Ensemble :
L'ensemble de données de préférences $D$ est partitionné en $L$ sous-ensembles disjoints. Pour chaque sous-ensemble $D_\ell$, une politique légère $\tilde{\pi}_\ell$ est entraînée en utilisant un objectif DPO pessimiste. Cet objectif modifie la perte DPO standard en décalant horizontalement la fonction sigmoïde d'un paramètre $\lambda_\ell$, réduisant ainsi efficacement la marge requise pour une probabilité de victoire. Ce décalage induit une estimation conservatrice (pessimiste) de l'écart de récompense.

2. Agrégation Pessimiste :
La politique de sortie $\pi_{out}$ est définie comme la solution d'un problème RLHF « virtuel » qui optimise la récompense du pire cas à travers l'ensemble. La récompense implicite pour l'ensemble est construite en prenant le minimum sur les $L$ modèles de leurs écarts de récompense estimés, ajustés pour la distribution de données dans les autres sous-ensembles (pour assurer l'indépendance).
$$r^-(x, a) = \beta \min_{\ell \in [L]} \left( \log \frac{\tilde{\pi}_\ell(a|x)}{\pi_{ref}(a|x)} - \zeta_\ell(x) \right)$$
où $\zeta_\ell(x)$ rend compte de la contribution des données en dehors du $\ell$-ième sous-ensemble.

3. Échantillonnage Efficace :
La solution analytique pour $\pi_{out}$ implique une constante de normalisation sur tout l'espace des réponses, ce qui est intraitable. Pour contourner cela, PEPO emploie un échantillonnage par rejet (Algorithme 2). Tout membre de l'ensemble $\tilde{\pi}_\ell$ sert de distribution de proposition car le numérateur de $\pi_{out}$ est borné par $\tilde{\pi}_\ell$. Pour les applications pratiques à grande échelle, les auteurs proposent également une approximation au niveau des jetons qui applique l'agrégation pessimiste à chaque étape de décodage, évitant ainsi le besoin d'un échantillonnage par rejet au niveau des trajectoires et réduisant considérablement la latence de génération.

Contributions Clés

Contributions Théoriques :

• Complexité d'échantillonnage sans $\pi_{data}$ : Dans le cadre tabulaire, PEPO atteint des garanties de complexité d'échantillonnage dépendant uniquement du coefficient de concentrabilité de politique unique ($C^\star$). Cela contraste avec le DPO standard, qui souffre d'un coefficient de concentrabilité de toutes les politiques ($C_{all}$), et avec les variantes DPO pessimistes existantes qui nécessitent la connaissance de $\pi_{data}$.
• Taille d'Ensemble Optimale : L'analyse caractérise la taille d'ensemble optimale $L$ comme la plus petite valeur suffisante pour garantir le pessimisme avec une forte probabilité. Les bornes théoriques montrent que $L$ évolue logarithmiquement avec les tailles de l'espace des états et des actions.
• Robustesse : Les bornes sont valables sans supposer que l'ensemble de données couvre toute la classe de politiques, comblant ainsi l'écart « $\pi_{data}$ inconnu » dans les travaux théoriques antérieurs.

Contributions Pratiques :

• Validation Empirique : PEPO est évalué sur des modèles de 7B, 8B et 34B paramètres (Zephyr-7B, Llama-3.1-8B, Mistral-7B, Yi-34B) utilisant l'ensemble de données UltraFeedback.
• Atténuation de la Surenchère : Les expériences démontrent que tandis que le DPO standard présente une chute brutale des taux de victoire après des gains initiaux (surenchère), la performance de PEPO se stabilise et s'améliore.
• Supériorité sur les Baselines : PEPO surpasse systématiquement $\chi^2$PO et DPO+SFT dans des configurations où $\pi_{data} \neq \pi_{ref}$ (par exemple, UltraFeedback), où les garanties théoriques de ces baselines sont invalides.
• Efficacité : L'implémentation au niveau des jetons réalise un compromis favorable entre le taux de victoire et le temps de génération, offrant des performances quasi optimales avec une latence significativement inférieure à celle de l'échantillonnage par rejet complet.

Résultats

• Surenchère : La Figure 1 montre que le taux de victoire du DPO contre le modèle initial atteint un pic puis décline, tandis que PEPO (avec un $L$ approprié) montre une amélioration soutenue. L'arrêt anticipé basé sur la perte de validation s'avère peu fiable pour sélectionner le meilleur point de contrôle DPO.
• Comparaison : Dans la Figure 3, PEPO atteint des taux de victoire plus élevés sur AlpacaEval2 par rapport à $\chi^2$PO et SFT+DPO pour tous les modèles testés. L'écart de performance ne se réduit que lorsque $\pi_{data} = \pi_{ref}$, confirmant que l'avantage de PEPO découle de sa capacité à gérer des distributions de données inconnues.
• Ablation : Les expériences confirment que $L$ est un hyperparamètre critique ; une valeur trop faible échoue à induire un pessimisme suffisant, tandis qu'une valeur trop grande réduit les données effectives par modèle, dégradant les performances.

Importance et Revendications

L'article revendique présenter le premier algorithme de type DPO qui évite prouvé la surenchère sans connaissance de la distribution génératrice de données. Cela est significatif car cela comble le fossé entre la robustesse théorique (concentrabilité de politique unique) et les contraintes pratiques ($\pi_{data}$ inconnu), un scénario courant dans l'alignement des LLM réels où les données sont générées par des modèles propriétaires ou divers.

Les auteurs positionnent PEPO comme une solution pratique qui conserve la simplicité du DPO (entraînement en une seule étape, pas de modèle de récompense explicite) tout en intégrant la sécurité théorique de la régularisation pessimiste. Ils reconnaissent que leurs garanties théoriques sont actuellement établies dans le cadre tabulaire, et que l'extension de ces résultats à des classes générales d'approximation de fonctions sans connaître $\pi_{data}$ reste un défi ouvert. De plus, la méthode actuelle produit une politique non paramétrique (via l'échantillonnage), ce qui est idéal pour l'étape finale d'un pipeline d'entraînement mais pas pour les points de contrôle intermédiaires, suggérant une direction pour un travail futur sur des sorties paramétriques.