Résumé technique : Arena comme récompense hors ligne (ArenaPO)

Énoncé du problème

Bien que l'apprentissage par renforcement à partir de retours humains (RLHF) ait efficacement aligné les modèles de diffusion Texte-vers-Image (T2I) sur les préférences humaines, il souffre d'une inefficacité computationnelle due à la nécessité d'entraîner et de déployer un modèle de récompense explicite avec inférence en ligne. L'optimisation directe des préférences (DPO) est apparue comme une alternative plus efficace en exploitant des jeux de données statiques hors ligne sans modélisation explicite de la récompense. Cependant, le DPO standard est limité aux retours binaires (paires choisies vs rejetées), ce qui entraîne une optimisation à grain grossier. En pratique, les différences de qualité entre les paires d'images varient considérablement ; traiter toutes les images « choisies » comme supérieures de manière égale aux images « rejetées » ignore l'ampleur de la préférence, ce qui peut conduire à un alignement sous-optimal. Le défi central consiste à intégrer des signaux de préférence à grain fin dans le cadre efficace du DPO sans dépendre d'un modèle de récompense explicite et coûteux en calcul.

Méthodologie : ArenaPO

Les auteurs proposent ArenaPO, un cadre qui extrait des récompenses hors ligne à grain fin d'une « Arène de modèles » pour améliorer l'entraînement du DPO. La méthode opère en trois étapes distinctes :

1. Construction de l'Arène de modèles

Au lieu de traiter les images isolément, les auteurs construisent une « Arène de modèles » où la source de chaque image est un concurrent.

• Modélisation probabiliste : Suivant la théorie du Cas V de Thurstone, la capacité de chaque modèle n'est pas modélisée comme un point fixe, mais comme une distribution gaussienne $\theta \sim \mathcal{N}(\mu, \sigma^2)$, où $\mu$ représente la capacité moyenne et $\sigma$ l'incertitude.
• Mise à jour bayésienne : Le jeu de données est considéré comme une série de comparaisons par paires. En parcourant les préférences appariées annotées, la distribution de capacité de chaque modèle est mise à jour de manière itérative par inférence bayésienne. L'étiquette binaire (victoire/défaite) sert de fonction de vraisemblance pour mettre à jour la distribution a priori, convergeant vers une distribution a posteriori qui caractérise la véritable capacité du modèle.

2. Inférence de variables latentes pour l'estimation de l'écart de qualité

Pour toute paire d'images donnée $(y_w, y_l)$ dans le jeu de données, la méthode estime l'écart de qualité absolu sans modèle de récompense.

• Formulation : La qualité d'une image est traitée comme un échantillon unique tiré de la distribution de capacité de son modèle source. Le problème est formulé comme l'estimation de l'espérance a posteriori de la différence de qualité $Q_D = Q_w - Q_l$ étant donné l'événement observé $Q_w > Q_l$.
• Distribution normale tronquée : Puisque la différence entre deux variables gaussiennes indépendantes est également gaussienne, et que l'observation impose une contrainte unilatérale ($Q_D > 0$), les auteurs exploitent les propriétés de la distribution normale tronquée.
• Solution analytique : L'écart de qualité estimé $Q_D^*$ est calculé comme l'espérance conditionnelle $E[Q_D | Q_D > 0]$. Cette valeur intègre à la fois la différence moyenne a priori ($\mu_w - \mu_l$) et un terme de correction dérivé de l'incertitude ($\sigma_w, \sigma_l$) et de la préférence binaire observée. Cette $Q_D^*$ sert de signal de récompense à grain fin et spécifique à l'instance.

3. Entraînement DPO à grain fin

L'écart de qualité estimé est intégré dans l'objectif Diffusion-DPO.

• Modèle de Bradley-Terry à marge : Au lieu d'imposer un simple ordre binaire, la probabilité de préférence est modélisée avec une marge : $p(y_w \succ y_l) = \sigma(r(y_w) - r(y_l) - Q_D^*)$.
• Fonction de perte : La perte DPO standard est modifiée pour inclure $Q_D^*$ comme facteur d'échelle (pondéré par un coefficient $\gamma$). Cela encourage la politique non seulement à apprendre quelle image est meilleure, mais aussi combien elle est meilleure, en correspondant à l'ampleur de l'écart de préférence.
• Efficacité : L'ensemble du pipeline est hors ligne. La construction de l'Arène et l'estimation de l'écart de qualité sont calculées avant l'entraînement, ne nécessitant aucune inférence en ligne supplémentaire ni entraînement de modèle de récompense, préservant ainsi l'efficacité computationnelle du DPO.

Contributions clés

1. Cadre ArenaPO : La proposition d'une méthode qui exploite les scores d'Arène comme récompenses hors ligne pour fournir des retours affinés au DPO, réalisant à la fois les signaux de récompense riches du RLHF et l'efficacité du DPO sans modèle de récompense explicite.
2. Inférence de variables latentes : L'introduction d'une méthode d'inférence novatrice basée sur la distribution normale tronquée pour estimer les écarts de qualité absolus entre les paires d'images en utilisant uniquement les distributions de capacité des modèles et les préférences binaires.
3. Supériorité empirique : Des expériences extensives sur les jeux de données Pick-a-Pic v2 et HPD v3 démontrant qu'ArenaPO surpasse systématiquement les références existantes (y compris Diffusion-DPO, MaPO, DSPO et SDPO) sur plusieurs métriques d'évaluation (PickScore, HPS, Aesthetic, CLIP, ImageReward).

Résultats expérimentaux

Les auteurs ont évalué ArenaPO sur Stable Diffusion 1.5 et Stable Diffusion XL en utilisant les jeux de données Pick-a-Pic v2 et HPD v3.

• Gains de performance : ArenaPO a obtenu des résultats de pointe sur tous les benchmarks testés. Par exemple, sur le jeu de données Pick-a-Pic v2 avec Stable Diffusion 1.5, ArenaPO a amélioré le PickScore de 0,2143 (SDPO) à 0,2151 et le ImageReward de 0,5546 à 0,6063.
• Taux de victoire : Dans des comparaisons directes contre le Stable Diffusion 1.5 original, ArenaPO a atteint un taux de victoire de 79,0 %, surpassant significativement les autres variantes DPO.
• Études d'ablation :
  • Grain fin vs Marge uniforme : Le remplacement de l'adaptatif $Q_D^*$ par une marge uniforme fixe a entraîné une performance nettement inférieure, validant la nécessité de récompenses à grain fin et adaptatives.
  • Évolutivité : La combinaison d'ArenaPO avec d'autres méthodes avancées (par exemple, DSPO) a produit des gains de performance supplémentaires, indiquant que l'approche est découplée et compatible avec d'autres stratégies d'optimisation.
  • Sensibilité aux hyperparamètres : Le coefficient d'échelle $\gamma$ s'est révélé relativement peu sensible, avec une performance optimale à $1 \times 10^{-3}$.

Importance et affirmations

L'article affirme qu'ArenaPO comble efficacement le fossé entre l'efficacité du DPO et la richesse du RLHF. En modélisant les capacités des modèles sous forme de distributions et en utilisant l'inférence de variables latentes, la méthode extrait des informations de préférence à grain fin à partir de jeux de données binaires existants sans la surcharge de l'entraînement d'un modèle de récompense. Les auteurs affirment que cette approche conduit à un alignement plus efficace, permettant aux modèles d'apprendre non seulement la direction de la préférence, mais aussi l'intensité de cette préférence. La méthode est présentée comme une solution pratique et évolutive pour améliorer les modèles de diffusion T2I dans des applications réelles où les ressources computationnelles pour la modélisation de récompenses en ligne sont limitées.