Résumé Technique : Direct Diffusion Score Preference Optimization (DDSPO)

Énoncé du Problème

Les modèles de diffusion ont atteint un succès significatif dans les tâches génératrices, particulièrement pour la synthèse texte-image. Cependant, ils peinent fréquemment à aligner les sorties générées avec l'intention nuancée de l'utilisateur et à maintenir de manière cohérente une haute qualité esthétique. Les méthodes existantes d'apprentissage basées sur les préférences, telles que le Diffusion Direct Preference Optimization (Diffusion DPO), tentent de remédier à ces problèmes en apprenant à partir de préférences par paires sur des échantillons finaux ($x_0$).

Une limitation critique des approches actuelles comme Diffusion DPO est leur dépendance à l'approximation des transitions de débruitage inverse à l'aide du processus direct $q(x_{t-1} | x_t, x_0)$ dérivé des échantillons terminaux ($x_0$). Cette approximation ne reflète pas le processus de débruitage inverse réel du modèle lors de l'inférence. Par conséquent, le signal de supervision fourni est mal aligné avec les trajectoires de débruitage réelles du modèle, échouant à offrir une supervision par étape efficace.

Méthodologie

Les auteurs proposent le Direct Diffusion Score Preference Optimization (DDSPO), un cadre qui formule la supervision de préférence directement dans l'espace des scores à chaque étape de diffusion, plutôt que dans l'espace de l'échantillon final.

Concept Central : Supervision de Paire de Politiques Contrastives par Étape

Contrairement aux méthodes antérieures qui définissent des préférences sur les sorties finales $(x_0^w, x_0^l)$, DDSPO introduit une supervision par étape en comparant les scores de débruitage d'une paire de politiques contrastives à chaque étape $t$. Les étiquettes de préférence sont étendues à des tuples de transitions de débruitage $((x_t^w, x_{t-1}^w), (x_t^l, x_{t-1}^l))$, dérivés de politiques de débruitage préférées et défavorables.

La fonction d'objectif optimise les prédictions de débruitage du modèle vers des cibles $\boldsymbol{\epsilon}_\star^w$ et $\boldsymbol{\epsilon}_\star^l$, correspondant aux comportements préférés et défavorables à chaque étape. La fonction de perte est définie comme :
$$\mathcal{L}_{\text{DDSPO}}(\theta) = - \mathbb{E} \left[ \log \sigma \left( - \beta \cdot \left[ \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_\theta(x_t^w, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_{\text{ref}}(x_t^w, t, c) \|_2^2 - (\| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_\theta(x_t^l, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_{\text{ref}}(x_t^l, t, c) \|_2^2) \right) \right) \right]$$
Ici, $\boldsymbol{\epsilon}_\star^w$ et $\boldsymbol{\epsilon}_\star^l$ sont des cibles de score de débruitage obtenues à partir de la paire de politiques contrastives, conservant les véritables transitions de débruitage inverse plutôt que des approximations du processus direct.

Instanciations de la Paire de Politiques Contrastives

Le papier propose deux manières pratiques d'instancier la paire de politiques contrastives :

1. Data-Driven Contrastive Policy Pair (DD-CPP) :

   • Nécessite un ensemble de données étiquetées par préférences de paires d'images $(x_0^w, x_0^l, c)$.
   • Deux modèles distincts sont affinés à partir d'une initialisation pré-entraînée : un modèle « gagnant » $\phi^w$ sur les échantillons préférés et un modèle « perdant » $\phi^l$ sur les échantillons défavorables.
   • Les cibles de supervision sont les scores de débruitage prédits par ces modèles spécialisés : $\boldsymbol{\epsilon}_\star^w \leftarrow \boldsymbol{\epsilon}_{\phi^w}(x_t, t, c)$ et $\boldsymbol{\epsilon}_\star^l \leftarrow \boldsymbol{\epsilon}_{\phi^l}(x_t, t, c)$.

2. Training-Free Contrastive Policy Pair (TF-CPP) :

   • Ne nécessite aucun entraînement supplémentaire ni données étiquetées par préférences.
   • Utilise un modèle de référence pré-entraîné unique.
   • Construit une paire contrastive en utilisant le prompt original $c$ (préféré) et une variante sémantiquement dégradée $c^-$ (défavorable).
   • La cible préférée est $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c)$, et la cible défavorable est $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c^-)$.
   • Cette approche tire parti de l'observation qu'aux étapes plus importantes, la mise à jour inverse est largement pilotée par le signal de conditionnement, permettant à $c^-$ de fournir une cible de score négative significative même sans générer une image $x_0^l$ spécifique.

Contributions Clés

1. Cadre DDSPO : Un cadre d'optimisation de préférence permettant une supervision directe des étapes de débruitage intermédiaires dans l'espace des scores via une paire de politiques contrastives, évitant le recours aux approximations du processus direct.
2. Instanciations Pratiques : L'introduction de DD-CPP (apprentissage de politiques à partir de données étiquetées) et TF-CPP (construction de directions contrastives à partir d'un modèle de référence via la dégradation de prompt), cette dernière ne nécessitant ni modèle de récompense ni annotations manuelles.
3. Validation Empirique : Des expériences approfondies démontrant que la supervision par étape dérivée de paires de politiques contrastives est plus efficace que la supervision basée sur le processus direct pour les tâches d'alignement texte-image et de qualité esthétique.

Résultats Expérimentaux

Les auteurs ont évalué DDSPO sur des tâches d'alignement texte-image et d'amélioration de la qualité esthétique en utilisant des variantes de Stable Diffusion (SD-1.4, SD-1.5, SDXL) et des modèles basés sur DiT (SANA, SD3-M).

• Alignement Texte-Image :

  • En utilisant TF-CPP (sans données annotées par l'humain), DDSPO a obtenu des résultats de pointe sur les benchmarks GenEval et T2I-CompBench par rapport à Diffusion DPO, DSPO et d'autres bases de référence.
  • DDSPO a surpassé les méthodes SOTA comme Itercomp et CaPO sur CompBench sans nécessiter de données de préférence annotées par l'humain ou de modèles de récompense.
  • Les résultats qualitatifs ont montré une séparation plus claire entre les distributions conditionnelles et une meilleure adhérence aux prompts complexes par rapport à Diffusion DPO et DSPO.

• Qualité Esthétique :

  • En utilisant DD-CPP sur le jeu de données Pick-a-Pic, DDSPO a amélioré les métriques HPSv2 et PickScore par rapport à SD-1.5 et SDXL, surpassant Diffusion DPO et Diffusion KTO.
  • La variante TF-CPP (sans données humaines) est restée compétitive avec les méthodes supervisées.

• Études d'Ablation :

  • Différentes stratégies de dégradation de prompt (ex: suppression aléatoire de tokens vs réécriture par LLM) ont été testées. La suppression aléatoire a été la plus performante pour l'alignement, tandis que la dégradation par LLM adaptée à l'esthétique a été la plus performante pour la qualité esthétique.
  • Une variante efficace de TF-CPP réutilisant les images préférées pour les cibles négatives (évitant la génération explicite d'images défavorables) a montré des performances comparables à la configuration complète, soulignant la flexibilité du cadre.

Signification et Revendications

Le papier affirme que la principale importance de DDSPO réside dans sa capacité à fournir une supervision par étape alignée avec le processus de débruitage inverse réel du modèle. En définissant les préférences directement sur les transitions locales de débruitage inverse ($x_t \to x_{t-1}$) plutôt qu'en s'appuyant sur des substituts du processus direct, DDSPO offre une supervision plus riche au niveau des transitions.

Les auteurs soutiennent que cette approche conduit à des signaux d'apprentissage plus robustes à travers la trajectoire de débruitage, résultant en des améliorations constantes tant pour l'alignement sémantique que pour la qualité esthétique. De plus, le Training-Free Contrastive Policy Pair (TF-CPP) démontre qu'une optimisation de préférence de haute qualité peut être obtenue sans le coût de la collecte d'annotations de préférences humaines ou de l'entraînement de modèles de récompense, rendant la méthode hautement scalable et efficace en termes de données. Ce travail positionne DDSPO comme un cadre généralisable applicable aux modèles génératifs de diffusion et de flux (flow-based).