Résumé Technique : D2PO – Optimisation des échantillonneurs de diffusion via la préférence dynamique

1. Énoncé du problème

Les modèles de diffusion probabiliste (DPM) ont atteint des résultats de pointe dans la génération d'images, de texte-vers-image et de vidéo, mais souffrent de coûts de calcul élevés en raison de la nature itérative de leur processus d'échantillonnage, qui nécessite de nombreuses évaluations de fonction (NFE). Bien que diverses méthodes d'accélération existent, notamment les solveurs numériques et la distillation de connaissances, une limitation fondamentale persiste dans les cadres de régression étudiant-enseignant.

Dans ces cadres, un échantillonneur « étudiant » à faible NFE est entraîné pour imiter les trajectoires ou les sorties d'un « enseignant » fixe à haut NFE en utilisant des pertes de régression (ex. $\ell_2$ ou LPIPS). Le papier identifie un goulot d'étranglement structurel critique : à mesure que l'écart entre le NFE de l'étudiant et celui de l'enseignant s'élargit (une exigence courante pour une accélération agressive), l'objectif de régression force l'étudiant à prioriser l'alignement de bas niveau avec la trajectoire grossière de l'enseignant. Cela entraîne la suppression des textures à haute fréquence et des détails fins, conduisant à une dégradation de la qualité perceptuelle même lorsque le modèle enseignant est de haute fidélité. Les méthodes existantes ne parviennent pas à exploiter pleinement le potentiel des enseignants de haute qualité sous des contraintes de faible NFE car elles sont liées par un plancher d'erreur statique défini par la discrétisation de l'enseignant.

2. Méthodologie : D2PO

Pour remédier à cela, les auteurs proposent D2PO (Dynamic Direct Preference Optimization), un cadre qui reformule l'optimisation de l'échantillonneur d'une tâche de régression en un problème d'alignement basé sur la préférence.

2.1 Substitut basé sur l'énergie pour les politiques déterministes

Un défi majeur de l'application de la Direct Preference Optimization (DPO) aux échantillonneurs de diffusion est que la politique d'échantillonnage est déterministe (induite par un solveur numérique fixe), ce qui rend la vraisemblance de la sortie dégénérée et non différentiable. D2PO surmonte cela en modélisant la distribution induite par la politique comme un Modèle Basé sur l'Énergie (EBM).

• La politique $\pi_\phi$ est définie comme un substitut lisse où l'énergie $E(\mathbf{x})$ est la distance entre un échantillon candidat $\mathbf{x}$ et la sortie de l'échantillonneur déterministe $\mathbf{x}_\phi$.
• Cette formulation permet d'exprimer le ratio de log-probabilité requis par la DPO comme une différence de valeurs d'énergie, rendant l'optimisation traitable.

2.2 Nouvelle métrique de distance basée sur le score

Au lieu de s'appuyer sur des métriques perceptuelles standards comme LPIPS ou $\ell_2$, qui échouent souvent à capturer les erreurs de texture à haute fréquence, D2PO introduit une métrique d'énergie basée sur le score dérivée directement du réseau de score de diffusion pré-entraîné $s_\theta$.

• L'énergie est définie par la divergence entre les prédictions de score d'un échantillon candidat et de la sortie de l'échantillonneur à travers plusieurs niveaux de bruit.
• Plus précisément, la distance $d_\theta$ mesure la différence $\ell_2$ au carré entre les prédictions de bruit ($\epsilon_\theta$) à différents pas de temps.
• En intégrant ces divergences sur le calendrier de bruit avec une pondération spécifique ($w(t) = \sigma_t^2$), la métrique capture à la fois la cohérence structurelle grossière (aux niveaux de bruit élevés) et les détails texturaux fins (aux niveaux de bruit faibles), fournissant un signal de préférence plus riche que les métriques conventionnelles.

2.3 Mécanisme de préférence dynamique

D2PO remplace la supervision statique de l'enseignant par un mécanisme de référence dynamique qui évolue parallèlement à la politique de l'étudiant.

• Échantillonneur Étudiant ($\phi$) : La politique cible faisant l'objet de l'optimisation (paramètres : calendrier de pas de temps $S$ et poids CFG $\omega$).
• Échantillon Perdant ($x_l$) : Généré par l'étudiant en utilisant un calendrier clairsemé et rapide, puis dégradé (par exemple, via un filtrage passe-bas) pour simuler une sortie de moindre qualité.
• Échantillon Gagnant ($x_w$) : Généré par un enseignant dynamique ($\phi'$) dérivé des paramètres actuels de l'étudiant. L'enseignant dynamique utilise un calendrier de pas de temps plus dense et raffiné (par exemple, $2N$ étapes contre $N$ étapes pour l'étudiant) créé par interpolation du calendrier actuel de l'étudiant.
• Politique de Référence ($\phi_{ref}$) : Une politique qui suit l'historique de l'étudiant (mise à jour via EMA pour les poids CFG et copie par époque pour les pas de temps) pour ancrer l'optimisation.

Cette boucle dynamique encourage l'étudiant à s'aligner sur sa propre approximation de plus haute fidélité et à calendrier plus dense. Théoriquement, cela minimise l'erreur de discrétisation de l'étudiant lui-même plutôt que de converger vers un plancher d'erreur fixe imposé par un enseignant externe.

3. Contributions Clés

1. Cadre D2PO : Un cadre d'optimisation basé sur la préférence pour les échantillonneurs de diffusion qui établit un objectif d'alignement traitable en modélisant la politique déterministe comme un substitut basé sur l'énergie.
2. Métrique d'Énergie basée sur le Score : Une nouvelle métrique de distance dérivée du réseau de score pré-entraîné qui capture les divergences structurelles et texturales multi-échelles, surpassant les pertes perceptuelles conventionnelles pour détecter les erreurs de discrétisation.
3. Boucle de Préférence Dynamique : Un mécanisme d'auto-amélioration où l'« enseignant » est une version dynamiquement raffinée de la politique actuelle de l'étudiant. Cela élimine le plancher d'erreur fixe de la distillation statique et pousse l'échantillonneur à minimiser sa propre erreur de discrétisation.
4. Validation Complète : Expérimentations étendues démontrant que D2PO apprend des politiques d'échantillonnage supérieures, surpassant les lignes de base de distillation de pointe (ex. LD3, GITS, DMN) à travers divers solveurs et jeux de données.

4. Résultats Expérimentaux

Les auteurs ont évalué D2PO sur la synthèse texte-vers-image en utilisant Stable Diffusion v1.5, ImageNet-256 (espace latent) et le modèle InstaFlow.

• Performance Quantitative :
  • Faible NFE (4-5 étapes) : D2PO atteint une qualité perceptuelle de pointe (scores HPSv2 et Aesthetic) et des scores FID significativement plus bas que les lignes de base. Il corrige efficacement les défauts fondamentaux comme le flou et les artefacts introduits par les méthodes de régression.
  • Haut NFE (6-7 étapes) : D2PO maintient une avance significative dans les scores perceptuels. Bien que les scores FID deviennent comparables aux lignes de base (reflétant le compromis qualité-diversité), l'optimisation de D2PO vers la qualité perceptuelle reste supérieure.
  • Généralisation : La méthode se généralise à différents solveurs ODE (iPNDM, UniPC, DPM-Solver++) et architectures modernes (Stable Diffusion 3.5-Medium), surpassant systématiquement les lignes de base.
• Études d'Ablation :
  • La suppression de la préférence dynamique (retour à un enseignant fixe) dégrade la performance, confirmant la nécessité de la boucle d'auto-amélioration.
  • Le remplacement de l'énergie basée sur le score par LPIPS provoque une chute significative de la fidélité, validant la capacité de la métrique à capturer les erreurs fines.
• Évaluation Humaine : Dans une étude utilisateur en aveugle, D2PO a reçu 60,3 % des votes pour la préférence globale, dépassant largement LD3 (27,6 %) et GITS (12,1 %), confirmant que les améliorations de la métrique se traduisent par une qualité perçue par l'humain.
• Alignement Sémantique : D2PO obtient également des scores CLIP plus élevés que les lignes de base, suggérant que l'optimisation de l'alignement des préférences préserve mieux la pertinence du prompt que la régression ponctuelle rigide.

5. Signification et Revendications

Le papier affirme que D2PO résout un goulot d'étranglement critique de la performance dans l'optimisation des échantillonneurs de diffusion. En passant d'un paradigme de régression-vers-enseignant à un paradigme d'alignement de préférence dynamique, D2PO libère tout le potentiel des enseignants de haute qualité sans être contraint par leurs erreurs de discrétisation statiques.

Les auteurs soutiennent que leur approche est légère et orthogonale aux méthodes existantes de réglage de poids, car elle maintient le squelette génératif gelé et optimise exclusivement la politique d'échantillonnage de faible dimension. Le mécanisme d'enseignant dynamique fournit un signal d'apprentissage théoriquement fondé qui force l'étudiant à minimiser sa propre erreur de discrétisation, menant à des trajectoires d'échantillonnage plus cohérentes avec le processus continu réel et perceptuellement supérieures, particulièrement sous des contraintes strictes de faible NFE.