Résumé technique : Optimisation des préférences par dérive (Drifting Preference Optimization) pour les modèles génératifs en une étape

Problématique

Les générateurs de texte-en-image en une étape (par exemple, SD-Turbo, SDXL-Turbo) sont extrêmement attractifs pour le déploiement en raison de leur capacité à générer des images en un seul passage direct, permettant des applications à faible latence et aux ressources contraintes. Cependant, l'alignement de ces modèles avec les préférences humaines via le post-entraînement reste un défi.

Les méthodes d'alignement standard, telles que l'apprentissage par renforcement à partir de rétroaction humaine (RLHF) et l'optimisation directe des préférences (DPO), reposent généralement sur des probabilités de politiques stochastiques, des rapports de densité ou des trajectoires de débruitage — des structures qui sont indisponibles ou mal définies pour les générateurs déterministes en une étape. Bien que la rétropropagation directe d'une récompense différentiable à travers l'image générée soit une alternative, cela nécessite que le modèle de récompense soit différentiable. Cette approche devient extrêmement coûteuse en termes de calcul pour les modèles de vision-langage (VLM) basés sur de grands modèles, et est impossible pour les évaluateurs de type "boîte noire" ou discrets (par exemple, les contrôles de correction basés sur des règles). Par conséquent, il existe un besoin pour une méthode de finetuning de préférences qui :

1. Fonctionne avec des générateurs déterministes en une étape.
2. Évite la rétropropagation à travers le modèle de récompense.
3. Supporte des récompenses larges, de type boîte noire ou non différentiables.
4. Préserve la capacité d'inférence en un seul passage direct.

Méthodologie : Drifting Preference Optimization (DrPO)

Les auteurs proposent DrPO, une méthode de finetuning de préférence en ligne qui convertit les échantillons classés par récompense en une direction de mise à jour dans l'espace des caractéristiques sans nécessiter les gradients de la récompense. La méthode s'inspire des "modèles de dérive" (Drifting Models), qui remplacent l'estimation explicite de la densité par des champs de dérive dans l'espace des caractéristiques.

Mécanisme central

DrPO opère en construisant un champ de préférence dipolaire non paramétrique et un champ de dérive de référence dans l'espace latent des caractéristiques.

1. Échantillonnage et classement des candidats :
   Pour un prompt donné, le générateur actuel $g_\theta$ échantillonne un lot de candidats. Un modèle de récompense cible $R$ (qui peut être non différentiable) classe ces candidats. Sur la base de ce classement, la méthode forme des paires d'échantillons positifs (score élevé) et négatifs (score faible).

2. Champ de préférence dipolaire ($V_{pref}$) :
   Au lieu d'utiliser le gradient de la fonction de récompense, DrPO synthétise une direction de mise à jour en utilisant un mécanisme d'attraction-répulsion pondéré par un noyau.

• Attraction : Les échantillons positifs attirent la représentation de caractéristique actuelle vers eux.
• Répulsion : Les échantillons négatifs repoussent la représentation loin d'eux.
  Cela est formalisé comme un champ dipolaire où la vitesse de mise à jour est la différence entre le décalage moyen (mean-shift) des échantillons positifs et le décalage moyen des échantillons négatifs dans l'espace des caractéristiques. Ce champ est local ; les points éloignés des échantillons observés reçoivent des mises à jour négligeables, ce qui réduit les erreurs d'extrapolation.

3. Dérive de référence ($V_{ref}$) :
   Pour éviter que le générateur ne dérive trop loin de sa distribution d'origine (effondrement de mode ou perte de fidélité), une dérive de référence est estimée à partir d'un générateur de base gelé ($g_{ref}$). Cela agit comme une force de stabilisation, similaire à la régularisation KL dans le RLHF standard, mais estimée via une dérive basée sur des échantillons plutôt que par des rapports de vraisemblance.

4. Objectif d'optimisation :
   Le champ de mise à jour total est la somme du champ de préférence et du champ de référence pondéré : $V_{DrPO} = V_{pref} + \lambda V_{ref}$.
   Le générateur est entraîné pour minimiser la distance entre sa caractéristique actuelle et une cible détachée :
   $$z^* = \text{sg}(z + \eta V_{DrPO}(z))$$
   où $z$ est la représentation de caractéristique de l'image générée, $\text{sg}$ désigne l'opérateur stop-gradient, et $\eta$ est une échelle de vitesse. La perte est une simple erreur quadratique moyenne entre les caractéristiques actuelles et la cible détachée.

Propriétés clés

• Indépendance vis-à-vis de la récompense : Puisque le modèle de récompense n'est utilisé que pour classer les échantillons et former les ensembles positif et négatif ($A^+$ et $A^-$), la fonction de récompense elle-même n'a jamais besoin d'être différenciée. Cela permet l'utilisation de récompenses basées sur des VLM (ex: HPSv3) et d'évaluateurs de tâches discrets (ex: GenEval).
• Inférence en une étape : L'entraînement modifie les poids du générateur, mais l'inférence reste un seul passage direct du générateur mis à jour. Aucune optimisation ou recherche au moment du test n'est requise.
• Extension hors ligne : Les auteurs proposent une variante hors ligne naïve où les paires de préférences sont tirées d'un ensemble de données fixe plutôt que par échantillonnage en ligne, bien qu'ils notent que cela nécessite une gestion prudente de la parcimonie hors-politique (off-policy sparsity).

Contributions clés

1. Algorithme DrPO : Une nouvelle méthode de finetuning de préférence en ligne pour les générateurs déterministes en une étape qui convertit les échantillons classés par récompense en une mise à jour de dérive détachée, éliminant ainsi le besoin de rétropropagation de la récompense.
2. Champ de préférence dipolaire : Un mécanisme non paramétrique qui construit des directions de mise à jour dans l'espace latent à partir d'échantillons positifs et négatifs, remplaçant les gradients de récompense traditionnels par des mises à jour de dérive basées sur des échantillons.
3. Validation empirique : Évaluation complète sur SD-Turbo et SDXL-Turbo à travers plusieurs modèles de récompense (PickScore, HPSv3, ImageReward, GenEval). DrPO démontre une performance supérieure parmi les bases sans gradient de récompense.
4. Gains d'efficacité : Démonstration que DrPO réduit considérablement le calcul de l'entraînement lors de l'utilisation de grands modèles de récompense en supprimant la nécessité de la rétropropagation du modèle de récompense.

Résultats expérimentaux

Les auteurs ont évalué DrPO sur SD-Turbo et SDXL-Turbo en utilisant des benchmarks incluant Pick-a-Pic v2, Parti-Prompts et GenEval.

• Performance : Sur SDXL-Turbo, DrPO a obtenu les gains les plus élevés parmi les bases en une étape sans gradient de récompense (DPO1-step, PSO, GRPO1-step) en termes de PickScore, de score esthétique (AES) et d'ImageReward. Il s'approche ou égale les performances des méthodes basées sur le gradient de récompense (comme DRaFT) tout en évitant le coût de calcul de la rétropropagation à travers la récompense.
• Préférence Humaine/VLM : Les évaluations par paires utilisant Qwen3-VL ont montré que les images générées par DrPO étaient systématiquement préférées par rapport aux méthodes de base en une étape et au modèle de base, indiquant une meilleure fidélité au prompt et une meilleure cohérence visuelle.
• Récompenses non différentiables : DrPO a utilisé avec succès les scores GenEval (une métrique discrète et non différentiable pour les contraintes compositionnelles) pour améliorer les performances sur des tâches comme le comptage, le placement des couleurs et la liaison d'objets, là où les méthodes basées sur le gradient échouent.
• Efficacité : Lorsqu'il a été entraîné avec le grand modèle de récompense HPSv3, DrPO a réduit le temps de mise à jour de 3,51× par rapport à une base qui rétropropage à travers la récompense, sous des paramètres de lot effectifs équivalents.
• Ablations : Les expériences ont confirmé que l'augmentation de la taille du pool de candidats améliore la stabilité, et que les caractéristiques de latent-MAE surpassent les caractéristiques latentes brutes pour le calcul de la dérive. La méthode s'est révélée robuste aux choix de noyaux et aux échelles de vitesse.

Signification et affirmations

L'article affirme que DrPO fournit une solution pratique pour aligner les modèles génératifs en une étape avec des signaux de récompense complexes, coûteux ou non différentiables. En découplant l'évaluation de la récompense du gradient d'optimisation, DrPO permet l'utilisation de modèles de récompense de pointe basés sur les VLM (comme HPSv3) pour le finetuning de générateurs rapides sans subir le coût de calcul prohibitif de la différenciation de ces derniers.

Les auteurs positionnent DrPO comme une étape significative vers la création de génération d'images de haute qualité et à faible latence pour les applications interactives où la vitesse et l'alignement avec les préférences humaines sont critiques. Ils notent également que bien que leurs expériences hors ligne soient préliminaires, l'approche de synthèse de gradient basée sur les échantillons offre une direction prometteuse pour étendre l'optimisation des préférences aux contextes hors ligne où l'échantillonnage en ligne n'est pas possible.

Le travail ne prétend pas résoudre tous les défis d'alignement ; il reconnaît que la qualité du champ de préférence dépend de la capacité de l'extracteur de caractéristiques à encoder les attributs spécifiques étant optimisés et que la méthode hérite des limitations du modèle de récompense sous-jacent utilisé pour le classement.