Résumé Technique : DeDPO : Optimisation de Préférence Directe Débiaisée pour les Modèles de Diffusion

1. Énoncé du Problème

L'Optimisation de Préférence Directe (DPO) est devenue une méthode standard pour aligner les modèles de diffusion avec les préférences humaines, offrant une alternative efficace à l'Apprentissage par Renforcement à partir de Rétroaction Humaine (RLHF) en éliminant le besoin d'un modèle de récompense distinct. Cependant, la DPO fait face à un goulot d'étranglement critique en matière de scalabilité : elle repose sur des étiquettes de préférences humaines de grande échelle et de haute qualité, ce qui est prohibitif en termes de coût et de temps.

Les tentatives récentes pour remédier à cela en utilisant des préférences synthétiques (générées par des modèles d'IA) échouent souvent car ces étiquettes synthétiques peuvent être bruitées, incohérentes avec le jugement humain réel ou introduire un biais systématique. S'entraîner directement sur un feedback aussi imparfait conduit à un alignement instable et à une dégradation des performances. Le défi central consiste à exploiter de grands volumes de données synthétiques peu coûteuses tout en corrigeant leur bruit et leur biais inhérents, en utilisant uniquement un petit ensemble d'étiquettes humaines de haute qualité.

2. Méthodologie : DeDPO (Debiased DPO)

Les auteurs proposent DeDPO, un cadre semi-supervisé qui intègre une technique d'estimation débiaisée issue de l'inférence causale dans l'objectif de la DPO. La méthode opère dans un contexte où un petit ensemble de données est étiqueté avec des préférences humaines de vérité terrain (ground-truth), et un ensemble plus large est étiqueté avec des préférences synthétiques générées par un feedback d'IA rentable (par exemple, des modèles Vision-Langage ou de l'auto-entraînement).

2.1. Reformulation de la DPO en tant que Classification Binaire

Les auteurs réinterprètent d'abord la perte de la Diffusion-DPO standard comme un problème de classification binaire. Pour une paire d'images $(x_0, x_1)$ et un prompt $c$, une étiquette de préférence $z$ indique quelle image est préférée. La perte DPO est réécrite comme une perte de l'entropie croisée binaire $L(G_\theta(y), z)$, où $G_\theta$ est le prédicteur de marge implicite du modèle.

2.2. La Fonction de Perte Débiaisée

Dans une approche semi-supervisée naïve, on pourrait simplement imputer les étiquettes humaines manquantes par des étiquettes synthétiques $\hat{G}(y)$, ce qui conduirait à un estimateur de Régression de Résultat (OR) biaisé. DeDPO propose plutôt une perte débiaisée (Éq. 8) qui combine les données étiquetées et non étiquetées :

$$L_{DeDPO}(\theta) = \mathbb{E}_{n_l+n_u} [L(G_\theta(y), \hat{G}(y))] + \mathbb{E}_{n_l} [L(G_\theta(y_l), z_l) - L(G_\theta(y_l), \hat{G}(y_l))]$$

Où :

• $n_l$ et $n_u$ sont le nombre d'échantillons étiquetés et non étiquetés.
• $z_l$ est l'étiquette humaine de vérité terrain.
• $\hat{G}(y)$ est l'étiquette synthétique.

Mécanisme de Correction :

• Données non étiquetées : La perte utilise directement les pseudo-étiquettes synthétiques $\hat{G}(y)$ comme signal de supervision.
• Données étiquetées : La perte introduit un terme de correction $(z_l - \hat{G}(y_l))$ qui déplace la pseudo-étiquette vers la véritable étiquette humaine. Cette correction est amplifiée par un poids d'importance $\frac{n_l + n_u}{n_l}$, qui reflète la rareté des données étiquetées.
• Propriétés Théoriques :
  1. Absence de biais (Unbiasedness) : L'espérance de la perte DeDPO est égale à la perte DPO au niveau de la population, que les étiquettes synthétiques soient correctes ou non. Si les étiquettes synthétiques sont parfaites, elle utilise toutes les données ; si elles sont totalement erronées, elle revient asymptotiquement à n'utiliser que les données étiquetées.
  2. Robustesse à la convergence du modèle synthétique : Les auteurs prouvent que le modèle de diffusion cible $\theta$ peut atteindre des taux de convergence optimaux même si le modèle de préférence synthétique $\hat{G}$ converge à un rythme beaucoup plus lent (spécifiquement, le terme d'erreur dépend de la puissance 4 de l'erreur du modèle synthétique). Cela permet au système d'être robuste même lorsque l'annotateur synthétique est imparfait.

2.3. Sources de Préférences Synthétiques

Le cadre supporte deux sources principales pour les étiquettes synthétiques :

1. Auto-entraînement (Self-Training) : Utiliser la marge de récompense implicite de la politique actuelle $\theta$ (des itérations précédentes) pour générer des étiquettes. Les auteurs notent que pour éviter le surapprentissage, le modèle synthétique devrait idéalement être entraîné sur des données indépendantes de l'ensemble d'entraînement DPO.
2. Modèles Vision-Langage Pré-entraînés (VLM) : Utiliser des modèles comme Qwen ou CLIP pour annoter des paires d'images. Cela est privilégié dans le cadre de cet article car cela évite la violation d'indépendance inhérente à l'auto-entraînement sur les mêmes données étiquetées.

3. Contributions Clés

• Estimation Débiaisée pour la Diffusion : Le papier introduit la première application des techniques d'estimation débiaisée de l'inférence causale au problème de l'optimisation des préférences dans les modèles de diffusion.
• Alignement Semi-Supervisé : Il établit un cadre robuste pour aligner les modèles de diffusion en utilisant une petite fraction d'étiquettes humaines (ex: 25 %) augmentée par un large corpus d'étiquettes synthétiques, sans nécessordre de modèle de récompense distinct.
• Garanties Théoriques : Les auteurs fournissent des preuves théoriques démontrant que la perte proposée est sans biais et que le processus d'apprentissage est robuste aux erreurs du modèle de préférence synthétique, à condition que le modèle synthétique soit entraîné sur des données indépendantes.

4. Résultats Expérimentaux

Les auteurs ont évalué DeDPO sur les jeux de données FiFA-5K et HPDv2 en utilisant des architectures de base SD1.5 et SDXL.

• Performance vs DPO Entièrement Supervisée : La DPO entraînée avec 25 % d'étiquettes humaines et 75 % d'étiquettes synthétiques a systématiquement égalé ou légèrement dépassé la performance de la DPO entraînée sur 100 % d'étiquettes humaines.
  • Sur FiFA-5K avec SD1.5, DeDPO a atteint un PickScore de 21,91 et un HPSv2 de 27,80, surpassant la ligne de base DPO entièrement supervisée (21,88 PS, 27,79 HPSv2).
  • Sur SDXL, DeDPO a égalé la performance entièrement supervisée (22,83 PS contre 22,84 PS).
• Robustesse au Bruit : En revanche, une approche naïve mélangeant les étiquettes synthétiques avec la DPO (sans débaisage) a systématiquement sous-performé, montant que l'ajout de données synthétiques peut dégrader l'alignement s'il n'est pas corrigé.
• Scalabilité : À mesure que la taille de l'ensemble de données synthétiques non étiquetées augmentait (jusqu'à 98K paires), DeDPO maintenait une performance stable, alors que la performance de la DPO classique se dégradait significativement en raison de l'accumulation d'étiquettes bruitées.
• Améliorations Qualitatives : Les comparaisons visuelles ont montré que DeDPO capture mieux les détails fins et les contraintes de composition (ex: objets spécifiques dans des prompts complexes) par rapport aux modèles entraînés avec moins d'étiquettes humaines ou un mélange synthétique naïf.
• IA comme Juge (AI-as-a-Judge) : Des juges IA alignés sur l'humain (Gemini 2.5 Flash) ont préféré DeDPO à la DPO entièrement supervisée dans environ 57 % des cas pour la Préférence Générale et l'Attrait Visuel, et à la DPO semi-supervisée dans environ 76 % des cas.

5. Signification et Revendications

Le papier affirme que DeDPO fournit une solution scalable et rentable pour l'alignement humain-IA dans les modèles de diffusion. En intégrant l'estimation débiaisée, la méthode transforme avec succès un feedback synthétique peu coûteux et bruité en un signal d'entraînement fiable.

Les auteurs affirment que DeDPO :

1. Surmonte le goulot d'étranglement des données : Elle permet un alignement de haute qualité en utilisant une petite fraction d'étiquettes humaines, rendant l'optimisation des préférences à grande échelle réalisable sans coûts prohibitifs.
2. Assure la robustesse : Elle est résiliente aux variations et au bruit inhérents aux annotateurs synthétiques (incluant l'auto-entraînement et les VLM), évitant l'instabilité souvent observée lors de l'entraînement sur des préférences générées par l'IA.
3. Atteint une efficacité de pointe : Elle atteint des performances comparables, voire parfois supérieures, à celles des modèles entraînés sur des ensembles de données entièrement étiquetés par des humains, établissant un nouveau standard pour l'optimisation efficace des préférences.

Le travail conclut qu'un feedback synthétique correctement débiaisé est un substitut viable et fiable pour un étiquetage humain étendu, offrant une voie pratique pour aligner les modèles génératifs avec les valeurs humaines.