BlendFusion -- Scalable Synthetic Data Generation for Diffusion Model Training

1. Problématique

L'adoption rapide des modèles de diffusion a créé une demande massive pour des ensembles de données d'images à grande échelle. Cependant, la collecte de données réelles pose des défis majeurs : coûts d'annotation, biais de données, et problèmes de confidentialité.

La génération de données synthétiques via des modèles de diffusion eux-mêmes (auto-entraînement) est une solution tentante, mais elle présente deux risques critiques :

1. Incohérences visuelles : Les images générées par diffusion souffrent souvent de distorsions géométriques, d'hallucinations d'objets et d'artefacts sémantiques.
2. Trou de l'autophagie (Model Autophagy Disorder - MAD) : Entraîner un modèle génératif sur des données produites par d'autres modèles génératifs peut créer une boucle de rétroaction autophage, entraînant une dégradation progressive de la qualité et un effondrement du modèle (Model Collapse).

Il est donc nécessaire de développer une méthode de génération de données synthétiques qui soit physiquement cohérente, contrôlable et évite les artefacts inhérents aux modèles de diffusion, tout en fournissant des paires image-texte de haute qualité.

2. Méthodologie : Le Pipeline BlendFusion

Les auteurs proposent BlendFusion, un cadre scalable pour générer des paires image-texte à partir de scènes 3D en utilisant le rendu par traçage de rayons (path tracing) via le moteur graphique Blender (via la bibliothèque BlenderProc). Le pipeline se compose de six étapes clés :

A. Placement de Caméra Centré sur l'Objet (Object-Centric)

Contrairement aux échantillonnages aléatoires globaux, cette stratégie place les caméras de manière systématique autour de chaque objet maillé d'une scène 3D.

• Mécanisme : Pour chaque objet, une boîte englobante est calculée. Les caméras sont positionnées sur une orbite discrète autour du centre de l'objet (8 azimuts espacés de 45°, élévation fixe à 0° pour simuler un niveau des yeux).
• Adaptation : La distance de la caméra est ajustée dynamiquement en fonction de la taille projetée de l'objet pour garantir qu'il occupe une fraction constante de l'image (environ 2/3 de la hauteur), assurant un cadrage cohérent et une échelle d'objet prévisible.

B. Filtrage par Heuristiques

Un filtre léger élimine les rendus inutilisables basés sur des statistiques d'image et de segmentation :

• Remplissage (Fill) : Rejet des images où l'objet cible n'est pas visible (occlusion totale ou hors champ).
• Luminosité : Rejet des images trop sombres (ombres excessives).
• Variance des pixels : Rejet des images à faible variance (fonds plats, manque de structure visuelle).
• Pixels sombres : Rejet des images où une grande proportion de pixels est proche du noir (sous-exposition).

C. Filtrage basé sur les Modèles Vision-Langage (VLM)

Un modèle VLM (Qwen3-VL-8B-Instruct) évalue la "capacité de légendage" de chaque image.

• Critères d'acceptation : L'image doit soit montrer un objet reconnaissable avec un contexte suffisant, soit un environnement clairement identifiable.
• Rejet : Les gros plans extrêmes, les fragments partiels sans contexte, les tronquages sévères ou les images où la catégorie de l'objet/scène est indéterminée sont rejetés.

D. Génération de Légendes

Le même VLM génère une légende factuelle, courte et neutre pour chaque image filtrée, en décrivant uniquement ce qui est observable pour éviter les hallucinations.

E. Filtrage par Qualité (Optionnel)

Une étape supplémentaire utilise deux métriques pour éliminer les échantillons de faible qualité :

• CLIPScore : Mesure l'alignement sémantique entre l'image et la légende.
• Score Esthétique LAION : Estime la qualité perceptive de l'image.

F. Échantillonnage Conscient de la Diversité

Pour éviter la redondance, les auteurs utilisent un échantillonnage par point le plus éloigné (Farthest Point Sampling - FPS) dans l'espace des embeddings (via DinoV2). Cette méthode sélectionne un sous-ensemble d'images maximisant la couverture visuelle tout en minimisant les doublons, en répartissant ces images de manière équilibrée entre les ensembles d'entraînement, de validation et de test.

3. Contributions Clés

1. BlendFusion : Un pipeline open-source et configurable pour générer des données synthétiques à partir de scènes 3D, intégrant un placement de caméra centré sur l'objet et des filtres de qualité automatisés.
2. FineBLEND : Un nouvel ensemble de données composé de 7 500 paires image-texte rendues à partir de scènes 3D diverses (intérieurs, extérieurs, architectures), construites avec le pipeline BlendFusion.
3. Analyse Comparative : Une évaluation empirique démontrant que FineBLEND atteint des scores d'alignement image-texte (CLIPScore) comparables aux ensembles de données réels majeurs (MS-COCO, Conceptual Captions), avec une variance plus faible.
4. Validation de la Stratégie de Caméra : Preuve expérimentale que le placement centré sur l'objet produit un taux de rendus utilisables nettement supérieur aux méthodes d'échantillonnage agnostiques (aléatoire ou balayage d'ancres).

4. Résultats et Analyse

• Qualité des Données (FineBLEND) :

  • Le score moyen CLIP de FineBLEND est de 25.91, comparable à MS-COCO (25.43) et Conceptual Captions (24.72).
  • La variance des scores est plus faible que celle des ensembles de données réels, indiquant une cohérence supérieure entre les images et leurs légendes grâce au processus de génération contrôlé.
  • Le score esthétique moyen (4.52) est inférieur à celui des photos réelles (dû à la différence de domaine entre rendu 3D et photographie), mais comparable à ReLAION, suggérant une qualité suffisante pour l'entraînement.

• Comparaison avec les Images Générées par Diffusion :

  • Une comparaison qualitative avec Stable Diffusion XL (SDXL) montre que les rendus de BlendFusion évitent les hallucinations géométriques, les dérives sémantiques et les échecs de rendu de texte fréquents dans les modèles de diffusion.
  • Cela confirme que les données basées sur le traçage de rayons sont plus fiables pour éviter le phénomène de MAD lors de l'entraînement de futurs modèles.

• Ablation (Placement de Caméra) :

  • Sur des scènes difficiles (ex: "Barbershop"), la stratégie centrée sur l'objet a produit 5.2% d'images valides après filtrage VLM, contre seulement 1.3-1.4% pour les méthodes d'échantillonnage aléatoire ou par balayage d'ancres. Cela démontre une efficacité bien supérieure en termes de rendement de données exploitables.

5. Signification et Perspectives

Ce travail propose une alternative robuste et contrôlable aux données web scrapées ou générées par IA pour l'entraînement des modèles de diffusion. En ancrant les données dans la réalité physique (géométrie, éclairage, structure) via le rendu 3D, BlendFusion offre une source de données qui préserve la diversité et la cohérence structurelle, réduisant les risques d'effondrement de modèle.

Limitations et Futur :

• La taille actuelle de FineBLEND (7 500 images) est petite par rapport aux besoins des modèles de diffusion modernes, en raison des contraintes de calcul du rendu et du filtrage VLM.
• Le réalisme photométrique est inférieur à celui des photos réelles. Les auteurs suggèrent d'utiliser des techniques de raffinement basées sur la diffusion (ex: ControlNet) pour améliorer le réalisme visuel tout en conservant la structure physique.

En conclusion, BlendFusion démontre que la génération de données synthétiques à partir de scènes 3D est une voie prometteuse pour créer des ensembles de données de haute qualité, évitant les pièges de l'autophagie des modèles.