BlendFusion -- Scalable Synthetic Data Generation for Diffusion Model Training

Probleemstelling

De snelle adoptie van diffusiemodellen heeft een enorme vraag naar grote datasets met afbeeldingen en bijbehorende tekstbeschrijvingen (image-caption pairs) gecreëerd. Het verzamelen van deze data uit de echte wereld (bijv. LAION-5B, MS-COCO) brengt echter uitdagingen met zich mee, zoals hoge annotatiekosten, dataset-bias en privacyzorgen.

Als alternatief wordt synthetische data gegenereerd door diffusiemodellen zelf, maar dit leidt tot twee kritieke problemen:

1. Visuele inconsistenties: Door diffusiemodellen gegenereerde afbeeldingen vertonen vaak geometrische vervormingen, object-hallucinaties en semantische artefacten.
2. Model Autophagy Disorder (MAD): Het trainen van generatieve modellen op data die door andere generatieve modellen is gegenereerd, kan leiden tot een autophagische feedbacklus. Hierbij degradeert de kwaliteit en diversiteit van het model geleidelijk, wat uiteindelijk kan leiden tot "model collapse".

Er is dus behoefte aan een schaalbare methode om hoogwaardige, fysiek consistente synthetische data te genereren die deze valkuilen omzeilt.

Methodologie: BlendFusion

De auteurs stellen BlendFusion voor, een schaalbaar framework voor het genereren van synthetische image-caption paren uit 3D-scènes met behulp van path tracing (fysiek gebaseerd rendering). Het framework gebruikt de Blender-engine en de BlenderProc-bibliotheek. De pijplijn bestaat uit de volgende kernstappen:

1. Object-gecentreerde cameraplatsering (Object-Centric Camera Placement):

   • In plaats van camera's willekeurig in een scène te plaatsen, richt het systeem zich specifiek op individuele objecten (meshes).
   • Voor elk object wordt een as-uitgelijnde omhullende doos (bounding box) berekend. Camera's worden op een discrete baan rond het centrum van het object geplaatst (8 azimut-hoeken, vaste elevatie van 0° voor ooghoogte).
   • De afstand van de camera wordt dynamisch aangepast op basis van de projectie van het object om te zorgen dat het object consistent ongeveer 2/3 van de hoogte van de afbeelding inneemt. Dit garandeert goede framing en voorkomt dat objecten te klein zijn of volledig worden afgesneden.

2. Filtering op basis van heuristieken:

   • Een lichte set filters verwijdert onbruikbare frames op basis van statistieken van de RGB-afbeeldingen en segmentatiemaps.
   • Criteria: Verwijdering van frames zonder object (lege frames), te donkere afbeeldingen (slechte belichting), afbeeldingen met zeer lage pixelvariatie (vlakke achtergronden) en frames met een te hoog percentage bijna-zwarte pixels.

3. Filtering op basis van Vision-Language Models (VLM):

   • Een VLM (Qwen3-VL-8B-Instruct) evalueert of een afbeelding betrouwbaar beschreven kan worden.
   • Afbeeldingen worden alleen behouden als ze voldoen aan object-gerichte criteria (een herkenbaar object is zichtbaar) of scène-gerichte criteria (de omgeving is duidelijk identificeerbaar).
   • Het model verwijdert extreme close-ups, fragmenten zonder context, of afbeeldingen waar het object/onderwerp niet te bepalen is.

4. Generatie van bijschriften (Captioning):

   • De VLM genereert een feitelijke, korte en neutrale bijschrift voor de gefilterde afbeeldingen, met de instructie om geen hallucinaties toe te voegen.

5. Kwaliteitsfiltering en Diversiteitsbewuste Sampling:

   • Kwaliteit: Afbeeldingen met een lage CLIPScore (semantische uitlijning tussen tekst en beeld) of een lage LAION esthetische score worden verwijderd.
   • Diversiteit: Om redundantie te minimaliseren, worden embeddings (via DinoV2) gebruikt. Een "Farthest Point Sampling" (FPS) algoritme selecteert een subset van afbeeldingen die de visuele verdeling maximaliseert en dubbele beelden elimineert. Dit wordt parallel toegepast op train-, validatie- en testsets.

Belangrijkste Bijdragen

• BlendFusion Framework: Een open-source, configureerbare pijplijn voor het genereren van synthetische data uit 3D-scènes met fysiek gebaseerd rendering.
• FineBLEND Dataset: Een gecurateerde dataset van 7.500 image-caption paren, gegenereerd uit diverse 3D-omgevingen (zoals Bistro, Sun Temple, Barbershop).
• Validatie van Object-gecentreerde Strategie: Empirisch bewijs dat het richten op objecten voor cameraplatsering aanzienlijk meer bruikbare renders oplevert dan object-agnostische sampling-methoden.
• Kwaliteitsanalyse: Een uitgebreide vergelijking van FineBLEND met bestaande datasets (MS-COCO, Conceptual Captions, ReLAION) en een kwalitatieve analyse van de verschillen met diffusie-gegenereerde data.

Resultaten

• Kwaliteit van Data: FineBLEND bereikt een gemiddelde CLIPScore van 25.91, wat vergelijkbaar is met MS-COCO (25.43) en Conceptual Captions (24.72). De standaardafwijking is lager dan bij real-world datasets, wat wijst op een consistentere uitlijning tussen beeld en tekst dankzij de gecontroleerde generatiepijplijn.
• Esthetische Scores: De esthetische scores zijn iets lager dan die van fotorealistische datasets (door het verschil tussen gerenderde en echte foto's), maar vergelijkbaar met ReLAION, wat aangeeft dat ze voldoende kwaliteit hebben voor training.
• Efficiëntie: De object-gecentreerde strategie levert aanzienlijk meer bruikbare samples op na filtering (bijv. 5,2% pass rate voor VLM in de "Barbershop" scène) vergeleken met willekeurige of anker-gebaseerde methoden (die vaak <1,5% halen).
• Vergelijking met Diffusie: Kwalitatieve vergelijkingen tonen aan dat diffusie-gegenereerde afbeeldingen (via SDXL) last hebben van geometrische hallucinaties, semantische drift en onleesbare tekst, terwijl BlendFusion-fysiek gebaseerde renders geometrisch correct en consistent zijn.

Betekenis en Conclusie

BlendFusion biedt een robuust alternatief voor het trainen van diffusiemodellen dat de risico's van "Model Autophagy Disorder" (MAD) minimaliseert door te vertrouwen op fysiek correcte 3D-rendering in plaats van op data gegenereerd door andere generatieve modellen.

Hoewel de huidige dataset (7.500 afbeeldingen) kleiner is dan de miljardenparen die vaak worden gebruikt, demonstreert het paper de effectiviteit van de methode. De auteurs benadrukken dat fysiek gebaseerde synthetische data een schaalbare en controleerbare bron kan zijn die de generalisatie van modellen verbetert, vooral wanneer deze wordt gecombineerd met real-world data. Toekomstig werk richt zich op het schalen van de pijplijn naar grotere 3D-collecties en het verbeteren van de fotorealisme via post-processing.