Technische Samenvatting: AC3S – Adaptieve Conditionering voor 3D-bewuste Synthetische Datageneratie

Probleemstelling

Synthetische datageneratie is een cruciaal instrument geworden voor het schalen van computer vision-datasets, waarbij diffusiemodellen ongekende fotorealisme bieden. Er blijft echter een significante bottleneck bestaan: het afdwingen van precieze 3D-structurele en pose-consistentie zonder het beeldrealisme op te offeren. Bestaande benaderingen, zoals 3D-DST, maken gebruik van ControlNet met visuele prompts (bijv. randkaarten afgeleid van CAD-renders) om diffusiemodellen te sturen. Hoewel effectief voor geometrische uitlijning, lijden deze methoden vaak aan over-conditionering. Dit uit zich in onscherpe achtergronden, vereenvoudigde objecttexturen en incoherente scènes, omdat de sterke visuele conditionering de generatieve expressiviteit van het vooraf getrainde diffusiemodel onderdrukt. Bovendien blijft het genereren van semantisch consistente tekstprompts die aansluiten bij deze geometrische beperkingen een uitdaging; sjabloongebaseerde prompts missen detail, terwijl captions van echte afbeeldingen vaak conflicteren met de synthetische visuele prompts.

Methodologie

De auteurs stellen AC3S voor, een op diffusie gebaseerd framework dat is ontworpen om de balans te vinden tussen 3D-structurele uitlijning en fotorealisme via twee primaire adaptieve componenten: een Visual Prompt Modulator en een Multi-Agent Vision Language Model (VLM) Prompt Generator.

1. Visuele Prompt Extractie

Volgend op 3D-DST genereert de pipeline 3D CAD-modellen (afkomstig van ShapeNet, Objaverse en OmniObject3D) met behulp van willekeurige cameraparameters om $I_{render}$ te genereren. Een Canny edge detector extraheert een ijle randkaart ($I_{prompt}$) om als visuele input voor ControlNet te dienen.

2. Adaptieve Visuele Prompt Modulator

Om over-conditionering aan te pakken, introduceren de auteurs een zelf-gesuperviseerde modulator die de sterkte van de ControlNet-conditionering dynamisch aanpast.

• Mechanisme: In plaats van ControlNet-features direct ($\mathcal{F}(I_{prompt}; \theta)$) in de U-Net van het diffusiemodel te injecteren, voorspelt het systeem een conditioneringsschaal $\lambda$. De uiteindelijke feature-injectie wordt berekend als $\hat{f} = f + \lambda \cdot \mathcal{F}(I_{prompt}; \theta)$.
• Trainingsstrategie: De modulator is een lichtgewicht drie-laags MLP die via zelf-supervisie wordt getraind. De auteurs observeren dat $\lambda$-waarden onder een bepaalde drempelwaarde falen in het afdwingen van 3D-structuur, terwijl waarden boven een drempelwaarde de structuur afdwingen maar de beeldkwaliteit verslechteren. Ze definiëren de "optimale" $\lambda$ als de kleinste waarde die structurele uitlijning bereikt (vergelijkbaar met de "Just Noticeable Difference" of JND).
• Pseudo-labeling: Om de modulator te trainen zonder menselijke annotatie, genereert het systeem een sequentie van afbeeldingen over een sweep van $\lambda$-waarden (0.3 tot 1.0). Deze afbeeldingen worden geklusterd met k-means (k=2) op basis van pixel-niveau features om onderscheid te maken tussen "niet-uitgelijnde" en "uitgelijnde" distributies. De kleinste $\lambda$ binnen de "uitgelijnde" cluster dient als het pseudo-label voor de training.

3. Multi-Agent VLM Tekst Prompt Generator

Om semantische consistentie tussen tekst en visuele prompts te waarborgen, maken de auteurs gebruik van een multi-agent framework met Qwen3-VL-23B-Instruct. Zeven gespecialiseerde agenten werken samen om prompts te construeren:

• Subject Identifier: Bepaalt de subject-label door de render te kruisverwijzen met een referentie uit ImageNet.
• Genre Selector: Wijst een fotografisch genre toe (bijv. wildlife, macro).
• Pose Extractor: Concludeert de camera- en subject-pose uit de render om perspectief-uitlijning te garanderen.
• Scene Composer: Extraheert visuele attributen (kleur, textuur, achtergrond) uit de referentie-afbeelding.
• Prompt Synthesizers: Agenten 5, 6 en 7 assembleren de positieve prompt, identificeren beschermde termen om te vermijden in de negatieve prompt, en construeren respectievelijk de negatieve prompt.
  Deze workflow zorgt ervoor dat de tekstuele sturing de geometrische beperkingen opgelegd door de visuele prompt ondersteunt, in plaats van ermee in conflict te komen.

4. Dataset Filtering

Om hoogwaardige data te garanderen, filtert de pipeline samples met behulp van DreamSim, een perceptuele gelijkenismetriek. Synthetische afbeeldingen worden vergeleken met hun corresponderende renders (omgezet naar grijswaarden om kleurinvariantie te garanderen) om de beste samples te rangschikken en te selecteren op basis van pose en semantische uitlijning.

Belangrijkste Bijdragen

1. Visual Prompt Modulator: Een zelf-gesuperviseerde strategie om de output van ControlNet dynamisch te dempen, waardoor over-conditionering wordt voorkomen en de generatieve prior van diffusiemodellen behouden blijft.
2. Multi-Agent VLM Framework: Een nieuw systeem voor het synthetiseren van gedetailleerde, 3D-bewuste tekstprompts die semantisch consistent blijven met visuele geometrische controles.
3. Volledige Synthetische Dataset (AC3S): Een dataset van één miljoen afbeeldingen verdeeld over 1.000 ImageNet-categorieën, compleet met 2D- en 3D-annotaties (pose, classificatie-labels en metadata).

Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd om de kwaliteit en bruikbaarheid van AC3S te valideren:

• Beeldkwaliteit: In een ablatie-studie waarbij 1.000 synthetische afbeeldingen per klasse werden vergeleken met ImageNet, bereikte de volledige AC3S-pipeline een Frechet Inception Distance (FID) score van 71.24, een significante verbetering van 15.95 punten ten opzichte van de 3D-DST baseline (87.19). De modulator en de tekstgenerator droegen respectievelijk 9.66 en 8.26 punten bij aan de verbetering.
• Classificatie Nut: Het pre-trainen van modellen (ResNet-18, Swin-S, ConvNeXt-S) op AC3S-data vóór het fine-tunen op ImageNet leverde de hoogste top-1 nauwkeurigheid op voor alle architecturen. Opvallend genoeg zagen ConvNeXt-S en Swin-S een verbetering van 2,6% ten opzichte van de baseline, terwijl ResNet-18 met 0,99% verbeterde.
• Pose Estimatie: Wanneer gepre-trained op AC3S en gefine-tuned op PASCAL3D+, presteerde de methode beter dan 3D-DST. Voor de categorie "sofa" leverde AC3S een winst van 7,39% in nauwkeurigheid bij de $\pi/18$ foutdrempel vergeleken met de baseline.
• Zero-Shot Prestaties: Training uitsluitend op synthetische data (zonder real-world fine-tuning) toonde aan dat AC3S modellen produceert met aanzienlijk betere prestaties dan modellen getraind op 3D-DST data, wat suggereert dat er een dichtere distributie-overeenkomst is met real-world data.

Betekenis

Het artikel beweert dat AC3S een schaalbare oplossing biedt voor de trade-off tussen geometrische controle en fotorealisme in synthetische datageneratie. Door adaptieve conditionering te introduceren, stelt het framework de creatie van hoogwaardige datasets met nauwkeurige 2D- en 3D-annotaties mogelijk. De auteurs stellen dat deze aanpak niet alleen de getrouwheid van gegenereerde afbeeldingen verbetert, maar ook het nut van synthetische data voor downstream 2D- en 3D-computer vision-taken vergroot, wat potentieel de afhankelijkheid van dure real-world dataverzameling vermindert. Het werk wordt ondersteund door subsidies van de National AI Research Resource, AMD, NVIDIA en Lambda, wat de relevantie ervan voor de bredere AI-onderzoeksgemeenschap benadrukt.