Pose-Aware Diffusion for 3D Generation

1. Probleemstelling

Het paper adresseert een kritieke bottleneck in de 3D-generatie vanuit één afbeelding: ruimtelijke misalignatie en pose-ambiguïteit.

• Het 'Canonical-Then-Rotate'-Paradigma: De meeste bestaande state-of-the-art (SOTA) methoden genereren 3D-objecten in een genormaliseerde "canonieke" coördinatenruimte (vaste oriëntatie) en proberen vervolgens het object te roteren om te matchen met de pose van de invoerafbeelding.
• Beperkingen:
  1. Ruimtelijke Mismatch: Het ontkoppelen van generatie en pose-schatting breekt het directe verband tussen de fijnkorrelige details van de invoerafbeelding en de gegenereerde geometrie. Zelfs met een correcte rotatie faalt de vorm vaak om pixel-perfect te aligneren met de invoer.
  2. Pose-Ambiguïteit: Objecten met symmetrische eigenschappen leiden vaak tot transformatiefouten (bijv. omgekeerde rotaties) tijdens de post-hoc pose-schatting.
  3. Sceensamenstelling: Het reconstrueren van multi-object-scènes is moeilijk omdat het aligneren van onafhankelijk gegenereerde canonieke objecten in een coherente scène complexe, foutgevoelige optimalisatie vereist.

2. Methodologie: Pose-Aware Diffusion (PAD)

PAD stelt een end-to-end framework voor dat 3D-geometrie direct genereert binnen de observatieruimte (het coördinatenstelsel van de invoerafbeelding), waardoor de noodzaak voor canonieke aannames of post-hoc pose-registratie wordt geëlimineerd.

Kerncomponenten:

1. Generatie in Observatieruimte:

   • In plaats van een canoniek mesh $M$ te genereren en een transformatie $T$ toe te passen, modelleert PAD de directe mapping $p(\hat{M}|I)$, waarbij $\hat{M}$ het uiteindelijke pose-gealigneerde mesh is en $I$ de invoerafbeelding.
   • Dit zorgt ervoor dat de gegenereerde geometrie intrinsiek vergrendeld is op het invoerzichtpunt.

2. Latente Puntconditionering (De Kerninnovatie):

   • Unprojectie: Een metrische diepteschatter (bijv. MoGe) extrahert een dieptekaart uit de invoerafbeelding, die wordt unprojecteerd naar een gedeeltelijke 3D-puntwolk ($P_{partial}$) die het zichtbare oppervlak vertegenwoordigt.
   • 3D Latente Encoding: Deze gedeeltelijke puntwolk wordt gecodeerd in een compact geometrisch latent vector ($z_{geo}$) met behulp van een vooraf getrainde VecSet VAE (een permutatie-invariante architectuur).
   • Concatenatie: In tegenstelling tot methoden die 2D-afbeeldingskenmerken gebruiken voor cross-attention, concateneert PAD $z_{geo}$ direct met de diffusielaatente tokens ($z_t$) langs de sequentiedimensie.
   • Effect: Dit fungeert als een "geometrische anker", waardoor het diffusiemodel wordt gedwongen de ontbrekende geometrie (occludeerde delen) naar buiten te hallucineren vanuit het bekende zichtbare oppervlak, waardoor strikte ruimtelijke alignatie wordt gewaarborgd.

3. Trainingsstrategie & Stabilisatie:

   • Initialisatie: Het model wordt geïnitieerd vanuit Hunyuan3D-2.1, een groot-schalig vooraf getraind 3D-diffusiemodel.
   • Data Curatie: Het trainingsdataset (Objaverse, 3D-Front) wordt gecureerd door objecten te renderen vanuit specifieke gezichtspunten en de ground-truth meshes expliciet te roteren om perfect te aligneren met die weergaven.
   • Dieptestruis Augmentatie: Om te voorkomen dat het model overfitt op perfecte ground-truth diepte en faalt bij ruwe real-world diepteschattingen, vervangt het trainingsproces willekeurig ground-truth diepte door geschatte diepte en injecteert ruis in de gedeeltelijke puntwolken. Dit dwingt het model om robuust ontbrekende geometrie te hallucineren.

4. Compositional Scene Generation:

   • PAD breidt zich natuurlijk uit tot scenegeneratie. Door een scenefoto te segmenteren in individuele objecten, gedeeltelijke puntwolken voor elk te extraheren en ze onafhankelijk te genereren in het globale camerakader, wordt een coherente 3D-sceen gevormd via een eenvoudige unie.
   • Dit omzeilt de noodzaak voor multi-view gezamenlijke optimalisatie of per-instantie pose-registratie.

3. Belangrijkste Bijdragen

1. End-to-End Pose-Aware Framework: PAD is het eerste diffusiemodel dat 3D-assets direct genereert in de observatieruimte, wat fundamenteel pose-ambiguïteit en ruimtelijke mismatch elimineert.
2. Directe 3D Latente Conditionering: Introduceert een nieuw mechanisme om unprojecteerde gedeeltelijke puntwolken in te voegen in de diffusielaatente ruimte, waardoor strikte ruimtelijke beperkingen worden afgedwongen die 2D-afbeeldingskenmerken niet kunnen bieden.
3. Robuustheid tegen Imperfecte Priors: Door dieptestruis-augmentatie leert het model om gedeeltelijke puntwolken te behandelen als grove structurele richtlijnen, waardoor hoge fideliteit wordt behouden zelfs bij ruwe diepte-invoer.
4. Schaalbaarheid naar Scènes: Demonstreert dat pose-gealigneerde objectgeneratie naadloos kan worden samengesteld tot complexe 3D-scènes zonder aanvullende alignatie-optimalisatie.

4. Experimentele Resultaten

De auteurs hebben PAD geëvalueerd op Google Scanned Objects (GSO) voor single-object generatie en 3D-FUTURE voor compositional scene generation.

• Kwantitatieve Prestaties:

  • Pose-Gealigneerde Objectgeneratie: PAD presteert beter dan SOTA-baselines (DreamGaussian, InstantMesh, MIDI, SceneGen, SAM-3D) op alle metrieken.
    • Chamfer Distance (CD): Laagste fout (48,76 vs. 56,77 voor de volgende beste).
    • F-Score: Hoogste score (0,204), wat aangeeft dat er betere geometrische details en alignatie zijn.
    • Image-to-3D Similariteit: Hoogste scores op Uni3D en ULIP-benchmarks.
  • Compositional Scene Generation: PAD behaalt de beste CD (56,24) en F-Score (0,212), aanzienlijk beter dan SceneGen en SAM-3D.

• Kwalitatieve Analyse:

  • Baselines produceren vaak zwevende objecten, omgekeerde rotaties of geometrische vervormingen (bijv. misalignatie van SAM-3D, over-hallucinatie van MIDI).
  • PAD behoudt ingewikkelde details, handhaaft exacte poses en behandelt occlusies effectief, waardoor waterdichte meshes worden geproduceerd die perfect aligneren met de invoerafbeelding.

5. Betekenis en Impact

• Paradigmaverschuiving: PAD verlegt het veld weg van de "canonical-then-rotate"-workflow, die inherent foutgevoelig is, naar een directe "observation-space"-generatieparadigma.
• Praktische Toepassingen: Door het waarborgen van nauwkeurige ruimtelijke alignatie is PAD direct toepasbaar op downstream-taken die fysieke nauwkeurigheid vereisen, zoals robotische simulatie, virtual reality en gaming, waarbij gegenereerde assets naadloos moeten passen in bestaande 3D-omgevingen.
• Compositional Intelligence: Het vermogen om coherente multi-object-scènes te genereren vanuit één afbeelding zonder complexe optimalisatiepijplijnen, vormt een aanzienlijke stap richting geautomatiseerde 3D-contentcreatie.

Beperkingen: De nauwkeurigheid van de methode blijft afhankelijk van de kwaliteit van de upstream monocular diepteschatter en 2D-segmentatiemaskers. Zwaar occludeerde gebieden kunnen nog steeds structurele ambiguïteiten vertonen.