Extend3D: Town-Scale 3D Generation

Probleemstelling

Hoewel er recente vooruitgang is geboekt met generatieve modellen voor 3D-objecten, blijft het genereren van grote, schaalbare 3D-scènes (zoals stadslandschappen) vanuit één enkele 2D-afbeelding een uitdaging. De huidige problemen zijn:

1. Object-gerichte datasets: De meeste bestaande 3D-datasets en modellen zijn getraind op individuele objecten, niet op complexe scènes met meerdere objecten en achtergronden.
2. Beperkte latent space: Bestaande latent generatieve modellen gebruiken een vaste grootte voor de latent space. Als de scène groter wordt, moet de latent space worden uitgerekt, wat leidt tot wazige resultaten en verlies van detail (vergelijkbaar met een lage resolutie).
3. Inconsistentie bij uitbreiding: Eerdere "training-free" benaderingen die proberen scènes te genereren door objecten achter elkaar te plakken (outpainting), leiden vaak tot zichtbare naden, inconsistenties tussen blokken en het verdwijnen van vloeren of objecten.

Methodologie: Extend3D

Extend3D is een training-free pipeline die een vooraf getraind object-gericht 3D-generatiemodel (zoals Trellis) aanpast om grootschalige scènes te genereren. De kern van de methode bestaat uit drie hoofdblokken:

1. Uitgebreide Latent Space en Overlappende Patches

Om de beperking van de vaste latent space te overwinnen, wordt de latent space in de x- en y-richtingen uitgebreid.

• Patch-gebaseerde generatie: De uitgebreide latent space wordt opgedeeld in overlappende patches (vensters).
• Gekoppelde denoising: In plaats van patches sequentieel te genereren, worden ze simultaan gegenereerd via afzonderlijke maar gekoppelde denoising-paden. De vectorvelden van de patches worden gemiddeld in de overlappende gebieden.
• Voordeel: Dit zorgt voor een betere uitwisseling van lokale informatie tussen patches, waardoor fouten in de ene patch kunnen worden gecorrigeerd door de buren, wat leidt tot een consistentere globale structuur.

2. Initialisatie met Priors en "Under-noising"

Om de ruimtelijke uitlijning tussen de 2D-afbeelding en de 3D-structuur te verbeteren en het probleem van het "verdwijnen" van objecten op te lossen:

• Point Cloud Prior: De scène wordt geïnitieerd met een point cloud die is afgeleid van een monokulaire diepteschatter (bijv. MoGe-2).
• Iteratieve SDEdit: De methode gebruikt SDEdit (Stochastic Differential Equation Edit) om de geïnitieerde structuur te verfijnen.
• Under-noising: Een cruciale innovatie is de techniek van "under-noising". In plaats van de guide-structuur (point cloud) evenveel ruis toe te voegen als er wordt verwijderd, wordt er minder ruis toegevoegd dan er wordt verwijderd ($t_{noise} < t_{start}$). Hierdoor behandelt het model de ontbrekende of verduisterde delen van de point cloud als extra ruis die moet worden "opgelost" tijdens het denoising-proces, wat leidt tot een natuurlijke aanvulling van de verduisterde gebieden.

3. 3D-bewuste Optimalisatie

Om te voorkomen dat het object-gerichte model de scène weer terugbrengt naar object-dynamiek (bijv. zwevende objecten of verdwijnende vloeren), wordt de latent space tijdens het denoising-proces geoptimaliseerd:

• Sparse Structure Loss: Een verliesfunctie die ervoor zorgt dat voxels die overeenkomen met de point cloud prior niet verdwijnen tijdens het denoising.
• Structured Latent (SLAT) Loss: Een rendering-verlies (gebaseerd op LPIPS en SSIM) dat de gegenereerde 3D-weergave vergelijkt met de originele input-afbeelding. Dit zorgt voor betere textuurkwaliteit en maakt naden tussen patches onzichtbaar.

Belangrijkste Bijdragen

1. Uitbreiding van de Latent Space: Het mogelijk maken van schaalbare 3D-scènegeneratie door de latent space van object-gerichte modellen uit te breiden zonder extra training.
2. Overlappende Patch-flow: Een nieuwe flow-mechanisme dat lokale informatie vastlegt en fouten van object-gerichte modellen mitigeert door simultane generatie van overlappende patches.
3. Iteratief Under-noising en Optimalisatie: De introductie van "under-noising" voor het completeren van verduisterde gebieden en 3D-bewuste optimalisatie om de consistentie van de scène te waarborgen.

Resultaten

De auteurs evalueren Extend3D zowel kwalitatief als kwantitatief:

• Menselijke Voorkeur: In een studie met menselijke beoordelaars scoorde Extend3D significant hoger dan state-of-the-art modellen (Trellis, Hunyuan3D, EvoScene) op vier criteria: geometrie, trouw aan de input (faithfulness), uiterlijk en volledigheid.
• Kwantitatieve Metingen: De methode behaalde de beste scores op LPIPS, SSIM en PSNR, wat aangeeft dat de gegenereerde scènes het meest trouw zijn aan de input-afbeelding in termen van structuur en textuur. Ook op geometrische metrieken (Chamfer Distance en F-score) presteerde het beter dan concurrenten.
• Kwaliteit: De resultaten tonen aan dat de methode in staat is om gedetailleerde stadslandschappen (zoals Vaticaanstad) te genereren met een schaalvergroting van 36x ten opzichte van de originele latent space, zonder zichtbare naden of vervormingen.

Betekenis en Toekomstperspectief

Extend3D is een doorbraak in het veld van 3D-generatie omdat het de kloof overbrugt tussen het genereren van individuele objecten en het creëren van complete, grote 3D-werelden zonder dat er nieuwe modellen hoeven te worden getraind (wat vaak onhaalbaar is door gebrek aan data).

• Toepassing: Het heeft grote potentie voor game-ontwikkeling, filmproductie, animatie en simulaties, waar het snel genereren van gedetailleerde omgevingen cruciaal is.
• Beperkingen: De methode heeft nog beperkingen bij het volledig completeren van zeer complexe verduisterde gebieden (zoals binnenkamers) en presteert minder goed bij straatniveau-afbeeldingen door schaalproblemen veroorzaakt door verdwijnpunten. Ook is de rekenkosten voor de optimalisatie van grote scènes hoog.

Kortom, Extend3D biedt een robuuste, training-free oplossing voor het genereren van schaalbare 3D-scènes, waarbij het de beperkingen van bestaande object-gerichte modellen effectief omzeilt door slimme uitbreiding van de latent space en geavanceerde prior-gebaseerde optimalisatie.