SceneTransporter: Optimal Transport-Guided Compositional Latent Diffusion for Single-Image Structured 3D Scene Generation

Dit paper introduceert SceneTransporter, een framework dat optimale transport gebruikt binnen een compositional DiT-model om uit één afbeelding coherent gestructureerde 3D-scènes te genereren door patch-to-3D-toewijzingen te optimaliseren en zo fragmentatie en verstrengeling te voorkomen.

De kern

Stel je voor dat je een foto van een drukke straat maakt: er staan huizen, bomen, auto's en mensen. Je wilt nu dat een computer deze foto omzet in een 3D-wereld, waarbij elk object (de auto, de boom, het huis) een apart, losstaand stukje is dat je kunt verplaatsen of bewerken.

Helaas is dit voor computers tot nu toe erg lastig. Vaak maken ze een grote, modderige "klont" van 3D-geometrie, waarbij de wielen van de auto in de grond vastzitten en de takken van de boom in het huis van de buren verweven zijn. Het is alsof je een legpuzzel probeert te maken, maar alle stukjes aan elkaar geplakt zijn met lijm.

Deze paper introduceert SceneTransporter, een nieuwe manier om dit probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Verkeerde Buurman"

Bestaande methoden proberen de foto op te splitsen in onderdelen, maar ze hebben geen goed plan. Ze laten de computer raden welk stukje van de foto bij welk 3D-voorwerp hoort.

• Het resultaat: De computer denkt dat de deur van het huis bij de auto hoort, of dat de lucht een deel is van de grond. Ze "verwarren" elkaar. In de paper noemen ze dit structuur-misverdeling (de onderdelen zijn door elkaar) en geometrische redundantie (meerdere onderdelen claimen dezelfde ruimte).

2. Het Inzicht: De "Debiased Clustering"

De onderzoekers keken eerst diep in het brein van de computer (de "latent space") om te zien wat er misging. Ze ontdekten dat de computer wel de juiste informatie had, maar geen regels om die informatie goed te sorteren.

• De analogie: Stel je voor dat je een grote stapel losse kledingstukken hebt (sokken, shirts, broeken). De computer weet dat er sokken en shirts in zitten, maar hij gooit ze allemaal in één grote hoop zonder ze te sorteren. Je moet hem een sorteermachine geven.

3. De Oplossing: Optimal Transport (De "Logistieke Planner")

Hier komt de kern van hun nieuwe methode: Optimal Transport (OT).
In de echte wereld is OT een manier om logistiek te plannen. Denk aan een vrachtwagenbedrijf dat moet beslissen welke lading naar welke fabriek gaat, zodat er geen vrachtwagen dubbel rijdt en elke fabriek precies genoeg krijgt.

SceneTransporter gebruikt deze wiskundige methode als een slimme router voor de 3D-gegenereerde onderdelen:

• De "Eén-op-één" Regels: De computer krijgt een strikte opdracht: "Elk stukje van de foto (bijvoorbeeld een vierkantje van de lucht) mag maar naar één 3D-voorwerp gaan."

  • Vroeger: Een stukje lucht kon naar zowel de boom als het huis sturen, waardoor ze in elkaar versmolten.
  • Nu: De "OT-planner" zegt: "Nee, dit stukje lucht gaat naar de lucht-laag, en dit stukje gevel gaat naar het huis." Dit voorkomt dat objecten in elkaar verstrikt raken.

• De "Rustige Buurman" (Rand-Regulatie): Soms zijn objecten dicht bij elkaar (bijvoorbeeld een hek tegen een muur). De computer kan hierdoor in de war raken.

  • De methode kijkt naar de randen in de foto (waar de kleuren scherp veranderen).
  • De analogie: Het is alsof je een onzichtbare muur trekt langs de randen van de foto. De computer mag informatie niet over die muur heen sturen. Als er een scherpe lijn is tussen een auto en de weg, zorgt de computer ervoor dat de auto niet "lekt" in de weg.

4. Het Resultaat: Een Schone 3D-Wereld

Door deze regels toe te passen tijdens het genereren van de 3D-wereld, krijgt je:

• Losse objecten: Je kunt de auto weghalen zonder dat de grond mee komt.
• Scherpe randen: Geen vage overgangen tussen objecten.
• Betrouwbaarheid: Het werkt zelfs in complexe, drukke scènes (open wereld) waar andere methoden faalden.

Samenvattend in één zin

SceneTransporter is als het geven van een strikte verkeersregelaar aan een computer die 3D-scènes maakt: hij zorgt ervoor dat elk stukje van de foto precies naar het juiste 3D-object gaat, zonder dat objecten in elkaar lopen of elkaar blokkeren, waardoor je een schone, losse en realistische 3D-wereld krijgt.

Dit maakt het veel makkelijker om later die 3D-wereld te gebruiken voor games, virtual reality of robots, omdat elk object nu een duidelijk, apart stukje is in plaats van een grote, onoplosbare klont.

Technische samenvatting

Probleemstelling

Het genereren van hoogwaardige, schaalbare 3D-scènes uit één enkele afbeelding is cruciaal voor immersive technologieën en embodied AI. Bestaande methoden kampen echter met twee fundamentele beperkingen:

1. Monolithische Output: Veel generatieve modellen produceren één ongestructureerd 3D-mesh. Dit is functioneel inert voor downstream taken zoals materiaaltoewijzing, fysica-simulatie of fijnmazige bewerking, die een expliciete scheiding van objecten vereisen.
2. Fouten in "Divide and Conquer" en End-to-End Benaderingen:
   • Traditionele multi-stap methoden (segmentatie gevolgd door 3D-generatie) zijn breekbaar en gevoelig voor occlusies.
   • Nieuwere end-to-end methoden die gebruikmaken van compositional latent diffusion (waarbij tokens corresponderen met objectdelen) falen vaak in complexe, open-world scènes. Dit leidt tot twee specifieke pathologieën:
     • Structurale Mispartitioning: Semantische instanties (bijv. een hele stoel) worden verspreid over meerdere part-tokens, waardoor objecten gefragmenteerd zijn.
     • Geometrische Redundantie: Meerdere latente tokens "concurreren" om dezelfde geometrische ruimte, wat leidt tot overlappende objecten en feature-entanglement (verstrengeling).

De auteurs stellen dat deze fouten ontstaan door een gebrek aan structurele beperkingen in het interne toewijzingsmechanisme van het model. Het model leert impliciet associaties, maar faalt in het expliciet vaststellen van stabiele, instance-level organisaties.

Methodologie: SceneTransporter

SceneTransporter is een end-to-end framework dat de taak van gestructureerde 3D-scène-generatie herschrijft als een globaal correlatie-toewijzingsprobleem, opgelost met behulp van Optimal Transport (OT). Het framework werkt binnen de denoising-loop van een compositional Diffusion Transformer (DiT).

De kern van de methode bestaat uit drie hoofdelementen:

1. Debiased Clustering Probe (Analyse):
   De auteurs introduceerden eerst een diagnostische probe gebaseerd op Canonical Correlation Analysis (CCA). Hierdoor bleek dat de informatie voor correcte object-toewijzing wel aanwezig is in de latente representaties, maar dat de toewijzing zelf chaotisch is. Door gedeelde "nuisance" factoren (zoals de grond of globale stijl) te verwijderen, konden ze stabiele objectgroeperingen herstellen, wat bewees dat het probleem ligt in het toewijzingsmechanisme, niet in de features zelf.

2. Entropic Optimal Transport (OT) Formulering:
   Om de toewijzing van beeldpatches (image patches) aan part-level tokens te optimaliseren, wordt een entropic OT-probleem opgelost in elke denoising-stap.

   • Doel: Een transportplan $A_t$ vinden dat de kosten minimaliseert tussen $L$ beeldpatches en $N$ 3D-part-tokens.
   • Beperkingen: Het plan zorgt voor een 1-op-1 routing (elke patch draagt bij aan slechts één part) en zorgt voor een dekking-begroting (elk part krijgt voldoende informatie). Dit voorkomt feature-entanglement en fragmentatie.

3. Twee Structurele Beperkingen:

   • OT Plan-Gated Cross-Attention: Het berekende transportplan fungeert als een "gate" voor de cross-attention mechanismen. Het vermenigvoudigt de keys en values met een gating-signal dat bepaalt hoeveel een specifieke patch bijdraagt aan een specifiek part. Dit dwingt een exclusieve routing af en voorkomt dat features van verschillende objecten door elkaar lopen.
   • Edge-Regularized Assignment Cost: Om te voorkomen dat informatie over objectgrenzen "lekt" (bijv. een muur die overgaat in een raam), wordt een randkaart (edge map) van de inputafbeelding gebruikt. De kostenmatrix voor de OT wordt geregulariseerd zodat toewijzingen die sterke beeldranden kruisen, worden bestraft. Dit bevordert coherente objectgroeperingen met scherpe grenzen.

Belangrijkste Bijdragen

• Diagnose van Latente Structuur: Het identificeren van het gebrek aan structurele beperkingen in het toewijzingsmechanisme van bestaande part-level generators als de oorzaak van instabiliteit in open-world scènes.
• Nieuw Paradigma: Het herschrijven van 3D-scène-generatie als een Optimal Transport-gestuurd toewijzingsprobleem.
• Innovatieve Architectuur: De introductie van de OT Plan-Gated Cross-Attention en de Edge-Regularized Assignment Cost, die samen zorgen voor exclusieve routing en scherpe objectgrenzen zonder extra semantische maskers te vereisen.
• State-of-the-Art Prestaties: Het bereiken van nieuwe topprestaties in open-world 3D-scène-generatie met aanzienlijk verbeterde coherentie op instance-niveau en geometrische trouw.

Resultaten

De auteurs evalueerden SceneTransporter op een dataset van 74 open-world scènes en vergeleken het met state-of-the-art methoden zoals MIDI, PartCrafter en PartPacker.

• Kwantitatieve Resultaten:
  • Geometrische Fidelity: Hoogste scores op ULIP, ULIP-2 en Uni3D-metrics, wat aangeeft dat de gegenereerde 3D-objecten beter overeenkomen met de inputafbeelding.
  • Part Disentanglement: Laagste Intersection-over-Union (IoU) scores tussen verschillende delen, wat betekent dat er minder overlap is tussen gegenereerde objecten (minder redundantie).
  • Efficiëntie: De inferentietijd is vergelijkbaar met PartPacker en aanzienlijk sneller dan MIDI en PartCrafter.
• Kwalitatieve Resultaten:
  • Het model genereert complete, coherente objecten (bijv. hele huizen, bomen, meubels) in plaats van gefragmenteerde stukken.
  • Er is geen sprake van feature-lekkage tussen aangrenzende objecten (bijv. de grond lekt niet in gebouwen).
  • User studies bevestigen dat menselijke beoordelaars de geometrie, lay-out coherentie en segmentatie van SceneTransporter significant hoger beoordelen dan die van concurrenten.
• Ablatie Studies:
  • Zonder de OT-gated attention daalt de geometrische kwaliteit drastisch.
  • Zonder de edge-regularisatie ontstaan er vage grenzen tussen objecten.
  • De OT-plannen stabiliseren vroeg in het denoising-proces, wat zorgt voor consistente globale lay-out, terwijl latere stappen details verfijnen.

Significatie

SceneTransporter markeert een belangrijke doorbraak in het veld van 3D-generatie. Het lost het fundamentele probleem op van het genereren van gestructureerde, bewerkbare 3D-scènes uit één afbeelding, zonder afhankelijk te zijn van onbetrouwbare 2D-segmentatie of handmatige maskers.

Door Optimal Transport te integreren in de diffusion-loop, biedt het een wiskundig onderbouwde manier om de "chaos" van feature-toewijzing te beheersen. Dit maakt het mogelijk om complexe, open-world omgevingen te genereren die direct bruikbaar zijn voor toepassingen zoals virtuele werelden, robotica en game-ontwikkeling, waar expliciete objectinstanties en fysieke consistentie essentieel zijn. De code en modellen worden openbaar beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in de gemeenschap stimuleert.