Technische Samenvatting: Code-as-Room

Probleemdefinitie

Het ontwerpen van realistische en functionele 3D-binnenruimten is cruciaal voor toepassingen in interieurontwerp, virtual reality, gaming en embodied AI. Echter, handmatige constructie is arbeidsintensief en bestaande geautomatiseerde methoden ondervinden aanzienlijke beperkingen. Traditionele procedurale methoden worden beperkt door handgemaakte regels en vooraf gedefinieerde categorieën, waardoor ze complexe ruimtelijke relaties uit de echte wereld niet kunnen vastleggen. Recente benaderingen met Multimodale Grootte Taalmodellen (MLLM) tonen veelbelovende resultaten, maar hebben moeite met precieze ruimtelijke informatie wanneer ze uitsluitend vertrouwen op tekstbeschrijvingen. Bovendien lijden bestaande, op afbeeldingen gebaseerde agenten die zijn belast met het holistisch genereren van kamers vanuit bovenaanzichten vaak aan instabiliteit, oneindige lussen en het onvermogen om fijnmazige ruimtelijke details te herstellen.

De kernuitdaging die door dit werk wordt aangepakt, is het genereren van een complete, bewerkbare en uitvoerbare 3D-binnenruimte vanuit één enkele afbeelding van een bovenaanzicht. Het doel is het produceren van Blender-code die de kamerstructuur, objectplaatsing, geometrie, materialen en verlichting nauwkeurig weergeeft, en strikt aansluit bij de visuele priors van de invoerafbeelding.

Methodologie: Code-as-Room (CaR)

De auteurs stellen Code-as-Room voor, een MLLM-gebaseerd agentiek framework uitgerust met een gestructureerde uitvoeringsharnas. In tegenstelling tot directe generatiemethoden, decomposeert CaR de complexe taak in een principiële, meerstaps pijplijn die een bovenaanzicht omzet in uitvoerbare Blender-code.

1. Gestructureerde Uitvoeringspijplijn

Het framework werkt via vijf distincte fasen, georganiseerd in tien gespecialiseerde stadia:

• Op afbeeldingen gebaseerde Scenestructurering:

  • Stadium 1 (Ruimtelijke Semantische Analyse): De VLM analyseert de bovenaanzicht-afbeelding om functionele zones, objecthiërarchieën en architectonische elementen (muren, deuren, ramen) te extraheren, en wijst identificatoren en plaatsingstypen toe.
  • Stadium 2 (Constructie van Scenegraph): Een deterministisch skelet wordt afgeleid, waarbij een objectgericht scenegraph wordt geconstrueerd dat relaties definieert tussen architectonische kenmerken, meubels en kleine objecten (opgeslagen in een "sidecar" voor later gebruik).

• Generatie van Lay-outcode:

  • Stadium 3 (Grote Lay-out met Visuele Feedback): Het systeem genereert initiële lay-outcode voor grote meubels. Het hanteert een render–critique–herzien-lus waarbij de huidige code wordt gerenderd tot een bovenaanzicht, geëvalueerd door een op VLM gebaseerde criticus op overlapping, consistentie van grenzen en ruimtelijke relaties, en vervolgens wordt herzien. Deze lus draait een vast aantal iteraties (bijv. 5) om lay-outstabiliteit te waarborgen.
  • Stadium 4 (Auxiliaire Lay-out): Aan de muur bevestigde objecten en visueel opvallende kleine objecten (bijv. tapijten, planten) worden toegevoegd aan de lay-out, terwijl tiny oppervlakgebonden items worden uitgesteld.

• Lay-out-gegronde Objectprofilering:

  • Stadium 5: Het systeem analyseert de vaste lay-out om de VLM te gronden, waarbij fijnmazige objectbeschrijvingen (kleur, materiaal, stijl) en een globale kamerstijlbeschrijving worden gegenereerd, zodat visuele details aansluiten bij de gevestigde ruimtelijke structuur.

• Codegeneratie op Objectniveau:

  • Stadium 6 (Geometrie-vervanging): De grove lay-out-proxy's worden vervangen door gedetailleerde 3D-geometrie-primitieven op basis van de afgeleide objectprofielen. Voor tiny objecten wordt een hybride strategie gebruikt: eerst worden eenvoudige geometrische placeholders gemaakt, gevolgd door het ophalen van assets uit een bibliotheek om ze te vervangen door overeenkomende 3D-modellen.

• Generatie van Code voor Interieurdecoratie:

  • Stadium 8 (Toewijzing van Materialen): Deel-specifieke PBR-materialen worden toegewezen op basis van het objectwoordenboek en de globale stijl.
  • Stadium 9 (Generatie van Texturen): Hoogcapaciteit afbeeldingsgeneratiemodellen synthetiseren textuurkaarten voor vloeren, muren en decoratieve elementen, die in de scène worden geïnjecteerd.
  • Stadium 10 (Verlichting & Post-Hoc Optimalisatie): Het systeem leidt verlichtingsstijlen (natuurlijk en kunstmatig) af en stelt renderingsparameters in. Een deterministische correctiedoorloop lost veelvoorkomende implementatieproblemen op (bijv. ontbrekende materialen, ongeldige paden) en verhelpt grens- of overlappingsschendingen via lokale zoektocht.

2. Cross-Stage Geheugensysteem

Een kritiek onderdeel van het framework is de Cross-Stage Memory Module. Dit gedeelde geheugen onderhoudt de persistente staat van de pijplijn en slaat getypeerde artefacten van elk stadium op. Downstream stadia lezen alleen vooraf gedefinieerde weergaven van dit geheugen. Dit ontwerp mitigeert het "context-vergeten" probleem dat inherent is aan lange agentieke workflows, en zorgt ervoor dat ruimtelijke informatie en objectdetails die in vroege stadia zijn afgeleid, worden behouden en nauwkeurig worden gebruikt in latere stadia.

Belangrijkste Bijdragen

1. Paradigma Gestuurd door Bovenaanzicht: Het artikel introduceert een nieuw paradigma waarbij een enkele afbeelding van een bovenaanzicht dient als globale ruimtelijke prior om de volledige generatie van een binnenruimte te sturen, verdergaand dan alleen tekst of perspectief-afbeeldingen als invoer.
2. Gestructureerd Uitvoeringsharnas: De auteurs stellen een gestructureerde agentieke workflow voor die MLLM's orchestreert via een grof-naar-fijn pijplijn. Dit harnas zorgt voor stabiele en coherente 3D-kamersynthese door de taak te decomponeren in beheersbare stadia met visuele feedbacklussen.
3. Toegewijde Benchmark: Een nieuwe benchmark voor code-gebaseerde 3D-kamersynthese wordt geïntroduceerd, die diverse evaluatieprotocollen omvat voor visuele contentbegrip, ruimtelijk redeneren, visie-naar-code-generatie en holistische scènekwaliteit.

Experimentele Resultaten

De auteurs hebben Code-as-Room geëvalueerd met drie toonaangevende VLM-backbones: Gemini-3 Flash, Gemini-3.1 Pro en GPT-5.5.

• Benchmarkprestaties: In vergelijking met directe single-pass generatie en het bestaande VIGA-framework, toonde Code-as-Room superieure prestaties over alle metrieken.
  • Ruimtelijk Redeneren: CaR verbeterde de Layout IoU aanzienlijk (tot 73,2% versus 16,8% voor directe Gemini), Rotatie-nauwkeurigheid en Ondersteuningsnauwkeurigheid.
  • Codegeneratie: Het framework behaalde hoge uitvoeringspercentages (tot 100% voor Gemini-varianten), terwijl directe generatie vaak faalde om uitvoerbare code te produceren.
  • Visuele Kwaliteit: Menselijke evaluaties toonden aan dat CaR-gegenereerde scènes een hogere gelijkenis hadden met invoerafbeeldingen, betere bruikbaarheid en hogere aanvaardbaarheid (vereisten minder handmatige correcties) in vergelijking met baselines.
• Ablatiestudies:
  • Geheugen: Het verwijderen van het cross-stage geheugen resulteerde in een aanzienlijke daling van de Layout IoU (van 73,2% naar 58,0%) en Object Recall, wat de noodzaak bevestigt voor het behoud van ruimtelijke consistentie.
  • Visuele Feedback: De prestaties verbeterden met maximaal 5 feedbackiteraties. Het verhogen van iteraties naar 10 leidde echter tot een daling van de metrieken, wat suggereert dat excessieve revisie kan leiden tot lay-outdrift.

Betekenis en Beweringen

Het artikel beweert dat Code-as-Room de instabiliteit en het gebrek aan precisie in huidige image-to-3D-kamergeneratie aanpakt. Door 3D-kamers te representeren als uitvoerbare Blender-code, stelt het framework scènes in staat die niet alleen visueel aansluiten bij invoerafbeeldingen, maar ook bewerkbaar, renderbaar en gestructureerd zijn.

De auteurs benadrukken dat het succes van het systeem niet alleen berust op de basis-VLM-capaciteiten, maar op de gestructureerde agentieke workflow die visuele parsing, ruimtelijk redeneren en codesynthese organiseert. De introductie van de cross-stage memory module wordt benadrukt als een sleutelinnovatie voor het mitigeren van contextvergeten in complexe, meerstaps generatietaken.

Het werk positioneert zichzelf als een stap naar betrouwbaardere en praktischer hulpmiddelen voor geautomatiseerde 3D-contentcreatie, met name voor scenario's waar nauwkeurige ruimtelijke uitlijning met plattegronden of bovenaanzicht-schetsen vereist is. De auteurs wijzen op beperkingen, zoals de huidige focus op bovenaanzichten en de afhankelijkheid van asset-ophaal voor zeer complexe geometrische details, en suggereren toekomstig werk in videogeneratie voor neurale rendering en het verwerken van invoer vanuit willekeurige hoeken.