💻 computer science

RoomPilot: Controllable Indoor Scene Synthesis via Multimodal Semantic Parsing

RoomPilot is een geïntegreerd raamwerk dat controleerbare synthese van binnenruimtes mogelijk maakt vanuit multimodale invoer zoals tekst en CAD-plannen door deze te vertalen naar een gestructureerde Indoor Domain-Specific Language (IDSL) en een hiërarchische pijplijn toe te passen om fysiek consistente en semantisch coherente 3D-omgevingen te genereren.

Oorspronkelijke auteurs: Wentang Chen, Shougao Zhang, Yiman Zhang, Tianhao Zhou, Ruihui Li

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wentang Chen, Shougao Zhang, Yiman Zhang, Tianhao Zhou, Ruihui Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Digitale Architect"

Stel je voor dat je een huis wilt bouwen, maar je wilt geen team van architecten, ingenieurs en interieurontwerpers inhuren. Je wilt gewoon zeggen: "Ik wil een gezellige woonkamer met een bank die naar een tv kijkt", of een ruwe schets van een plattegrond overhandigen, en een computer die er direct een perfecte, realistische 3D-versie van maakt.

Dat is wat RoomPilot doet. Het is een nieuw computersysteem dat tekstbeschrijvingen of CAD- (computer-aided design) plattegronden omzet in volledig ingerichte, 3D-interieurscènes.

Het Probleem: Waarom is dit moeilijk?

Eerdere pogingen hierin waren als proberen een huis te bouwen met een blinddoek op:

Oude "Regel"-systemen waren als stijve robots. Ze konden huizen bouwen, maar ze konden niet begrijpen of je om een "gezellige" sfeer of een "moderne" uitstraling vroeg. Ze volgden gewoon een strikt script.
Oude "AI"-systemen waren als creatieve kunstenaars zonder gevoel voor fysica. Ze konden een kamer mooi laten lijken, maar ze konden een bank in de lucht laten zweven of een bed in een muur plaatsen.
Oude "LLM"-systemen (die Large Language Models gebruiken) waren als geweldige verhalenvertellers die niet konden tekenen. Ze konden een kamer perfect beschrijven in woorden, maar als ze probeerden het te bouwen, pasten de meubels niet bij elkaar en sloten de kamers niet logisch op elkaar aan.

De Oplossing: De "Universele Vertaler" (IDSL)

De kernmagie van RoomPilot is iets dat ze IDSL (Indoor Domain-Specific Language) noemen.

Denk aan IDSL als een universele vertaler of een blauwdruktaal die tussen je rommelige menselijke instructies en de strenge bouwwetten van de computer zit.

Jij spreekt: "Ik wil een grote bank in de woonkamer."
De Vertaler (IDSL) zet dit om in: "Object: Bank. Locatie: Woonkamer. Relatie: Op de vloer. Grootte: Groot."
De Bouwer: Neemt deze schone, gestructureerde lijst en bouwt de scène.

Dit is cruciaal omdat het de computer in staat stelt om exact te begrijpen wat je wilt, zonder verward te raken door vage woorden.

Hoe Het Werkt: De Drie-Staps Assemblagelijn

RoomPilot bouwt een huis in drie distincte lagen, als een bouwteam dat van buiten naar binnen werkt:

Het Skelet (Bouwniveau):
Eerst kijkt het naar het grote geheel. Als je een tekstbeschrijving hebt gegeven, bedenkt het: "Oké, dit is een appartement met drie slaapkamers. De keuken ligt naast de woonkamer en er is een deur naar buiten." Als je een CAD-tekening hebt gegeven, leest het de lijnen om exact dezelfde informatie te krijgen. Het bouwt eerst de muren en de plattegrond.
Het Brein (Kamerniveau):
Vervolgens vult het de details voor elke kamer in. Het vraagt zich af: "Wat gaat er normaal gesproken in een slaapkamer? Een bed, een nachtkastje, een kast." Het plaatst deze items conceptueel, zodat ze passen bij de vorm van de kamer.
De Spieren (Objectniveau):
Tot slot kiest het de daadwerkelijke 3D-meubels. Het raadt niet zomaar; het heeft een enorme bibliotheek met echte meubelmodellen. Het vindt een bank die bij je beschrijving past, controleert of deze in de ruimte past, en plaatst deze.

De Geheime Saus: De "Zelfregulerende" Optimizer

Hier is het slimste deel. Soms maakt de computer een fout. Misschien plaatst hij een tafel in het midden van een deur, of zweeft een stoel.

RoomPilot gebruikt een Zelfregulerend Optimalisatie-proces. Stel je een zeer strenge, onzichtbare interieurontwerper voor die door de kamer loopt en dingen oplost:

De "Structurele" Controle: "Bots deze tafel tegen de muur? Zweeft de lamp? Los het op!" (Dit zorgt ervoor dat de fysica echt is).
De "Semantische" Controle: "Kijkt de tv naar de bank? Staat het bed bij het raam? Los het op!" (Dit zorgt ervoor dat de kamer logisch is).

Het systeem gebruikt een techniek genaamd Adaptief Temperen. Denk hierbij aan het afkoelen van heet metaal.

Aan het begin (Heet): Het systeem is wild en probeert grote, gekke veranderingen om een goede indeling te vinden.
Terwijl het afkoelt: Het wordt voorzichtiger en maakt kleine, precieze aanpassingen om de details perfect te maken totdat alles op zijn plek zit.

De Resultaten: Waarom is dit beter?

Het papier heeft RoomPilot getest tegen andere methoden en ontdekt:

Het luistert beter: Als je om 5 stoelen vraagt, plaatst het precies 5 stoelen daar. Andere methoden gokken vaak verkeerd.
Het bouwt beter: De kamers zijn fysiek mogelijk. Geen zwevende meubels, geen muren die door tafels gaan.
Het beheerst complexiteit: Het kan hele appartementen met meerdere kamers bouwen waarbij de keuken aansluit op de eetkamer en de slaapkamers op de juiste plekken liggen, allemaal gebaseerd op één zin of een plattegrond.

In het Kort

RoomPilot is als het hebben van een superslimme, supersnelle architect die je taal spreekt, fysica begrijpt en een eindeloze voorraad meubels heeft. Het vertaalt je vage ideeën of ruwe schetsen naar een perfect georganiseerd, realistisch 3D-huis, en lost onderweg zijn eigen fouten op om ervoor te zorgen dat alles er goed uitziet en aanvoelt.

Technische Samenvatting: RoomPilot: Controleerbare Synthese van Binnenscènes via Multimodaal Semantisch Parsen

Probleemstelling
Het genereren van controleerbare binnenscènes is essentieel voor toepassingen in gameontwikkeling, architecturale visualisatie en embodied AI. Echter, bestaande benaderingen worstelen om gelijktijdig te voldoen aan de eisen van ondersteuning voor meerdere ruimten, fijnmazige controleerbaarheid, expliciete ruimtelijke relaties en fysische plausibiliteit.

Modelgebaseerde methoden (bijv. ATISS, DiffuScene) missen vaak diversiteit en generaliseren slecht tot nieuwe scènes vanwege data-schaarste.
Regelgebaseerde en procedurale systemen (bijv. Infinigen Indoors, ProcTHOR) waarborgen fysieke validiteit maar bieden beperkte controleerbaarheid over semantische details en gebruikersintentie.
Visiegebaseerde benaderingen worstelen om de indeling van scènes precies te controleren.
LLM-gebaseerde methoden verbeteren het begrip van open vocabulaire maar missen vaak precieze controle over ruimtelijke relaties tussen objecten.
Een primaire belemmering is het ontbreken van een geünificeerde scène-representatie die heterogene invoer (tekst of CAD) verbindt met interpreteerbare, controleerbare 3D-synthese.

Methodologie
De auteurs stellen RoomPilot voor, een geünificeerd kader dat controleerbare binnenscènes synthetiseert op basis van gedetailleerde tekstuele beschrijvingen of CAD-plattegronden. Het kader werkt via drie nauw geïntegreerde modules:

Cross-modaal Semantisch Parsen:
- Invoer (tekst of CAD) wordt omgezet in een initiële Indoor Domain-Specific Language (IDSL) configuratie ( $S_0$ ).
- Voor tekst extrahert een hiërarchische LLM-parsingsstrategie (met GPT-4) de globale structuur (gebouwniveau), meubilairplannen (kamerniveau) en precieze ruimtelijke arrangementen (objectniveau).
- Voor CAD extrahert een geometrische parsingspijplijn ruimtecontouren, deuren en ramen uit vectoriserde representaties (bijv. SVG) en koppelt deze aan IDSL. Objectniveau-inhoud voor CAD wordt door de LLM afgeleid op basis van ruimtetypen.
Zelfregulerende Scène-Optimalisatie:
- De initiële IDSL wordt iteratief verfijnd tot een geoptimaliseerde configuratie ( $S^*$ ) met behulp van een zelfregulerend, energie-gebaseerd proces.
- Dual-Channel Energie: De doelfunctie splitst op in een Structurele Energie (botsingen, grenzen, stabiliteit) en een Semantische Energie (functionele nabijheid, directionele uitlijning).
- Adaptief Temperen: In tegenstelling tot vaste schema's worden de optimalisatiegewichten en temperatuur adaptief gemoduleerd door een regel-uitlijningscore ( $\rho(t)$ ). Naarmate structurele beperkingen worden voldaan, verschuift de focus van geometrische haalbaarheid naar semantische organisatie.
- Progressieve Regelactivering: Regels worden in fasen geactiveerd (structureel $\to$ functioneel $\to$ stijl) om voortijdige koppeling van heterogene doelstellingen te voorkomen.
Hiërarchische Indeling van Binnenscènes:
- De geoptimaliseerde IDSL wordt geïnstancierd tot high-fidelity 3D-scènes.
- Gebouwniveau: Procedurale generatie creëert waterdichte wandmeshes op basis van ruimtepolygonen.
- Kamerniveau: Boolese operaties instantiëren deuren en ramen.
- Objectniveau: Een hybride ecosysteem haalt assets uit een gecureerde dataset (9.271 geannoteerde assets) of publieke datasets (Objaverse, 3D-FUTURE). Als de retrieve-vertrouwen laag is, synthetiseren categorie-specifieke procedurale generators (PCG) geometrie.
- Relatie-bewuste Verfijning: Een optimalisatiestap na plaatsing handhaaft fysieke stabiliteit (bijv. objecten rustend op oppervlakken) en elimineert zwevende of snijdende artefacten.

Belangrijkste Bijdragen

RoomPilot Kader: Een geünificeerd systeem voor controleerbare synthese van binnenscènes dat zowel tekstuele beschrijvingen als CAD-plattegronden als invoer ondersteunt.
Indoor Domain-Specific Language (IDSL): Een gestructureerde, hiërarchische intermediaire representatie (Gebouw-, Ruimte-, Objectniveau) die heterogene invoer vertaalt naar interpreteerbare semantische en geometrische specificaties, dienend als een controleerbare brug tussen gebruikersintentie en 3D-synthese.
Zelfregulerende Optimalisatie: Een energie-gebaseerd algoritme dat structurele stabiliteit en semantische uitlijning adaptief in evenwicht brengt zonder vaste koelschema's, wat coherente indelingen voor meerdere ruimten mogelijk maakt.
High-Fidelity Dataset: Een gecureerde asset-dataset met rijke semantische annotaties ter ondersteuning van realistische scène-synthese.

Experimentele Resultaten
De auteurs evalueren RoomPilot tegenover zes state-of-the-art methoden (bijv. Holodeck, I-Design, LayoutGPT) voor open-vocabulaire tekstgeneratie en CAD-geconditioneerde generatie.

Controleerbaarheid: RoomPilot presteert significant beter dan baselines in Layout Fidelity (LF), Constraint Satisfaction Rate op objectaantal (CSR $_{count}$ ) en relationele beperkingen (CSR $_{rel}$ ).
Fysische Plausibiliteit: De methode bereikt bijna nul gevallen buiten de grenzen en botsingen, met superieure scores in fysiek realisme en stabiliteit in vergelijking met op diffusie gebaseerde of op retrieve gebaseerde benaderingen.
CAD-Fideliteit: Bij conditionering op CAD-plattegronden behoudt RoomPilot ruimtevormen, afmetingen en openingsposities met hoge geometrische nauwkeurigheid (Wandaanwijzing: 0,87 versus 0,31 voor Holodeck).
Gebruikersstudie: Menselijke beoordelaars beoordeelden RoomPilot als het hoogst in visuele kwaliteit, redelijkheid van de indeling en fysische plausibiliteit.
Ablatiestudies: Het verwijderen van IDSL of de zelfregulerende optimalisatiemodule veroorzaakt de grootste prestatiedalingen, wat hun noodzaak bevestigt voor hoogwaardige, controleerbare synthese.

Betekenis
Het artikel beweert dat RoomPilot een significante stap voorwaarts is richting controleerbare 3D-synthese van binnenscènes door de fragmentatie in bestaande paradigma's aan te pakken. Door IDSL en een zelfregulerend optimalisatieproces in te voeren, bereikt het kader een evenwicht tussen structurele coherentie, semantische uitlijning en fysische plausibiliteit dat eerdere methoden niet gelijktijdig konden vervullen. Dit maakt het genereren van structureel geldige, meerkamerige omgevingen mogelijk die trouw reageren op complexe gebruikersinstructies, wat praktische implementatie in embodied AI en architecturale visualisatie faciliteert. De auteurs merken op dat hoewel het systeem robuust is, falende gevallen (bijv. ontbrekende objecten in complexe relationele beperkingen) kunnen optreden vanwege het inherente gedrag van gesimuleerd temperen bij het gezamenlijk optimaliseren van discrete compositie en continue relaties.