💻 computer science

RoomPilot: Controllable Indoor Scene Synthesis via Multimodal Semantic Parsing

RoomPilot ist ein einheitliches Framework, das die kontrollierte Synthese von Innenraumszenen aus multimodalen Eingaben wie Text und CAD-Plänen ermöglicht, indem es diese auf eine strukturierte, domänenspezifische Sprache für Innenräume (IDSL) abbildet und eine hierarchische Pipeline einsetzt, um physikalisch konsistente und semantisch kohärente 3D-Umgebungen zu generieren.

Ursprüngliche Autoren: Wentang Chen, Shougao Zhang, Yiman Zhang, Tianhao Zhou, Ruihui Li

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wentang Chen, Shougao Zhang, Yiman Zhang, Tianhao Zhou, Ruihui Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Der „Digitale Architekt"

Stellen Sie sich vor, Sie möchten ein Haus bauen, aber Sie möchten kein Team aus Architekten, Ingenieuren und Innenarchitekten einstellen. Sie möchten einfach nur sagen: „Ich möchte ein gemütliches Wohnzimmer mit einem Sofa, das auf einen Fernseher ausgerichtet ist", oder einen groben Entwurf eines Grundrisses übergeben, und einen Computer, der sofort eine perfekte, realistische 3D-Version davon erstellt.

Das ist es, was RoomPilot tut. Es ist ein neues Computersystem, das Textbeschreibungen oder CAD-Grundrisse (computerunterstütztes Design) in vollständig möblierte 3D-Innenszenen verwandelt.

Das Problem: Warum ist das schwierig?

Frühere Versuche dazu waren wie der Versuch, ein Haus mit verbundenen Augen zu bauen:

Alte „Regel"-Systeme waren wie starre Roboter. Sie konnten Häuser bauen, aber sie konnten nicht verstehen, wenn Sie nach einer „gemütlichen" Atmosphäre oder einem „modernen" Look fragten. Sie folgten einfach einem strengen Skript.
Alte „KI"-Systeme waren wie kreative Künstler, die kein Gespür für die Physik hatten. Sie konnten einen Raum hübsch aussehen lassen, aber sie könnten ein Sofa in der Luft schweben lassen oder ein Bett in eine Wand setzen.
Alte „LLM"-Systeme (die auf Large Language Models basieren) waren wie großartige Geschichtenerzähler, die nicht zeichnen konnten. Sie konnten einen Raum perfekt in Worten beschreiben, aber wenn sie versuchten, ihn zu bauen, passte die Möbel nicht zusammen, und die Räume waren logisch nicht miteinander verbunden.

Die Lösung: Der „Universalübersetzer" (IDSL)

Die Kernmagie von RoomPilot ist etwas, das sie IDSL (Indoor Domain-Specific Language) nennen.

Denken Sie an IDSL als an eine Universalübersetzer oder eine Blueprint-Sprache, die zwischen Ihren chaotischen menschlichen Anweisungen und den starren Bauregeln des Computers sitzt.

Sie sprechen: „Ich möchte ein großes Sofa im Wohnzimmer."
Der Übersetzer (IDSL) wandelt es um in: „Objekt: Sofa. Ort: Wohnzimmer. Beziehung: Auf dem Boden. Größe: Groß."
Der Baumeister: Nimmt diese saubere, strukturierte Liste und baut die Szene.

Dies ist entscheidend, weil es dem Computer ermöglicht, genau zu verstehen, was Sie wollen, ohne sich durch vage Worte verwirren zu lassen.

Wie es funktioniert: Die dreistufige Fließbandproduktion

RoomPilot baut ein Haus in drei distincten Schichten auf, wie ein Bauteam, das von außen nach innen arbeitet:

Das Skelett (Gebäudeebene):
Zuerst betrachtet es das große Ganze. Wenn Sie ihm eine Textbeschreibung gegeben haben, stellt es fest: „Okay, dies ist eine 3-Zimmer-Wohnung. Die Küche liegt neben dem Wohnzimmer, und es gibt eine Tür nach draußen." Wenn Sie ihm eine CAD-Zeichnung gegeben haben, liest es die Linien, um genau dieselben Informationen zu erhalten. Zuerst baut es die Wände und den Grundriss.
Das Gehirn (Raumebene):
Als Nächstes füllt es die Details für jeden Raum aus. Es fragt: „Was gehört normalerweise in ein Schlafzimmer? Ein Bett, ein Nachttisch, ein Schrank." Es platziert diese Gegenstände konzeptionell und stellt sicher, dass sie zur Form des Raums passen.
Der Muskel (Objektebene):
Schließlich wählt es die tatsächlichen 3D-Möbel aus. Es rät nicht einfach; es verfügt über eine riesige Bibliothek realer Möbelmodelle. Es findet ein Sofa, das Ihrer Beschreibung entspricht, prüft, ob es in den Raum passt, und platziert es.

Das Geheimnis: Der „selbstregulierende" Optimierer

Hier kommt der klügste Teil ins Spiel. Manchmal macht der Computer einen Fehler. Vielleicht stellt er einen Tisch mitten in eine Tür, oder ein Schwebt ein Stuhl in der Luft.

RoomPilot verwendet einen selbstregulierenden Optimierungsprozess. Stellen Sie sich einen sehr strengen, unsichtbaren Innenarchitekten vor, der ständig durch den Raum läuft und Dinge repariert:

Der „strukturelle" Check: „Stößt dieser Tisch gegen die Wand? Schwebt die Lampe? Reparieren Sie es!" (Dies stellt sicher, dass die Physik real ist).
Der „semantische" Check: „Ist der Fernseher auf das Sofa ausgerichtet? Ist das Bett in der Nähe des Fensters? Reparieren Sie es!" (Dies stellt sicher, dass der Raum Sinn ergibt).

Das System verwendet eine Technik namens Adaptive Annealing. Denken Sie daran wie das Abkühlen von heißem Metall.

Zuerst (heiß): Das System ist wild und versucht große, verrückte Änderungen, um ein gutes Layout zu finden.
Während es abkühlt: Es wird vorsichtiger und macht winzige, präzise Anpassungen, um die Details zu perfektionieren, bis alles fest verankert ist.

Die Ergebnisse: Warum ist das besser?

Das Papier testete RoomPilot im Vergleich zu anderen Methoden und stellte fest:

Es hört besser zu: Wenn Sie nach 5 Stühlen fragen, stellt es genau 5 Stühle dort hin. Andere Methoden raten oft falsch.
Es baut besser: Die Räume sind physikalisch möglich. Keine schwebenden Möbel, keine Wände, die durch Tische gehen.
Es bewältigt Komplexität: Es kann ganze Mehrzimmerwohnungen bauen, bei denen die Küche mit dem Esszimmer verbunden ist und die Schlafzimmer an den richtigen Stellen liegen, alles basierend auf einem einzigen Satz oder einem Grundriss.

Auf den Punkt gebracht

RoomPilot ist wie ein superkluger, superschneller Architekt, der Ihre Sprache spricht, die Physik versteht und über eine endlose Auswahl an Möbeln verfügt. Es übersetzt Ihre vagen Ideen oder groben Skizzen in eine perfekt organisierte, realistische 3D-Wohnung und korrigiert dabei seine eigenen Fehler, um sicherzustellen, dass alles richtig aussieht und sich richtig anfühlt.

Technische Zusammenfassung: RoomPilot: Kontrollierte Synthese von Innenraumszenen mittels multimodaler semantischer Parsing

Problemstellung
Die Generierung kontrollierbarer Innenraumszenen ist für Anwendungen in der Spieleentwicklung, der architektonischen Visualisierung und der Embodied AI unverzichtbar. Bestehende Ansätze haben jedoch Schwierigkeiten, gleichzeitig die Anforderungen an Mehrraum-Unterstützung, feingranulare Kontrollierbarkeit, explizite räumliche Beziehungen und physikalische Plausibilität zu erfüllen.

Modellbasierte Methoden (z. B. ATISS, DiffuScene) weisen oft eine geringe Vielfalt auf und generalisieren aufgrund von Datenknappheit schlecht auf neue Szenen.
Regelbasierte und prozedurale Systeme (z. B. Infinigen Indoors, ProcTHOR) gewährleisten physikalische Validität, bieten jedoch eine begrenzte Kontrollierbarkeit über semantische Details und Benutzerabsichten.
Visionsbasierte Ansätze haben Schwierigkeiten, Szenenlayouts präzise zu steuern.
LLM-basierte Methoden verbessern das Verständnis offener Vokabulare, fehlen jedoch häufig eine präzise Kontrolle über räumliche Beziehungen zwischen Objekten.
Ein Hauptproblem ist das Fehlen einer einheitlichen Szenendarstellung, die heterogene Eingaben (Text oder CAD) mit interpretierbarer, kontrollierbarer 3D-Synthese verbindet.

Methodik
Die Autoren schlagen RoomPilot vor, ein einheitliches Framework, das kontrollierte Innenraumszenen aus detaillierten textlichen Beschreibungen oder CAD-Grundrissen synthetisiert. Das Framework arbeitet durch drei eng integrierte Module:

Cross-Modales Semantisches Parsing:
- Eingaben (Text oder CAD) werden in eine initiale Indoor Domain-Specific Language (IDSL)-Konfiguration ( $S_0$ ) transformiert.
- Für Text extrahiert eine hierarchische LLM-Parsing-Strategie (unter Verwendung von GPT-4) die globale Struktur (Gebäudeebene), Grundrisse für Möbel (Raumebene) und präzise räumliche Anordnungen (Objektebene).
- Für CAD extrahiert eine geometrische Parsing-Pipeline Raumkonturen, Türen und Fenster aus vektoriellen Darstellungen (z. B. SVG) und bildet sie auf IDSL ab. Der inhaltsbezogene Detailgrad auf Objektebene für CAD wird vom LLM basierend auf Raumtypen abgeleitet.
Selbstregulierende Szenenoptimierung:
- Die initiale IDSL wird durch einen selbstregulierenden, energiebasierten Prozess iterativ zu einer optimierten Konfiguration ( $S^*$ ) verfeinert.
- Dual-Kanal-Energie: Die Zielfunktion zerfällt in eine Strukturelle Energie (Kollisionen, Grenzen, Stabilität) und eine Semantische Energie (funktionale Nähe, gerichtete Ausrichtung).
- Adaptives Tempern: Im Gegensatz zu festen Plänen werden die Optimierungsgewichte und die Temperatur adaptiv durch einen Regel-Ausrichtungs-Score ( $\rho(t)$ ) moduliert. Sobald strukturelle Constraints erfüllt sind, verlagert sich der Fokus von der geometrischen Machbarkeit zur semantischen Organisation.
- Progressive Regelaktivierung: Regeln werden in Stufen aktiviert (strukturell $\to$ funktional $\to$ stilistisch), um eine vorzeitige Kopplung heterogener Ziele zu verhindern.
Hierarchische Innenraumszenen-Generierung:
- Die optimierte IDSL wird in hochauflösende 3D-Szenen instanziiert.
- Gebäudeebene: Prozedurale Generierung erstellt wasserdichte Wand-Meshes basierend auf Raum-Polygonen.
- Raumebene: Boolesche Operationen instanziieren Türen und Fenster.
- Objektebene: Ein hybrides Ökosystem ruft Assets aus einem kuratierten Datensatz (9.271 annotierte Assets) oder öffentlichen Datensätzen (Objaverse, 3D-FUTURE) ab. Ist das Retrieval-Vertrauen gering, synthetisieren kategoriespezifische prozedurale Generatoren (PCG) die Geometrie.
- Beziehungsbewusste Verfeinerung: Ein Nachoptimierungsschritt erzwingt physikalische Stabilität (z. B. Objekte, die auf Oberflächen ruhen) und eliminiert schwebende oder sich schneidende Artefakte.

Hauptbeiträge

RoomPilot-Framework: Ein einheitliches System zur kontrollierten Synthese von Innenraumszenen, das sowohl textliche Beschreibungen als auch CAD-Grundrisse als Eingaben unterstützt.
Indoor Domain-Specific Language (IDSL): Eine strukturierte, hierarchische Zwischendarstellung (Gebäude-, Raum-, Objektebene), die heterogene Eingaben in interpretierbare semantische und geometrische Spezifikationen übersetzt und als kontrollierbare Brücke zwischen Benutzerabsicht und 3D-Synthese dient.
Selbstregulierende Optimierung: Ein energiebasierter Algorithmus, der strukturelle Stabilität und semantische Ausrichtung ohne feste Abkühlpläne adaptiv ausbalanciert und damit kohärente Mehrraum-Layouts ermöglicht.
Hochauflösender Datensatz: Ein kuratierter Asset-Datensatz mit reichen semantischen Annotationen zur Unterstützung realistischer Szenensynthese.

Experimentelle Ergebnisse
Die Autoren bewerten RoomPilot gegen sechs State-of-the-Art-Methoden (z. B. Holodeck, I-Design, LayoutGPT) im Bereich der Textgenerierung mit offenem Vokabular und der CAD-konditionierten Generierung.

Kontrollierbarkeit: RoomPilot übertrifft die Baselines signifikant in der Layout-Genauigkeit (LF), der Constraint-Erfüllungsrate für die Objektanzahl (CSR $_{count}$ ) und relationalen Constraints (CSR $_{rel}$ ).
Physikalische Plausibilität: Die Methode erreicht nahezu null Fälle außerhalb der Grenzen und Kollisionen und erzielt überlegene Werte in Bezug auf physikalischen Realismus und Stabilität im Vergleich zu diffusionsbasierten oder retrievalbasierten Ansätzen.
CAD-Genauigkeit: Bei Konditionierung auf CAD-Grundrisse bewahrt RoomPilot Raumformen, Abmessungen und Öffnungspositionen mit hoher geometrischer Genauigkeit (Wand-Genauigkeit: 0,87 vs. 0,31 für Holodeck).
Benutzerstudie: Menschliche Evaluatoren bewerteten RoomPilot hinsichtlich visueller Qualität, Layoutvernünftigkeit und physikalischer Plausibilität am höchsten.
Ablationsstudien: Das Entfernen von IDSL oder des selbstregulierenden Optimierungsmoduls führt zu den signifikantesten Leistungseinbußen, was ihre Notwendigkeit für hochwertige, kontrollierte Synthese bestätigt.

Bedeutung
Die Arbeit behauptet, dass RoomPilot einen bedeutenden Schritt hin zur kontrollierten 3D-Innenraumsynthese darstellt, indem es die Fragmentierung bestehender Paradigmen adressiert. Durch die Einführung von IDSL und einem selbstregulierenden Optimierungsprozess erreicht das Framework ein Gleichgewicht zwischen struktureller Kohärenz, semantischer Ausrichtung und physikalischer Plausibilität, das frühere Methoden nicht gleichzeitig erfüllen konnten. Dies ermöglicht die Generierung strukturell valider Mehrraum-Umgebungen, die komplexen Benutzeranweisungen getreu entsprechen und eine praktische Umsetzung in der Embodied AI und architektonischen Visualisierung erleichtern. Die Autoren weisen darauf hin, dass das System zwar robust ist, aber Fehlerfälle (z. B. fehlende Objekte bei komplexen relationalen Constraints) aufgrund des inhärenten Verhaltens des simulierten Temperns auftreten können, wenn diskrete Komposition und kontinuierliche Beziehungen gemeinsam optimiert werden.