MANSION: Multi-floor lANguage-to-3D Scene generatIOn for loNg-horizon tasks

Dit paper introduceert MANSION, het eerste taalgestuurde raamwerk voor het genereren van realistische, meervoudige verdiepingen tellende 3D-gebouwen, en introduceert MansionWorld, een dataset met meer dan 1.000 diverse gebouwen, om langdurige robottaken die complexe ruimtelijke redenering vereisen te evalueren.

De kern

Stel je voor dat je een robot wilt bouwen die niet alleen in één kamer kan werken, maar een heel gebouw kan verkennen: van de kelder tot de zolder, van de supermarkt tot het ziekenhuis. Dat is precies wat de onderzoekers van MANSION hebben gedaan.

Hier is een uitleg in gewoon Nederlands, met een paar creatieve vergelijkingen om het begrijpelijk te maken.

1. Het Probleem: De "Eén-Kamer" Robot

Tot nu toe waren de meeste robots getraind in virtuele huizen die slechts uit één verdieping bestonden. Het was alsof je een piloot traint om vliegtuig te vliegen, maar je hem alleen laat oefenen in een hangar zonder dak.

• De realiteit: In het echte leven moeten robots vaak lange taken uitvoeren die over meerdere verdiepingen gaan (bijvoorbeeld: "Haal een pakketje op de 3e verdieping en breng het naar de kelder").
• Het probleem: Er waren geen digitale "testvelden" die groot genoeg waren of die trappen en liften goed nabootsten. Bestaande software kon niet begrijpen hoe een gebouw verticaal is opgebouwd.

2. De Oplossing: MANSION (De Digitale Architect)

MANSION is een slim systeem dat een robot vertelt: "Hier is een gebouw, en hier is hoe je erdoorheen moet navigeren."

• De Metafoor: Stel je voor dat je een architect bent die een opdracht krijgt van een klant: "Ik wil een drie verdiepingen tellend kantoor met een lift en een vergaderruimte."
• Hoe het werkt: In plaats dat een mens urenlang tekeningen maakt, doet MANSION dit in een handomdraai. Het gebruikt een AI-architect (een taalmodel) die de woorden van de klant begrijpt en direct een compleet, 3D-gebouw tekent.
• Het Magische: Het systeem weet dat een lift of een trappenhuis door alle verdiepingen moet lopen. Het bouwt het gebouw niet als losse blokken op elkaar, maar als één samenhangend geheel, net als een echt gebouw.

3. MansionWorld: De "Supermarkt" van Gebouwen

Op basis van MANSION hebben de onderzoekers MansionWorld gemaakt.

• De Vergelijking: Stel je een grote speelgoedwinkel voor. In plaats van alleen maar één type poppenhuis te hebben, heb je hier duizenden verschillende gebouwen: ziekenhuizen, supermarkten, kantoren en appartementen.
• De Variatie: Elke keer als je een nieuw gebouw wilt, kun je zeggen: "Maak een ziekenhuis met 5 verdiepingen en een grote wachtkamer." En poef, daar staat hij. Het is de eerste keer dat er zo'n grote, diverse collectie van volledige gebouwen bestaat voor robots om in te oefenen.

4. De "Twee-in-één" Agent: De Chef en de Klusjesman

Het systeem heeft een slimme truc om de gebouwen aan te passen aan specifieke taken.

• De Chef: Eerst bouwt MANSION het skelet van het gebouw (de muren, de vloeren, de trappen).
• De Klusjesman (Scene Editing Agent): Daarna komt er een tweede AI-agent die het gebouw "op maat" maakt voor een specifieke opdracht.
  • Voorbeeld: Als de robot moet leren "een blikje cola uit de koelkast halen", maar er staat geen koelkast in de kamer, pakt deze agent een koelkast en zet hij die erin. Als er geen koekjes op tafel liggen, legt hij die erbij.
  • Het voordeel: Je hoeft niet voor elke nieuwe taak een heel nieuw gebouw te bouwen. Je kunt hetzelfde kantoor gebruiken om eerst post te bezorgen, en daarna om koffie te halen, door simpelweg de inhoud aan te passen.

5. Waarom is dit belangrijk? (De "Gymzaal" voor Robots)

Vroeger waren robots getraind in simpele, platte omgevingen. Nu hebben ze een gymzaal nodig met trappen, liften en lange routes om echt sterk te worden.

• De onderzoekers hebben getest hoe goed bestaande robots dit aankunnen. Het nieuws is: ze zakken er zwaar doorheen.
• Dit is eigenlijk goed nieuws! Het betekent dat we eindelijk een echte test hebben gevonden die laat zien waar robots nog tekortschieten. Het dwingt de wetenschap om slimme nieuwe manieren te bedenken om robots te leren plannen en zich te herinneren waar ze zijn geweest.

Samenvattend

MANSION is als een magische bouwmachine die op commando complete gebouwen creëert, inclusief trappen en liften. MansionWorld is de enorme bibliotheek van deze gebouwen. Samen zorgen ze ervoor dat robots eindelijk kunnen oefenen voor de echte wereld, waar taken vaak complex zijn en over meerdere verdiepingen gaan. Het is de eerste stap naar robots die echt kunnen helpen in onze grote, veelzijdige gebouwen.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor Embodied AI (robots die in de fysieke wereld handelen) zijn grotendeels beperkt tot single-floor (één verdieping) omgevingen, zoals appartementen of kantoorruimtes. Dit vormt een fundamenteel probleem omdat veel realistische robottoepassingen (zoals pakketbezorging in kantoren, levering in ziekenhuizen of complexe huishoudelijke taken) inherent lang-horizon zijn en zich over meerdere verdiepingen van een gebouw uitstrekken.

De huidige uitdagingen zijn:

1. Gebrek aan schaalbare data: Bestaande datasets zijn vaak duur om te scannen (real-world scans) of beperkt tot simpele, gesloten wereld-scenario's (woonkamers).
2. Ontbreken van verticale structuur: Synthetische generatiemethoden modelleren zelden verticale verbindingen (trappen, liften) of de structurele consistentie tussen verdiepingen.
3. Moeilijkheid voor agents: Bestaande benchmarks testen niet de noodzakelijke ruimtelijke redenering, langetermijnplanning en het geheugen die nodig zijn om tussen verdiepingen te navigeren en te interageren.

Methodologie: Het MANSION Framework

MANSION is een taalgedreven framework dat natuurlijke taal instructies omzet in complete, multi-verdieping 3D-gebouwen. Het lost de bovengenoemde problemen op door een hybride architectuur te gebruiken die semantische planning koppelt aan geometrische validatie.

1. Hiërarchische Multi-Agent Pipeline:
Het proces verloopt in vier fasen:

• Algemene Gebouwplanning: Een "Chief Designer" agent (LLM) bepaalt de globale stijl, het aantal verdiepingen en de verticale kern (trappen/liften) op basis van de gebruikersinstructie.
• Per-verdieping Planning: Voor elke verdieping genereert een agent een "bubble diagram" (topologische lay-out) dat de ruimtes en hun onderlinge connectiviteit definieert, rekening houdend met de verticale kern.
• Vloerplan Synthese (Geometrische Solver): In plaats van dat de LLM direct de geometrie regelt (wat vaak fouten oplevert), wordt een geconstrueerde zoekopdracht gebruikt. De LLM levert zaden (seeds) en area-priors, en een geometrische solver (gebaseerd op "constrained growth") voert een verifieerbare zoektocht uit om de ruimtes binnen de vrije ruimte te partitioneren. Dit garandeert dat de lay-out topologisch correct en navigeerbaar is.
• Scene Instantiatie: De vector-vloerplannen worden omgezet in interactieve AI2-THOR scènes met muren, deuren en objecten.

2. Innovaties in Object Plaatsing:
Om de bruikbaarheid voor robots te maximaliseren, introduceert MANSION een "usability-first" aanpak:

• Haalbaarheid (Reachability): Objecten worden alleen geplaatst als de robot er fysiek bij kan.
• Anchoring & Groepering: Objecten worden gegroepeerd rond een "anker" (bijv. een bureau met stoelen) om uniforme verdeling te garanderen en clustering te voorkomen.
• Structurele Primitieven: Voor niet-residentiele ruimtes (zoals klaslokalen) worden matrix- en paar-structuren gebruikt voor ordelijke opstelling.

3. Task-Semantische Scene Editing Agent:
Om statische gebouwen flexibel te maken voor diverse taken, wordt een agent gebruikt die gebouwen aanpast op basis van open-vocabulaire commando's. Deze agent voert een "Check-and-Provision" workflow uit:

• Het analyseert of de vereisten voor een taak (bijv. "haal een drankje uit de koelkast") voldaan zijn.
• Als objecten ontbreken, voegt de agent ze toe (bijv. een frisdrank in de koelkast plaatsen) via een tool-based interface voordat de taak wordt uitgevoerd.

Belangrijkste Bijdragen

1. MANSION Framework: Het eerste framework dat natuurlijke taal gebruikt om schaalbare, multi-verdieping 3D-gebouwen te genereren met expliciete verticale consistentie (trappen, liften, structurele wanden).
2. MansionWorld Dataset: Een nieuwe dataset met meer dan 1.000 diverse gebouwen (van ziekenhuizen en supermarkten tot kantoren en woningen), met in totaal meer dan 10.000 kamers. Dit is de eerste dataset van deze schaal die specifiek is ontworpen voor lang-horizon, cross-floor taken.
3. Verbeterde Simulator Capabilities: Uitbreiding van AI2-THOR met herbruikbare assets voor trappen en liften, en API's voor naadloze overgangen tussen verdiepingen.
4. Evaluatie van Bestaande Agents: Een benchmark die laat zien dat state-of-the-art agents (zoals BUMBLE en COME-robot) sterk presteren op single-floor taken maar drastisch falen op multi-verdieping taken, wat de urgentie van dit nieuwe testbed onderstreept.

Resultaten

• Vloerplan Generatie: Op de T2D en ResPlan datasets presteert de MANSION-geconstrueerde groei-algoritme (gecombineerd met sterke LLM's zoals Gemini-2.5-Pro) vergelijkbaar met of beter dan bestaande diffusion-modellen, vooral in complexere, niet-residentiele scenario's. De iteratieve "splitting" strategie vermindert fouten in de ruimtelijke lokalisatie aanzienlijk.
• Object Plaatsing: In vergelijking met methoden zoals LayoutGPT en Holodeck, bereikt MANSION 100% haalbaarheid (reachability) voor robots in alle geteste ruimtes, met minder botsingen en een hogere perceptie van realisme en diversiteit in gebruikersstudies.
• Embodied AI Benchmark: In experimenten met lang-horizon taken (bijv. "haal een object van de 3e verdieping en breng het naar de 4e") zagen de auteurs dat bestaande agents een success rate van 0% hadden op vier-verdieping gebouwen. Dit bevestigt dat de huidige technologie nog niet klaar is voor complexe, multi-verdieping ruimtelijke redenering.

Betekenis en Impact

MANSION en MansionWorld stellen een nieuwe standaard voor in het veld van Embodied AI. Door de kloof te overbruggen tussen simpele single-room simulaties en de complexiteit van echte gebouwen, biedt het:

• Een kritiek testbed voor de volgende generatie algoritmen die gericht zijn op ruimtelijk redeneren, langetermijnplanning en geheugen.
• Een herbruikbaar ecosysteem dat het mogelijk maakt om duizenden variaties van taken te testen op dezelfde fysieke infrastructuur, zonder dat er telkens nieuwe gebouwen hoeven te worden gegenereerd.
• Een praktische oplossing voor de schaarste aan grote, diverse en interactieve 3D-omgevingen, wat essentieel is voor de ontwikkeling van robots die in de echte wereld (gebouwen, ziekenhuizen, kantoren) kunnen opereren.

Kortom, dit werk beweegt het veld van Embodied AI weg van geïsoleerde kamers naar het complexere, realistische domein van volledige gebouwen.