MANSION: Multi-floor lANguage-to-3D Scene generatIOn for loNg-horizon tasks

Il paper introduce MANSION, il primo framework basato sul linguaggio per generare ambienti 3D realistici e navigabili su più piani, accompagnato dal dataset MansionWorld, per colmare il divario tra i benchmark esistenti e la complessità dei compiti robotici a lungo raggio nel mondo reale.

L'essenziale

🏢 MANSION: Il "Regista" che costruisce mondi virtuali su misura per i robot

Immagina di voler insegnare a un robot a lavorare in un vero edificio: deve portare un pacco dal piano terra al terzo piano, prendere medicine in un ospedale o fare la spesa in un supermercato. Sembra facile? Per un robot è come cercare di navigare in una città che non conosce mai, con scale, ascensori e stanze che cambiano continuamente.

Il problema è che finora, i robot sono stati addestrati in "case di bambola": ambienti digitali piccoli, piatti e sempre uguali. Non sono mai stati messi alla prova in veri grattacieli o edifici complessi.

MANSION (acronimo per Multi-floor lANguage-to-3D Scene generatIOn for loNg-horizon tasks) è la soluzione a questo problema. È come avere un architetto magico che, ascoltando una semplice frase, costruisce istantaneamente un intero edificio 3D, piano per piano, pronto per essere esplorato da un robot.

Ecco come funziona, passo dopo passo:

1. La Magia della Parola (Il "Prompt")

Immagina di dire a un assistente: "Costruiscimi un ufficio su tre piani con una sala riunioni al primo piano e una cucina al secondo."
Invece di disegnare a mano ogni muro, MANSION usa un'intelligenza artificiale avanzata (un "cervello" linguistico) per capire cosa vuoi.

• L'analogia: È come dare un'idea a un architetto geniale che non solo disegna la pianta, ma capisce che le scale devono collegare i piani e che l'ascensore deve essere accessibile da tutti.

2. Costruire su più piani (Il Problema Verticale)

Fino a oggi, i computer erano bravi a disegnare una singola stanza o un appartamento al piano terra. Se provavi a chiedere un edificio di 10 piani, si confondevano: le scale sparivano, i muri non si allineavano e il robot si ritrovava intrappolato in un labirinto senza uscita.
MANSION risolve questo con una regola d'oro: la coerenza verticale.

• L'analogia: Pensa a un grattacielo come a una torta a strati. Se tagli un pezzo di torta, devi assicurarti che la forchetta (l'ascensore) passi attraverso tutti gli strati. MANSION assicura che i "buchi" per le scale e gli ascensori siano perfettamente allineati dal primo all'ultimo piano, creando un edificio solido e navigabile.

3. MansionWorld: La "Città dei Robot"

Sulla base di questo sistema, gli autori hanno creato MansionWorld.

• Cos'è: È una gigantesca libreria digitale con oltre 1.000 edifici diversi: ospedali, scuole, uffici, supermercati e case.
• Perché è speciale: Non sono solo immagini statiche. Sono mondi interattivi. Puoi dire al robot: "Vai al terzo piano, prendi un panino dal frigo e portalo al divano al primo piano". Il robot deve usare l'ascensore, trovare la strada e manipolare gli oggetti.
• L'analogia: È come avere un parco giochi infinito dove ogni volta che giri la maniglia, appare un nuovo edificio con regole diverse, perfetto per allenare i robot a non perdersi mai.

4. L'Agente "Fai-da-te" (Il Giardiniere Digitale)

A volte, un edificio generato potrebbe non avere esattamente ciò che serve per un compito specifico (es. il frigo è vuoto). MANSION include un Agente di Modifica Semantica.

• Come funziona: Se il robot ha bisogno di un oggetto che non c'è, questo agente "giardiniere" entra nel mondo virtuale, controlla la situazione e aggiunge ciò che manca (es. mette una lattina di cola nel frigo) prima che il robot inizi il compito.
• L'analogia: È come un maggiordomo che, prima di far entrare il robot, controlla che ci siano gli attrezzi giusti sul tavolo. Se manca qualcosa, lo aggiunge all'istante, rendendo il compito fattibile.

5. La Prova del Fuoco: I Robot si Bloccano!

Gli autori hanno testato i robot più avanzati del mondo in questi nuovi edifici MANSION.

• Il risultato: I robot, che erano bravissimi nelle "case di bambola" vecchie, si sono trovati in difficoltà. Si sono persi, non hanno capito come usare l'ascensore o hanno dimenticato dove erano andati.
• Il significato: Questo non è un fallimento, ma una vittoria per la ricerca! Significa che MANSION ha creato un terreno di gioco davvero difficile e realistico. È come passare da un campo da calcio vuoto a una partita contro una squadra di campioni: ci mostra esattamente dove dobbiamo migliorare per il futuro.

In Sintesi

MANSION è un nuovo modo di creare mondi virtuali per i robot.

1. Parla la loro lingua: Costruisci edifici complessi usando solo frasi semplici.
2. Pensa in verticale: Crea edifici reali con scale e ascensori funzionanti.
3. Allena sul serio: Fornisce un ambiente difficile dove i robot possono imparare a gestire compiti lunghi e complessi, come quelli che dovranno fare nel mondo reale (consegne, assistenza, pulizia).

È il primo passo per trasformare i robot da "giocattoli" che giocano in una stanza, a veri colleghi capaci di lavorare in un intero edificio.

Sommario tecnico

1. Il Problema

L'Intelligenza Artificiale Embodied (Embodied AI) mira a creare agenti in grado di ragionare e agire autonomamente nel mondo reale. Tuttavia, le attuali sfide principali riguardano:

• Complessità degli scenari reali: Molti compiti critici (consegne in uffici, trasporti in ospedali, faccende domestiche complesse) sono a "lungo orizzonte" (long-horizon) e si estendono su piani multipli di un edificio.
• Limitazioni degli attuali benchmark: La maggior parte degli ambienti di valutazione esistenti (es. AI2-THOR standard, ProcTHOR) è confinata a singoli piani o appartamenti. Mancano modelli realistici di strutture verticali, connessioni inter-piano (scale, ascensori) e zonizzazione funzionale complessa.
• Mancanza di dati scalabili: I dataset reali scansionati sono costosi e difficili da modificare, mentre i metodi di generazione procedurale o basati su LLM attuali tendono a produrre layout "piatti" (single-floor) senza coerenza verticale o strutture portanti condivise tra i piani.

2. Metodologia: Il Framework MANSION

Il paper introduce MANSION, un framework guidato dal linguaggio naturale per generare ambienti 3D interattivi su scala edilizia (multi-piano). La metodologia si articola in quattro fasi principali:

A. Pipeline Ibrida MLLM-Geometria

Il cuore del sistema è un approccio ibrido che combina la capacità semantica dei Modelli Linguistici Multimodali (MLLM) con un risolutore geometrico vincolato:

1. Pianificazione dell'Edificio (Livello Globale): Un nodo "Chief Designer" (MLLM) analizza le istruzioni testuali per definire lo stile globale, le zone funzionali e la distribuzione delle aree tra i piani.
2. Pianificazione per Piano (Livello Locale): Per ogni piano, un agente MLLM genera un diagramma a bolle (bubble diagram) che definisce le relazioni topologiche tra le stanze e i nuclei verticali (scale/ascensori).
3. Sintesi della Planimetria (Geometric Solver): Invece di far generare direttamente le forme geometriche all'MLLM, il sistema utilizza un risolutore vincolato (constrained growth solver). L'MLLM fornisce solo "semi" spaziali (coordinate approssimative) e vincoli di area. Il risolutore esegue una ricerca gerarchica per partizionare lo spazio, garantendo che le planimetrie rispettino i vincoli topologici e la coerenza verticale (es. allineamento dei nuclei).
4. Istantanea della Scena (Scene Instantiation): I layout vettoriali vengono trasformati in scene 3D interattive (AI2-THOR), assegnando materiali, porte e oggetti.

B. Vincoli Verticali e Coerenza Strutturale

A differenza dei metodi precedenti, MANSION tratta la coerenza verticale come un vincolo hard:

• I nuclei verticali (scale, ascensori, condotti) sono allineati tra i piani.
• I muri portanti e le strutture fisse sono preservati attraverso i piani per garantire la validità strutturale dell'edificio.
• Il sistema supporta contorni esterni differenziati per piano (non tutti i piani devono avere la stessa forma), permettendo edifici realistici come ville o uffici complessi.

C. Task-Semantic Scene Editing Agent

Per rendere gli ambienti riutilizzabili per compiti diversi senza rigenerare l'intero edificio, è stato introdotto un agente di editing:

• Utilizza un ciclo "Check-and-Provision" (Verifica e Fornitura).
• L'agente analizza un compito ad alto livello (es. "Porta un snack dal 2° piano al divano al 1° piano").
• Verifica la connettività del percorso e la disponibilità degli oggetti.
• Se mancano oggetti o condizioni, l'agente modifica dinamicamente la scena (es. inserisce un oggetto nel frigorifero) per rendere il compito eseguibile, preservando la struttura fisica dell'edificio.

3. Contributi Chiave

1. MANSION Framework: Il primo sistema in grado di generare edifici multi-piano completi e navigabili partendo da descrizioni testuali, con vincoli strutturali verticali verificabili.
2. MansionWorld Dataset: Un nuovo dataset su larga scala contenente oltre 1.000 edifici diversificati (ospedali, uffici, supermercati, scuole, residenze) con oltre 10.000 stanze. Include asset riutilizzabili per scale e ascensori e API per la navigazione inter-piano.
3. Nuovi Asset e API: Estensione del simulatore AI2-THOR con skill atomiche per la mobilità verticale (UseStairs, CallElevator, UseElevator) che gestiscono il caricamento/scaricamento dinamico dei piani.
4. Agente di Editing Semantico: Un sistema che trasforma edifici statici in "palestre" adattabili per compiti specifici, risolvendo il problema della rigidità dei dataset generati.

4. Risultati Sperimentali

Gli esperimenti confermano l'efficacia del sistema e la difficoltà del nuovo benchmark:

• Generazione di Planimetrie: Su dataset standard (T2D, ResPlan-1K), il metodo di MANSION (specialmente con modelli LLM potenti come Gemini-2.5-Pro) raggiunge prestazioni competitive o superiori rispetto agli stati dell'arte (es. ChatHouseDiffusion), dimostrando una migliore capacità di generalizzazione su layout complessi e non residenziali.
• Posizionamento Oggetti: Il modulo di placement supera metodi esistenti (LayoutGPT, Holodeck) in termini di tasso di raggiungibilità (100% in tutti i test) e riduzione delle collisioni, mantenendo un alto numero di oggetti posizionati in modo realistico.
• Valutazione degli Agenti Embodied: Testando agenti SOTA (BUMBLE, COME-robot) su MansionWorld:
  • Gli agenti performano bene su singoli piani.
  • Le prestazioni crollano drasticamente su compiti a due e quattro piani.
  • La maggior parte dei fallimenti è dovuta a problemi di memoria a lungo termine e alla difficoltà di pianificare percorsi complessi che coinvolgono scale/ascensori, evidenziando un ampio margine di miglioramento per la ricerca futura.

5. Significato e Impatto

Il lavoro di MANSION segna un passo fondamentale per l'Embodied AI:

• Superamento del "Single-Floor Bias": Sposta il focus dalla ricerca su stanze isolate a scenari edilizi reali, dove la navigazione verticale e la memoria spaziale sono cruciali.
• Nuovo Benchmark Rigoroso: MansionWorld stabilisce un nuovo standard di difficoltà per valutare la capacità di ragionamento spaziale, pianificazione a lungo termine e gestione della memoria degli agenti robotici.
• Scalabilità e Flessibilità: La capacità di generare edifici su richiesta e modificarli semanticamente offre un ambiente di test infinito e diversificato, essenziale per addestrare robot destinati a operare in ambienti reali complessi (ospedali, uffici, centri commerciali).

In sintesi, MANSION non è solo un generatore di scenari, ma un ecosistema completo che colma il divario tra la simulazione attuale e la complessità del mondo reale, ponendo le basi per la prossima generazione di robot autonomi capaci di operare su scala edilizia.