MANSION: Multi-floor lANguage-to-3D Scene generatIOn for loNg-horizon tasks

El artículo presenta MANSION, un marco innovador que genera entornos 3D de edificios a gran escala y múltiples pisos a partir de lenguaje natural, junto con el dataset MansionWorld, para abordar la complejidad de las tareas robóticas de largo horizonte que requieren razonamiento espacial en escenarios realistas y multiplanta.

Lo esencial

¡Claro que sí! Imagina que el mundo de la robótica y la inteligencia artificial (IA) es como un gran grupo de estudiantes aprendiendo a conducir.

Hasta ahora, estos "robots estudiantes" solo han practicado en coches de juguete dentro de una sola habitación. Han aprendido a esquivar sillas, abrir puertas y buscar objetos en un piso plano. Pero el mundo real es mucho más grande: los robots necesitan trabajar en edificios enteros, subir escaleras, tomar el ascensor y moverse entre el sótano y la azotea.

El problema es que no teníamos "pistas de entrenamiento" para edificios reales. Los entornos que existían eran como casas de muñecas de un solo piso.

Aquí es donde entra MANSION (un nombre genial que significa "Mansión", pero también es un acrónimo técnico).

¿Qué es MANSION? (La Analogía del Arquitecto Mágico)

Imagina que tienes un arquitecto genio que no necesita planos dibujados a mano. Solo le dices: "Quiero un hospital de tres pisos con una cafetería en el primero y quirófanos arriba".

MANSION es ese arquitecto, pero es un arquitecto de IA que funciona así:

1. El Arquitecto (El Cerebro): Escucha tu descripción en lenguaje natural (como si le hablaras a un amigo).
2. El Dibujante (La Geometría): En lugar de dibujar un solo piso, dibuja todo el edificio verticalmente. Asegura que las escaleras y los ascensores estén alineados perfectamente de un piso a otro (algo que otros sistemas fallaban al hacer).
3. El Decorador (La Realidad): Llena las habitaciones con muebles, puertas y objetos, asegurándose de que el robot pueda caminar por ahí sin chocar.

MansionWorld: El Parque de Juegos Infinito

Con MANSION, los creadores lanzaron MansionWorld. Piensa en esto como un parque de juegos digital gigante que contiene más de 1,000 edificios diferentes:

• Un hospital con pasillos largos.
• Una oficina de 6 pisos con cubículos.
• Un supermercado con pasillos de comida.
• Una escuela y hasta una villa de lujo.

Lo más increíble es que no son solo imágenes bonitas. Son mundos interactivos donde un robot puede entrar, caminar, subir escaleras y buscar cosas.

El "Jardinero de Tareas" (El Agente de Edición)

Imagina que tienes un edificio de oficinas vacío. Quieres que un robot vaya a buscar un café del piso 2 y lo lleve al piso 1. Pero, ¿y si en el piso 2 no hay cafetera?

Aquí entra el Agente de Edición Semántica. Es como un jardinero mágico que entra al edificio antes de que el robot empiece a trabajar.

• Si el robot necesita una llave inglesa en el garaje, el jardinero la pone ahí.
• Si necesita un ascensor que funcione, el jardinero lo repara.
• La magia: No tienen que construir un edificio nuevo para cada tarea. Pueden tomar el mismo edificio de oficinas y, con un solo comando de texto, transformarlo para que sirva para 100 tareas diferentes. ¡Es como cambiar el escenario de una obra de teatro sin tener que construir un nuevo teatro!

¿Por qué es importante? (La Prueba de Fuego)

Los autores probaron a los robots más inteligentes del mundo en este nuevo entorno.

• El resultado: ¡La mayoría de los robots se confundieron y fallaron!
• La razón: Están acostumbrados a jugar en una sola habitación. Cuando tienen que recordar "bajé las escaleras, giré a la izquierda y ahora estoy en el piso 3", se pierden.

Esto es bueno. Significa que MANSION es el nuevo examen difícil que nos obliga a crear robots más inteligentes, con mejor memoria y mejor capacidad de planificación para el mundo real.

En resumen

MANSION es como tener una fábrica de mundos virtuales que puede crear cualquier edificio que puedas imaginar, desde un hospital hasta una oficina, y llenarlo de objetos listos para que los robots practiquen tareas complejas.

Es el primer paso para que los robots dejen de ser "niños que juegan en el salón" y se conviertan en "adultos capaces de trabajar en un edificio entero".

¿La moraleja? Si quieres que un robot sea útil en la vida real (entregando paquetes en un hospital o limpiando una oficina grande), primero debes enseñarle a navegar en un edificio de varios pisos. Y MANSION es la mejor escuela para eso.

Resumen técnico

Resumen Técnico: MANSION

1. El Problema

El objetivo final de la Inteligencia Artificial Encarnada (Embodied AI) es crear agentes capaces de razonar y ejecutar tareas complejas en el mundo real. Sin embargo, existen limitaciones críticas en los enfoques actuales:

• Falta de Escala y Complejidad: La mayoría de los benchmarks existentes se limitan a entornos de una sola planta o apartamentos pequeños. No reflejan la complejidad de las tareas del mundo real que son de "largo horizonte" (requieren muchos pasos) y abarcan múltiples pisos de un edificio (hospitales, oficinas, centros comerciales).
• Deficiencia en Razonamiento Espacial: Las tareas reales requieren no solo habilidades de bajo nivel (navegación, manipulación), sino también una fuerte capacidad de planificación espacial a largo plazo, memoria y razonamiento sobre estructuras verticales (escaleras, ascensores).
• Limitaciones en la Generación de Escenas: Los datasets existentes (escaneados o generados proceduralmente) son costosos, difíciles de editar o carecen de consistencia vertical. Los generadores actuales de planos de planta suelen centrarse en viviendas de una sola planta y no modelan la alineación de núcleos verticales (ascensores, escaleras) ni la conectividad entre pisos, lo que impide la simulación de tareas跨-piso.

2. Metodología: El Framework MANSION

MANSION es un framework impulsado por lenguaje natural para la generación de entornos 3D a escala de edificio y la evaluación de tareas de largo horizonte. Su arquitectura se divide en cuatro etapas principales:

A. Pipeline de Generación de Planos (Floorplan Generation)
El núcleo del sistema es un pipeline híbrido que combina un Modelo de Lenguaje Multimodal (MLLM) con un solucionador geométrico basado en reglas:

1. Planificación de Nivel de Edificio: Un nodo "Jefe de Diseño" (Chief Designer) interpreta las instrucciones del usuario para definir zonas funcionales, asignación de áreas y preferencias de estilo global, asegurando la consistencia semántica y visual en todo el edificio.
2. Planificación por Planta: Se generan diagramas de burbujas (topología de habitaciones) para cada planta, respetando las restricciones de los núcleos verticales (escaleras/ascensores).
3. Síntesis con Restricciones (Constrained Growth): En lugar de que el MLLM regrese directamente polígonos complejos (lo cual es inestable), el sistema utiliza una estrategia de división jerárquica. El MLLM proporciona "semillas" espaciales (puntos iniciales) y áreas objetivo. Un solucionador geométrico (basado en crecimiento restringido tipo Lopes) realiza la partición real del espacio, asegurando que se cumplan las topologías y restricciones físicas.
4. Instanciación de Escena: Los planos se convierten en escenas interactivas en AI2-THOR. Se asignan materiales, puertas y objetos siguiendo una lógica de "calidad primero": se prioriza la alcanzabilidad (reachability) para el robot, evitando agrupaciones de objetos y utilizando primitivas estructurales (matrices, pares) para entornos no residenciales como oficinas y aulas.

B. Ecosistema MansionWorld
Sobre el framework, se construye y libera MansionWorld, un dataset y ecosistema que incluye:

• Dataset a Gran Escala: Más de 1,000 edificios diversos (hospitales, oficinas, escuelas, supermercados, residencias) con 2 a 10 pisos y más de 10,000 habitaciones.
• Activos de Movilidad Cross-Piso: Se extiende AI2-THOR con activos reutilizables de escaleras y ascensores, junto con APIs atómicas de alto nivel (UseStairs, CallElevator, UseElevator) que gestionan la transición de escena entre pisos de manera transparente para el agente.
• Agente de Edición Semántica de Escenas (Task-Semantic Scene Editing Agent): Un agente controlado por MLLM que transforma edificios estáticos en "parques de juegos" adaptables. Utiliza un flujo de trabajo "Check-and-Provision" (Verificar y Proveer):
  • Descompone una instrucción de tarea compleja en precondiciones.
  • Verifica si el entorno actual cumple las condiciones (ej. ¿hay un snack en la mesa?).
  • Si falta algo, edita la escena dinámicamente (ej. coloca un objeto en la nevera) para hacer la tarea ejecutable, sin necesidad de regenerar todo el edificio.

3. Contribuciones Clave

1. Primer Framework de Lenguaje a Escala de Edificio: MANSION es el primer sistema capaz de generar edificios completos de múltiples plantas con consistencia vertical y conectividad realista, superando las limitaciones de los generadores de una sola planta.
2. Pipeline Híbrido MLLM-Geométrico: Propone una arquitectura donde el MLLM maneja la semántica de alto nivel y la orientación espacial, mientras que un solucionador geométrico garantiza la validez topológica y física, logrando escalabilidad en un "mundo abierto" (open-vocabulary).
3. Dataset MansionWorld: La liberación de un dataset masivo y diverso de edificios interactivos, diseñado específicamente para probar tareas de largo horizonte y razonamiento espacial en entornos multi-piso.
4. Herramientas de Evaluación y Edición: Introducción de APIs para navegación cross-piso y un agente de edición que permite reutilizar un mismo entorno para múltiples tareas, resolviendo el problema de la rigidez en la generación de entornos.

4. Resultados Experimentales

• Generación de Planos: En el dataset T2D, el método de MANSION (con restricciones) alcanza un rendimiento comparable a los métodos basados en difusión (como ChatHouseDiffusion) cuando se usan los mismos datos de anotación manual. En el dataset más complejo ResPlan-1K (con más de 8 habitaciones y estructuras complejas), MANSION supera significativamente a los métodos existentes, demostrando una mejor capacidad de ajuste y generalización.
• Colocación de Objetos: En comparación con LayoutGPT y Holodeck, el método de MANSION logra una tasa de alcanzabilidad del 100% en todas las escenas, con menos colisiones y una mayor calidad de diseño percibida por usuarios humanos, especialmente en entornos no residenciales (aulas, bibliotecas).
• Evaluación de Agentes Embodied: Al probar agentes de última generación (BUMBLE, COME-robot) en MansionWorld:
  • Los agentes muestran un rendimiento aceptable en entornos de una sola planta.
  • Su rendimiento se degrada drásticamente en entornos de dos pisos y cae a cero en edificios de cuatro pisos.
  • Esto revela que los algoritmos actuales carecen de la memoria espacial y la planificación de alto nivel necesarias para navegar y operar en edificios reales de múltiples niveles.

5. Significado e Impacto

El trabajo de MANSION establece un nuevo estándar para la investigación en IA Encarnada:

• Puente hacia el Mundo Real: Cierra la brecha entre los entornos de simulación simplificados y la complejidad de las tareas del mundo real que ocurren en edificios completos.
• Benchmarks para el Futuro: MansionWorld actúa como un "banco de pruebas" crítico para evaluar la próxima generación de agentes que deben integrar navegación, manipulación, memoria a largo plazo y razonamiento sobre estructuras verticales.
• Escalabilidad y Reutilización: La capacidad de editar semánticamente los entornos generados permite una investigación más eficiente, permitiendo probar miles de variaciones de tareas sobre una misma infraestructura física sin costosos procesos de regeneración.

En resumen, MANSION no solo resuelve el problema de la generación de entornos 3D complejos, sino que proporciona la infraestructura necesaria para desarrollar y evaluar agentes robóticos capaces de operar en la complejidad de los edificios modernos.