RoomPilot: Controllable Indoor Scene Synthesis via Multimodal Semantic Parsing

Resumen Técnico: RoomPilot: Síntesis de Escenas Interiores Controlables mediante Análisis Semántico Multimodal

Planteamiento del Problema
Generar escenas interiores controlables es esencial para aplicaciones en desarrollo de videojuegos, visualización arquitectónica e IA encarnada. Sin embargo, los enfoques existentes luchan por satisfacer simultáneamente los requisitos de soporte multihabitación, controlabilidad de granularidad fina, relaciones espaciales explícitas y plausibilidad física.

• Métodos basados en modelos (por ejemplo, ATISS, DiffuScene) a menudo carecen de diversidad y generalizan mal a escenas novedosas debido a la escasez de datos.
• Sistemas basados en reglas y procedimentales (por ejemplo, Infinigen Indoors, ProcTHOR) garantizan la validez física pero ofrecen una controlabilidad limitada sobre los detalles semánticos y la intención del usuario.
• Enfoques basados en visión luchan por controlar con precisión la disposición de las escenas.
• Métodos basados en LLM mejoran la comprensión de vocabulario abierto pero a menudo carecen de control preciso sobre las relaciones espaciales entre objetos.
  Un obstáculo principal es la falta de una representación unificada de escenas que conecte entradas heterogéneas (texto o CAD) con una síntesis 3D interpretable y controlable.

Metodología
Los autores proponen RoomPilot, un marco unificado que sintetiza escenas interiores controlables a partir de descripciones textuales detalladas o planos CAD. El marco opera a través de tres módulos estrechamente integrados:

1. Análisis Semántico Multimodal:

   • Las entradas (texto o CAD) se transforman en una configuración inicial de Lenguaje Específico de Dominio para Interiores (IDSL) ($S_0$).
   • Para texto, una estrategia de análisis jerárquico con LLM (utilizando GPT-4) extrae la estructura global (nivel de edificio), los planos de mobiliario (nivel de habitación) y las disposiciones espaciales precisas (nivel de objeto).
   • Para CAD, una tubería de análisis geométrico extrae contornos de habitaciones, puertas y ventanas de representaciones vectorizadas (por ejemplo, SVG), mapeándolas al IDSL. El contenido a nivel de objeto para CAD es inferido por el LLM basándose en los tipos de habitación.

2. Optimización de Escena de Autorregulación:

   • El IDSL inicial se refina iterativamente en una configuración optimizada ($S^*$) utilizando un proceso de autorregulación basado en energía.
   • Energía de Doble Canal: La función objetivo se descompone en una Energía Estructural (colisiones, límites, estabilidad) y una Energía Semántica (proximidad funcional, alineación direccional).
   • Recocido Adaptativo: A diferencia de los calendarios fijos, los pesos de optimización y la temperatura se modulan adaptativamente mediante una puntuación de alineación de reglas ($\rho(t)$). A medida que se satisfacen las restricciones estructurales, el enfoque cambia de la viabilidad geométrica a la organización semántica.
   • Activación Progresiva de Reglas: Las reglas se activan en etapas (estructural $\to$ funcional $\to$ estilística) para evitar el acoplamiento prematuro de objetivos heterogéneos.

3. Generación Jerárquica de Escenas Interiores:

   • El IDSL optimizado se instancia en escenas 3D de alta fidelidad.
   • Nivel de Edificio: La generación procedimental crea mallas de paredes estancas basadas en polígonos de habitaciones.
   • Nivel de Habitación: Las operaciones booleanas instancian puertas y ventanas.
   • Nivel de Objeto: Un ecosistema híbrido recupera activos de un conjunto de datos curado (9.271 activos anotados) o conjuntos de datos públicos (Objaverse, 3D-FUTURE). Si la confianza en la recuperación es baja, generadores procedimentales específicos de categoría (PCG) sintetizan la geometría.
   • Refinamiento Consciente de Relaciones: Un paso de optimización posterior a la colocación hace cumplir la estabilidad física (por ejemplo, objetos descansando sobre superficies) y elimina artefactos flotantes o interseccionados.

Contribuciones Clave

• Marco RoomPilot: Un sistema unificado para la síntesis de escenas interiores controlables que admite descripciones textuales y planos CAD como entradas.
• Lenguaje Específico de Dominio para Interiores (IDSL): Una representación intermedia estructurada y jerárquica (niveles de Edificio, Habitación, Objeto) que traduce entradas heterogéneas en especificaciones semánticas y geométricas interpretables, sirviendo como un puente controlable entre la intención del usuario y la síntesis 3D.
• Optimización de Autorregulación: Un algoritmo basado en energía que equilibra adaptativamente la estabilidad estructural y la alineación semántica sin calendarios de enfriamiento fijos, permitiendo diseños multihabitación coherentes.
• Conjunto de Datos de Alta Fidelidad: Un conjunto de datos de activos curado con anotaciones semánticas ricas para apoyar la síntesis de escenas realistas.

Resultados Experimentales
Los autores evalúan RoomPilot frente a seis métodos de última generación (por ejemplo, Holodeck, I-Design, LayoutGPT) en generación de texto de vocabulario abierto y generación condicionada por CAD.

• Controlabilidad: RoomPilot supera significativamente a las líneas base en Fidelidad de Disposición (LF), Tasa de Satisfacción de Restricciones sobre la cantidad de objetos (CSR$_{count}$) y restricciones relacionales (CSR$_{rel}$).
• Plausibilidad Física: El método logra casos casi nulos fuera de los límites y de colisión, con puntuaciones superiores en realismo y estabilidad física en comparación con enfoques basados en difusión o recuperación.
• Fidelidad CAD: Cuando se condiciona a planos CAD, RoomPilot preserva las formas, dimensiones y posiciones de las aberturas de las habitaciones con alta precisión geométrica (Precisión de Paredes: 0.87 frente a 0.31 para Holodeck).
• Estudio de Usuarios: Los evaluadores humanos calificaron a RoomPilot como el más alto en calidad visual, razonabilidad de la disposición y plausibilidad física.
• Estudios de Ablación: Eliminar el IDSL o el módulo de optimización de autorregulación provoca las caídas de rendimiento más significativas, confirmando su necesidad para una síntesis controlable de alta calidad.

Significado
El artículo afirma que RoomPilot representa un paso significativo hacia la síntesis de escenas interiores 3D controlables al abordar la fragmentación en los paradigmas existentes. Al introducir el IDSL y un proceso de optimización de autorregulación, el marco logra un equilibrio entre coherencia estructural, alineación semántica y plausibilidad física que los métodos anteriores no podían satisfacer simultáneamente. Esto permite la generación de entornos multihabitación estructuralmente válidos que responden fielmente a instrucciones complejas del usuario, facilitando la implementación práctica en IA encarnada y visualización arquitectónica. Los autores señalan que, aunque el sistema es robusto, pueden ocurrir casos de fallo (por ejemplo, objetos faltantes en restricciones relacionales complejas) debido al comportamiento inherente del recocido simulado al optimizar conjuntamente la composición discreta y las relaciones continuas.