Resumen Técnico: Código como Habitación

Definición del Problema

Diseñar habitaciones interiores 3D realistas y funcionales es crítico para aplicaciones en diseño de interiores, realidad virtual, videojuegos e IA encarnada. Sin embargo, la construcción manual es intensiva en mano de obra, y los métodos automatizados existentes enfrentan limitaciones significativas. Los métodos procedimentales tradicionales están restringidos por reglas creadas a mano y categorías predefinidas, fallando en capturar relaciones espaciales complejas del mundo real. Los enfoques recientes basados en Modelos de Lenguaje Grandes Multimodales (MLLM) han mostrado promesa, pero luchan con información espacial precisa al depender exclusivamente de descripciones de texto. Además, los agentes existentes condicionados por imágenes, encargados de la generación holística de habitaciones a partir de vistas cenitales, a menudo sufren de inestabilidad, bucles infinitos e incapacidad para recuperar detalles espaciales de granularidad fina.

El desafío central abordado por este trabajo es generar una escena interior 3D completa, editable y ejecutable a partir de una única imagen de vista cenital. El objetivo es producir código de Blender que represente con precisión la estructura de la habitación, la colocación de objetos, la geometría, los materiales y la iluminación, alineándose estrictamente con los priores visuales de la imagen de entrada.

Metodología: Código como Habitación (CaR)

Los autores proponen Código como Habitación, un marco de agentes basado en MLLM equipado con un entorno de ejecución estructurado. A diferencia de los métodos de generación directa, CaR descompone la tarea compleja en una pipeline de múltiples etapas basada en principios que transforma una imagen cenital en código de Blender ejecutable.

1. Pipeline de Ejecución Estructurada

El marco opera a través de cinco fases distintas, organizadas en diez etapas especializadas:

• Estructuración de Escena Basada en Imágenes:

  • Etapa 1 (Análisis Semántico Espacial): El VLM analiza la imagen cenital para extraer zonas funcionales, jerarquías de objetos y elementos arquitectónicos (paredes, puertas, ventanas), asignando identificadores y tipos de colocación.
  • Etapa 2 (Construcción de Grafo de Escena): Se deriva un esqueleto determinista, construyendo un grafo de escena centrado en objetos que define las relaciones entre características arquitectónicas, muebles principales y objetos menores (almacenados en un "sidecar" para su uso posterior).

• Generación de Código de Distribución:

  • Etapa 3 (Distribución Principal con Retroalimentación Visual): El sistema genera código de distribución inicial para muebles principales. Emplea un bucle de renderizado-crítica-revisión donde el código actual se renderiza en una imagen cenital, es evaluado por un crítico basado en VLM para superposición, consistencia de límites y relaciones espaciales, y luego se revisa. Este bucle se ejecuta durante un número fijo de iteraciones (por ejemplo, 5) para garantizar la estabilidad de la distribución.
  • Etapa 4 (Distribución Auxiliar): Se añaden objetos montados en paredes y objetos menores visualmente salientes (por ejemplo, alfombras, plantas) a la distribución, mientras que los artículos diminutos unidos a superficies se posponen.

• Perfilado de Objetos Aterrizado en la Distribución:

  • Etapa 5: El sistema analiza la distribución fija para aterrizar el VLM, generando descripciones de objetos de granularidad fina (color, material, estilo) y una descripción global del estilo de la habitación, asegurando que los detalles visuales se alineen con la estructura espacial establecida.

• Generación de Código a Nivel de Objeto:

  • Etapa 6 (Reemplazo de Geometría): Los proxies de distribución gruesa se reemplazan con primitivas de geometría 3D detalladas basadas en los perfiles de objetos inferidos. Se utiliza una estrategia híbrida para objetos diminutos: primero se crean marcadores de posición geométricos simples, seguidos de la recuperación de activos de una biblioteca para reemplazarlos con modelos 3D coincidentes.

• Generación de Código de Decoración Interior:

  • Etapa 8 (Asignación de Materiales): Se asignan materiales PBR a nivel de parte basados en el diccionario de objetos y el estilo global.
  • Etapa 9 (Generación de Texturas): Modelos de generación de imágenes de alta capacidad sintetizan mapas de textura para pisos, paredes y elementos decorativos, que se inyectan en la escena.
  • Etapa 10 (Iluminación y Optimización Post-Hoc): El sistema infiere estilos de iluminación (natural y artificial) y configura los parámetros de renderizado. Un paso de corrección determinista soluciona problemas comunes de implementación (por ejemplo, materiales faltantes, rutas inválidas) y resuelve violaciones de límites o superposición mediante búsqueda local.

2. Sistema de Memoria Transetapa

Un componente crítico del marco es el Módulo de Memoria Transetapa. Esta memoria compartida mantiene el estado persistente de la pipeline, almacenando artefactos tipificados de cada etapa. Las etapas aguas abajo leen solo vistas predefinidas de esta memoria. Este diseño mitiga el problema de "olvido de contexto" inherente a flujos de trabajo de agentes largos, asegurando que la información espacial y los detalles de objetos derivados en etapas tempranas se preserven y utilicen con precisión en etapas posteriores.

Contribuciones Clave

1. Paradigma Guiado por Imagen Cenital: El artículo introduce un paradigma novedoso donde una única imagen cenital sirve como prior espacial global para guiar la generación completa de una habitación interior, avanzando más allá de entradas de solo texto o imágenes en perspectiva.
2. Entorno de Ejecución Estructurado: Los autores proponen un flujo de trabajo de agentes estructurado que orquesta MLLMs a través de una pipeline de grueso a fino. Este entorno asegura una síntesis de habitaciones 3D estable y coherente al descomponer la tarea en etapas manejables con bucles de retroalimentación visual.
3. Punto de Referencia Dedicado: Se introduce un nuevo punto de referencia para la síntesis de habitaciones 3D basada en código, que abarca diversos protocolos de evaluación para la comprensión de contenido visual, el razonamiento espacial, la generación de código desde visión y la calidad holística de la escena.

Resultados Experimentales

Los autores evaluaron Código como Habitación utilizando tres backbones VLM líderes: Gemini-3 Flash, Gemini-3.1 Pro y GPT-5.5.

• Rendimiento del Punto de Referencia: En comparación con la generación directa de un solo pase y el marco VIGA existente, Código como Habitación demostró un rendimiento superior en todas las métricas.
  • Razonamiento Espacial: CaR mejoró significativamente el IoU de Distribución (hasta un 73,2% frente al 16,8% de Gemini directo), la Precisión de Rotación y la Precisión de Soporte.
  • Generación de Código: El marco logró altas tasas de ejecución (hasta un 100% para variantes de Gemini), mientras que la generación directa a menudo fallaba al producir código ejecutable.
  • Calidad Visual: Las evaluaciones humanas mostraron que las escenas generadas por CaR tenían mayor similitud con las imágenes de entrada, mejor usabilidad y mayor aceptabilidad (requiriendo menos correcciones manuales) en comparación con las líneas base.
• Estudios de Ablación:
  • Memoria: Eliminar la memoria transetapa resultó en una caída significativa del IoU de Distribución (de 73,2% a 58,0%) y del Recall de Objetos, confirmando su necesidad para mantener la consistencia espacial.
  • Retroalimentación Visual: El rendimiento mejoró con hasta 5 iteraciones de retroalimentación. Sin embargo, aumentar las iteraciones a 10 llevó a una disminución en las métricas, lo que sugiere que una revisión excesiva puede causar deriva en la distribución.

Significado y Afirmaciones

El artículo afirma que Código como Habitación aborda la inestabilidad y la falta de precisión en la generación actual de habitaciones 3D a partir de imágenes. Al representar habitaciones 3D como código de Blender ejecutable, el marco permite escenas que no solo están alineadas visualmente con las imágenes de entrada, sino que también son editables, renderizables y estructuradas.

Los autores enfatizan que el éxito del sistema no depende solo de las capacidades base del VLM, sino del flujo de trabajo de agentes estructurado que organiza el análisis visual, el razonamiento espacial y la síntesis de código. La introducción del módulo de memoria transetapa se destaca como una innovación clave para mitigar el olvido de contexto en tareas de generación complejas y multietapa.

El trabajo se posiciona como un paso hacia herramientas más confiables y prácticas para la creación automatizada de contenido 3D, particularmente para escenarios donde se requiere una alineación espacial precisa con planos de planta o bocetos cenitales. Los autores señalan limitaciones, como el enfoque actual en vistas cenitales y la dependencia de la recuperación de activos para detalles geométricos altamente complejos, sugiriendo trabajo futuro en generación de video para renderizado neuronal y manejo de entradas de vista arbitraria.