Roomify: Spatially-Grounded Style Transformation for Immersive Virtual Environments

El artículo presenta Roomify, un sistema de transformación espacialmente fundamentado que genera entornos virtuales temáticos anclados a las habitaciones físicas de los usuarios, preservando su estructura y semántica funcional para lograr un equilibrio superior entre presencia inmersiva y conciencia espacial.

Lo esencial

¡Imagina que tu sala de estar es un lienzo en blanco, pero en lugar de pintar sobre la pared, puedes transformar todo el espacio en un mundo mágico sin tener que mover ni un solo mueble!

Así es Roomify, el sistema que presentan en este artículo. Para explicártelo de forma sencilla, vamos a usar una analogía: piensa en Roomify como un "filtro de realidad aumentada" que no solo cambia los colores, sino que reescribe la historia de tu habitación.

Aquí tienes los puntos clave, explicados con ejemplos de la vida diaria:

1. El Problema: La Dilema de los Gafas de Realidad Virtual

Actualmente, si te pones unas gafas de realidad virtual (VR) para ver una película o jugar, tienes dos opciones, y ambas tienen un "pero":

• Opción A (Inmersión total): Te olvidas de tu casa. Te sientes como si estuvieras en una nave espacial, pero... ¡puedes chocarte contra el sofá real! Es peligroso y desorientador.
• Opción B (Passthrough): Ves tu casa real a través de las gafas. Es seguro, pero rompe la magia. Es como ver una película a través de una ventana sucia; siempre te recuerdan que estás en tu sala, no en la película.

Roomify busca el "punto dulce": quiere que te sientas en un castillo mágico (inmersión), pero que sigas sabiendo dónde está tu sofá para no tropezar (seguridad).

2. La Solución: "La Transformación Anclada"

Roomify no borra tu habitación ni la reemplaza por una falsa. En su lugar, usa tu habitación real como el esqueleto y le pone una "piel" nueva.

• La Analogía del Disfraz: Imagina que tu sofá es un actor. En la vida real, es un sofá de cuero marrón. Roomify le pone un disfraz de "trono de hielo" o de "nube de algodón de azúcar".
  • Lo que cambia: La apariencia (el disfraz).
  • Lo que NO cambia: La forma, el tamaño y la ubicación exacta. Si el sofá real está a 2 metros de la puerta, el "trono de hielo" también estará a 2 metros.
  • El resultado: Sabes que puedes sentarte en el trono porque tu cerebro recuerda que ahí hay un sofá, pero tus ojos ven magia.

3. ¿Cómo funciona la magia? (El Proceso)

El sistema funciona en cuatro pasos, como si fuera un chef preparando un plato gourmet:

1. El Escaneo (La Foto): Usas tus gafas (como un Quest 3) para grabar un video corto de tu habitación. El sistema "dibuja" un mapa 3D de tus muebles.
2. La Idea (El Pedido): Le dices al sistema qué quieres. Por ejemplo: "Quiero que mi sala parezca la nave de Star Wars" o "Quiero un bosque encantado de Harry Potter". Puedes usar voz o subir una foto de referencia.
3. La Cocción (La IA): Aquí es donde la Inteligencia Artificial hace su trabajo.
   • No inventa muebles nuevos de la nada.
   • Toma tus muebles reales y los "transforma". El aire acondicionado se convierte en una chimenea medieval (porque ambos regulan la temperatura). La nevera se convierte en un barril de pirata (porque ambos guardan cosas).
   • Truco importante: La IA sabe que si mueve el sofá 10 centímetros a la izquierda, podrías chocarte. Así que mantiene todo en su lugar.
4. El Ajuste (El Chef): Antes de meterte totalmente en el mundo virtual, puedes usar un modo especial (Realidad Mixta) para ver los muebles "fantasma" y decir: "Esa silla está un poco torcida, ajústala". Una vez que todo está bien, te metes en la experiencia completa.

4. ¿Por qué es tan genial? (Lo que dicen los usuarios)

Los investigadores probaron esto con gente normal y diseñadores profesionales, y los resultados fueron increíbles:

• Más Magia, Menos Miedo: La gente se sintió 63% más inmersa que con las gafas normales que muestran la cámara, y 26% más que con un mundo totalmente falso.
• Seguridad Real: A diferencia de los mundos virtuales puros donde la gente choca contra paredes invisibles, con Roomify la gente sabía exactamente dónde estaban los muebles. Podían caminar, sentarse y jugar sin miedo.
• Creatividad: Los diseñadores dijeron que es una herramienta fantástica para probar ideas. ¿Quieres ver cómo quedaría tu sala con estilo "pirata" antes de comprar muebles? ¡Hazlo en segundos!

En Resumen

Roomify es como tener una varita mágica que convierte tu sala aburrida en un mundo de fantasía, pero respetando las reglas de la física de tu casa. No te hace olvidar dónde está el sofá; te hace creer que el sofá es un dragón, pero te deja saber que si te sientas encima, no te caerás al vacío.

Es la forma perfecta de tener lo mejor de dos mundos: la seguridad de tu hogar y la imaginación de un videojuego, todo al mismo tiempo.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Roomify: Spatially-Grounded Style Transformation for Immersive Virtual Environments", presentado en la conferencia CHI '26.

1. El Problema

Los sistemas de Realidad Virtual (VR) actuales enfrentan una disyuntiva fundamental entre la inmersión y la conciencia espacial:

• VR Totalmente Virtual: Ofrece alta inmersión pero aísla al usuario de su entorno físico, provocando desorientación espacial y riesgos de seguridad (choques con muebles reales).
• Passthrough (Transparencia): Permite ver el entorno físico y mantener la seguridad, pero rompe la presencia inmersiva al mostrar la cámara del mundo real, recordando constantemente al usuario que lleva un dispositivo.
• Soluciones Actuales: Los sistemas de "guardianes" (bordes 2D) o los "proxys" (sustitución de objetos) carecen de flexibilidad estilística o no logran una integración semántica coherente entre el espacio físico y el virtual.

Objetivo: Crear un sistema que transforme radicalmente el estilo de una habitación física (ej. de un salón moderno a un castillo de Harry Potter) manteniendo la estructura geométrica y la semántica funcional de los muebles para garantizar la seguridad y la navegación, sin romper la inmersión.

2. Metodología y Pipeline Técnico

Roomify es un sistema de transformación basado en el suelo espacial que integra comprensión de escenas 3D, razonamiento espacial con IA y generación de estilo. El pipeline consta de cuatro etapas principales:

A. Comprensión de la Escena Espacial

• Entrada: Un video RGB monocular de 30-60 segundos capturado con Meta Quest 3.
• Reconstrucción Geométrica: Utiliza SLAM3R para generar nubes de puntos densas y poses de cámara.
• Alineación y Parsing: Se emplea U-ARE-ME para alinear los ejes (Manhattan) y la gravedad. Luego, SpatialLM (un modelo de lenguaje grande adaptado para visión) analiza la escena para identificar elementos arquitectónicos (paredes, puertas) y muebles, generando un archivo JSON estructurado con cajas delimitadoras orientadas (OBB) y etiquetas semánticas.

B. Extracción y Mapeo de Estilo

• Especificación Multimodal: El usuario introduce prompts de texto e imágenes de referencia. Un agente de LLM (o4-mini) extrae palabras clave estructuradas (categoría de estilo, paleta de colores, materiales).
• Tabla de Transformación: Un agente de mapeo genera una tabla de especificaciones que clasifica los componentes en: objetos en escena, elementos de frontera (paredes/suelos) y contexto ambiental (skybox).
• Criterios de Diseño: El sistema asegura cuatro objetivos: consistencia funcional (la silla sigue siendo una silla), coherencia de estilo, consistencia ambiental y seguridad de interacción (evaluación de riesgos de colisión).

C. Generación de Contenido Multi-Modal

• Objetos en Escena: Se utiliza un flujo de trabajo de tres pasos:
  1. Selección del "mejor marco" (best-view frame) del video de escaneo.
  2. Generación de imágenes estilizadas usando GPT Image-1 (preservando la geometría y orientación).
  3. Conversión a modelos 3D ligeros mediante Tripo AI (v2.5).
• Elementos de Frontera: Generación de texturas PBR (RGB, normales, metálicas) para paredes y suelos usando GPT Image.
• Contexto Ambiental: Generación de skyboxes estáticos y dinámicos (con audio) usando Blockade Labs y Kling-v2-1.

D. Composición de la Escena

• Registro Espacial: Los activos generados se registran en el espacio físico utilizando las cajas delimitadoras como andamios (scaffolds). Se aplican escalas isotrópicas y optimización de orientación (IoU) para asegurar que los objetos virtuales coincidan con la ubicación física real.

3. Herramienta de Autoría Cross-Reality

Para abordar los errores de registro y permitir control fino, se desarrolló una herramienta híbrida:

• Modo MR (Realidad Mixta): El usuario ve el entorno físico con superposiciones de "andamios" (wireframes) de los objetos detectados. Puede manipular cajas delimitadoras (mover, rotar, escalar), corregir etiquetas semánticas y especificar estilos mediante texto o imágenes.
• Modo VR (Realidad Virtual): Transición inmersiva para previsualizar el resultado final transformado.
• Seguridad: Los objetos con riesgo de colisión se marcan en rojo y requieren confirmación del usuario antes de entrar en modo VR.

4. Resultados de los Estudios de Usuario

Se realizaron dos estudios para validar el sistema:

Estudio 1: Evaluación de Experiencia de Usuario (18 participantes)

Comparó Roomify contra dos líneas base: Passthrough (cámara directa) y Escena Totalmente Virtual (sin muebles virtuales, solo advertencias de proximidad).

• Presencia: Roomify superó al Passthrough en un 63% y a la Escena Virtual en un 26%.
• Conciencia Espacial: Roomify mantuvo una conciencia espacial significativamente mejor que la escena totalmente virtual, permitiendo a los usuarios navegar y evitar obstáculos con mayor confianza.
• Rendimiento: En una tarea de "búsqueda del tesoro", Roomify mostró tiempos de finalización más rápidos y menos incidentes de colisión que la escena totalmente virtual.
• Preferencia: El 78% de los participantes eligió Roomify como su entorno preferido.

Estudio 2: Evaluación por Profesionales del Diseño (8 expertos)

Comparó Roomify contra Re-texturizado por IA y Generación Text-to-3D estándar.

• Calidad de la Escena: Roomify obtuvo una puntuación media de 5.95/7, superando significativamente al re-texturizado (3.41) y al Text-to-3D (4.50).
• Apoyo a la Creatividad: Puntuación de 6.08/7. Los expertos valoraron la capacidad del sistema para mantener la función semántica de los objetos (ej. un refrigerador que se convierte en un barril de pirata pero sigue sirviendo como contenedor) mientras cambia radicalmente la estética.
• Flujo de Trabajo: Se identificó como una herramienta valiosa para la conceptualización temprana, la comunicación con clientes y la creación de storyboards.

5. Contribuciones Clave

1. Pipeline de Generación Espacialmente Aterrada: Un enfoque que equilibra la flexibilidad estilística con la preservación geométrica y la consistencia funcional, utilizando andamios semánticos para guiar la generación.
2. Herramienta de Autoría Cross-Reality: Una interfaz única que combina la anclaje espacial de la MR con la previsualización inmersiva de la VR, permitiendo iteración y corrección en tiempo real.
3. Validación Empírica: Demostración de que es posible mejorar la inmersión y la presencia sin sacrificar la seguridad espacial, superando las limitaciones de los enfoques actuales de passthrough y VR pura.

6. Significado e Impacto

Roomify representa un cambio de paradigma en la interacción humano-computadora en entornos inmersivos. En lugar de tratar el entorno físico como un obstáculo a ignorar o una capa superpuesta que rompe la magia, Roomify lo convierte en el lienzo fundamental para la creatividad.

• Seguridad y Diversión: Permite experiencias domésticas de VR seguras (juegos, cine) donde el usuario sabe dónde está su sofá o puerta, pero visualmente está en un mundo fantástico.
• Profesional: Ofrece a diseñadores y arquitectos una herramienta rápida para visualizar conceptos de diseño en el contexto real del cliente, acelerando la iteración y la toma de decisiones.
• Futuro: A pesar de limitaciones actuales en la precisión geométrica de la IA (alucinaciones de forma), el sistema demuestra que la integración de la realidad física en la generación de contenido es viable y altamente deseable para el futuro de la computación inmersiva.