Roomify: Spatially-Grounded Style Transformation for Immersive Virtual Environments

O artigo apresenta o Roomify, um sistema de transformação espacialmente fundamentada que gera ambientes virtuais temáticos ancorados aos cômodos físicos dos usuários, preservando a estrutura espacial e semântica funcional enquanto oferece um equilíbrio superior entre presença e consciência espacial, validado por estudos que demonstram melhorias significativas na imersão e no suporte criativo para designers.

O essencial

Imagine que você tem um "poder mágico" para transformar a sua sala de estar em qualquer lugar do universo: uma cabana na floresta encantada, o interior de uma nave espacial ou até mesmo o castelo de Hogwarts. O problema é que, se você usar um óculos de Realidade Virtual (VR) comum, você perde a noção de onde estão os móveis reais. Você pode tropeçar no sofá ou bater a cabeça na mesa porque, no mundo virtual, eles simplesmente não existem.

Por outro lado, se você usar o modo "pass-through" (onde você vê a câmera do mundo real através dos óculos), você vê os móveis, mas a mágica some. Você se sente como se estivesse apenas assistindo a um filme, e não vivendo a experiência.

O Roomify é a solução perfeita para esse dilema. Pense nele como um arquiteto de sonhos que respeita a física da sua casa.

Aqui está como ele funciona, usando analogias simples:

1. O "Espaço Container" (A Base da Mágica)

Em vez de apagar a sua sala e criar um mundo novo do zero, o Roomify trata a sua sala física como um "container" ou uma moldura.

• A Analogia: Imagine que você tem uma caixa de brinquedos. Você pode pintar a caixa de azul, vermelho ou dourado, e colocar adesivos de dragões nela. Mas a caixa continua lá, com o mesmo tamanho e formato.
• Na prática: O sistema escaneia a sua sala e diz: "Ok, aqui tem um sofá, ali tem uma mesa, e ali está a porta". Ele mantém o "esqueleto" desses objetos. Se você pode sentar no sofá real, o sofá virtual também será sentável. Se você pode passar por entre a mesa e a parede, o caminho virtual também estará livre.

2. O "Alquimista de Estilo" (A Transformação)

Aqui entra a Inteligência Artificial. O Roomify não apenas muda a cor da parede; ele transforma a essência dos objetos.

• A Analogia: Pense em um filme de fantasia onde um objeto comum se transforma. Um refrigerador comum pode virar um barril de pirata (ainda serve para guardar coisas, mas parece um tesouro). Um ar-condicionado pode virar uma lareira medieval (ainda regula a temperatura, mas parece mágico).
• O Truque: O sistema entende a função do objeto. Ele sabe que o sofá é para sentar, então ele o transforma em algo que parece um trono ou um banco de nuvem, mas mantém o tamanho e a posição exatos para que você não bata a cabeça ao tentar sentar.

3. O "Diretor de Cinema" (O Controle do Usuário)

O sistema não é apenas automático; ele te dá o controle total através de uma ferramenta especial que mistura Realidade Mista (MR) e Realidade Virtual (VR).

• O Processo:
  1. Você vê o esqueleto: No modo MR (com os óculos, mas vendo a sala real), você vê "fios" ou molduras ao redor dos seus móveis. É como ver a planta baixa flutuando no ar.
  2. Você dá o comando: Você diz: "Quero que minha sala seja uma caverna de piratas".
  3. A Mágica Acontece: A IA gera os novos objetos e texturas em tempo real.
  4. O Ajuste Fino: Se a IA colocar um baú de tesouro um pouco torto, você pode pegá-lo virtualmente e arrumá-lo com a mão, vendo a sua sala real por baixo para garantir que não vai bater.

4. Por que isso é um "Superpoder"?

Os pesquisadores testaram o Roomify com pessoas comuns e designers profissionais, e os resultados foram impressionantes:

• Segurança sem Perder a Imersão: Ao contrário dos óculos que mostram a câmera (que quebram a ilusão), o Roomify mantém a ilusão de que você está em outro mundo, mas você ainda sabe exatamente onde está o sofá para não tropeçar.
• Presença Aumentada: As pessoas se sentiram 63% mais imersas do que quando usavam o modo de câmera comum e 26% mais imersas do que em ambientes totalmente virtuais (onde não há referência ao mundo real).
• Criatividade Profissional: Arquitetos e designers usaram o sistema para mostrar aos clientes como um espaço ficaria em diferentes estilos (ex: "E se sua sala fosse uma nave espacial?") de forma rápida e realista, sem precisar construir maquetes físicas.

Resumo em uma frase

O Roomify é como ter um pincel mágico que pinta o seu mundo real com temas de fantasia, mas deixa os móveis no lugar certo para que você possa caminhar, sentar e viver a história sem cair no chão. Ele une a segurança da sua casa com a liberdade de qualquer universo imaginário.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Roomify: Spatially-Grounded Style Transformation for Immersive Virtual Environments", apresentado na conferência CHI '26.

1. Problema e Motivação

O artigo aborda um dilema fundamental nos sistemas de Realidade Virtual (VR) atuais: o trade-off entre imersão e consciência espacial.

• O Dilema: Sistemas de VR tradicionais isolam completamente o usuário do ambiente físico, criando riscos de segurança e desorientação espacial. Por outro lado, soluções de passthrough (transparência de vídeo) permitem que o usuário veja o ambiente real, mas quebram a sensação de presença ("presença") ao constantemente lembrar o usuário de que está usando um headset.
• Limitações das Abordagens Atuais:
  • Sistemas de Limites (ex: Guardian): Apenas avisos 2D que não representam a geometria real ou a mobília.
  • Proxy de Cena: Substituem objetos físicos por virtuais, mas muitas vezes carecem de flexibilidade estilística ou dependem de bibliotecas de ativos limitadas.
  • Estilização de Superfície: Alteram a aparência sem liberdade geométrica, mantendo a estrutura rígida.
• Objetivo do Roomify: Criar ambientes virtuais temáticos que estejam ancorados no espaço físico do usuário, preservando a estrutura espacial e a semântica funcional dos móveis, permitindo transformações estéticas radicais sem perder a segurança ou a orientação.

2. Metodologia e Pipeline Técnico

O Roomify é um sistema de transformação espacialmente fundamentado que opera através de um pipeline de quatro estágios, integrando compreensão de cena 3D, raciocínio espacial por IA e geração de estilo.

A. Pipeline de Geração de Cena

1. Compreensão Espacial da Cena:
   • Utiliza o SLAM3R para reconstrução geométrica densa a partir de um vídeo RGB monocromático (capturado no Meta Quest 3).
   • Alinha a nuvem de pontos usando U-ARE-ME para eixos Manhattan e direção da gravidade.
   • Emprega o SpatialLM para parseamento espacial, identificando elementos arquitetônicos e móveis, gerando descrições estruturadas com caixas delimitadoras orientadas (OBBs) que servem como "andaimes espaciais".
2. Extração e Mapeamento de Estilo:
   • Um agente de linguagem (LLM) processa entradas multimodais (texto e imagens de referência) para extrair palavras-chave de estilo (categoria, paleta de cores, materiais, atmosfera).
   • Um agente de mapeamento gera uma tabela de especificação de transformação, categorizando componentes em: Objetos na cena, Elementos de fronteira (paredes/chão) e Contexto ambiental (skybox).
   • O sistema garante quatro objetivos: Consistência Funcional, Coerência de Estilo, Consistência Ambiental e Segurança de Interação.
3. Geração de Conteúdo Multimodal:
   • Objetos: Seleciona o "melhor quadro" (best-view frame) do vídeo original. Usa modelos de geração de imagem (GPT Image) para criar imagens estilizadas baseadas no prompt e na geometria original, seguidas por conversão para modelos 3D leves usando Tripo AI.
   • Fronteiras: Gera texturas PBR (seamless e tileable) para paredes e pisos.
   • Ambiente: Gera skyboxes dinâmicos com áudio usando Blockade Labs e Kling-v2-1.
4. Composição da Cena:
   • Integra os ativos gerados através de registro espacial preciso, escalando e orientando os objetos para corresponder aos andaimes espaciais originais, garantindo que a geometria virtual respeite os limites físicos.

B. Ferramenta de Autoria Cross-Reality

O sistema oferece uma interface híbrida que combina MR (Realidade Mista) e VR:

• Modo MR: O usuário visualiza e manipula os "andaimes" (wireframes) sobre o ambiente real. Permite ajuste fino de posição, rotação e escala dos objetos gerados, correção de erros de reconhecimento e especificação de estilo multimodal.
• Modo VR: Transição suave para uma experiência totalmente imersiva onde o ambiente transformado é visualizado, mantendo a correspondência espacial com o mundo real.

3. Contribuições Principais

1. Pipeline de Geração Espacialmente Fundamentado: Um sistema que equilibra flexibilidade estilística com preservação geométrica e consistência funcional, permitindo a transformação de salas reais em ambientes virtuais temáticos sem perder a lógica espacial.
2. Ferramenta de Autoria Cross-Reality: Uma interface inovadora que utiliza a MR para ancoragem espacial e controle fino, e a VR para pré-visualização imersiva, permitindo iteração contínua entre as duas modalidades.
3. Validação Empírica Abrangente: Dois estudos de usuário que validam a eficácia do sistema em termos de imersão, consciência espacial e expressividade criativa, comparando-o com abordagens existentes.

4. Resultados dos Estudos

O artigo apresenta dois estudos de usuário:

Estudo 1: Experiência do Usuário (18 participantes VR)

• Comparação: Roomify vs. Passthrough (visão direta) vs. Cena totalmente Virtual (sem móveis virtuais).
• Presença: O Roomify obteve um aumento de 63% na presença em comparação ao passthrough e 26% em relação à cena totalmente virtual.
• Consciência Espacial: O Roomify manteve uma consciência espacial significativamente melhor do que a cena totalmente virtual, permitindo que os usuários navegassem com segurança e evitassem colisões, mesmo com o ambiente visualmente transformado.
• Desempenho: Os usuários completaram tarefas de navegação mais rápido no Roomify do que na cena totalmente virtual, devido à redução da complexidade visual de objetos irrelevantes, mantendo a segurança.

Estudo 2: Avaliação de Prototipagem Criativa (8 profissionais de design)

• Comparação: Roomify vs. Re-texturização por IA vs. Geração Text-to-3D.
• Qualidade da Cena: O Roomify recebeu a maior pontuação (5.95/7), superando significativamente a re-texturização (3.41) e a geração Text-to-3D (4.50).
• Suporte à Criatividade: Pontuação de 6.08/7, destacando-se pela capacidade de gerar formas novas enquanto mantém a coerência semântica e espacial.
• Aplicações Profissionais: Os designers validaram o sistema para exploração de conceitos iniciais, comunicação com clientes e storyboarding de mídia, elogiando a capacidade de manter a função dos objetos (ex: um ar-condicionado transformado em uma lareira medieval que ainda regula a temperatura).

5. Significado e Impacto

O Roomify representa um avanço significativo na interação entre o mundo físico e o virtual:

• Resolução do Trade-off: Demonstra que é possível aumentar a imersão sem sacrificar a segurança espacial, transformando o ambiente físico em parte integrante da narrativa virtual em vez de um obstáculo a ser ignorado.
• Segurança e Usabilidade: Ao preservar a semântica funcional e a geometria aproximada dos móveis, o sistema permite ações corporais básicas (sentar, apoiar-se, desviar) com confiança, essencial para o uso doméstico de VR.
• Ferramenta Criativa: Abre novas possibilidades para profissionais de design e entretenimento, permitindo a visualização rápida de conceitos temáticos em ambientes reais, democratizando a criação de espaços virtuais personalizados.
• Limitações e Futuro: O estudo reconhece que alucinações geométricas (distorções de forma ou orientação) ainda ocorrem em modelos de IA atuais, mas aponta que a evolução rápida dos modelos multimodais (como o Gemini 3 Pro Image mencionado) já está mitigando esses problemas. O sistema também é limitado a ambientes estáticos, sem suporte a interações dinâmicas complexas (como abrir portas).

Em suma, o Roomify redefine como os ambientes virtuais podem ser construídos sobre a realidade física, oferecendo uma experiência onde a fantasia e a segurança coexistem.