Resumo Técnico: Código-como-Quarto

Definição do Problema

Projetar quartos internos 3D realistas e funcionais é crítico para aplicações em design de interiores, realidade virtual, jogos e IA corporificada. No entanto, a construção manual é intensiva em mão de obra, e os métodos automatizados existentes enfrentam limitações significativas. Os métodos procedurais tradicionais são limitados por regras criadas manualmente e categorias predefinidas, falhando em capturar relações espaciais complexas do mundo real. Abordagens recentes com Modelos de Linguagem Grandes Multimodais (MLLM) mostraram promessa, mas lutam com informações espaciais precisas ao depender exclusivamente de descrições textuais. Além disso, agentes condicionados por imagem existentes, encarregados da geração holística de quartos a partir de vistas de cima, frequentemente sofrem de instabilidade, loops infinitos e incapacidade de recuperar detalhes espaciais de alta granularidade.

O desafio central abordado por este trabalho é gerar uma cena interna 3D completa, editável e executável a partir de uma única imagem de vista de cima. O objetivo é produzir código Blender que represente com precisão a estrutura do quarto, a disposição dos objetos, a geometria, os materiais e a iluminação, alinhando-se estritamente aos priores visuais da imagem de entrada.

Metodologia: Código-como-Quarto (CaR)

Os autores propõem Código-como-Quarto, um framework agêntico baseado em MLLM equipado com um mecanismo de execução estruturado. Diferentemente de métodos de geração direta, o CaR decompõe a tarefa complexa em um pipeline principiado e multifásico que transforma uma imagem de vista de cima em código Blender executável.

1. Pipeline de Execução Estruturada

O framework opera através de cinco fases distintas, organizadas em dez estágios especializados:

• Estruturação da Cena Baseada em Imagem:

  • Estágio 1 (Análise Semântica Espacial): O VLM analisa a imagem de vista de cima para extrair zonas funcionais, hierarquias de objetos e elementos arquitetônicos (paredes, portas, janelas), atribuindo identificadores e tipos de disposição.
  • Estágio 2 (Construção do Grafo de Cena): Um esqueleto determinístico é derivado, construindo um grafo de cena centrado em objetos que define relações entre características arquitetônicas, móveis principais e objetos menores (armazenados em um "sidecar" para uso posterior).

• Geração de Código de Disposição:

  • Estágio 3 (Disposição Principal com Feedback Visual): O sistema gera código de disposição inicial para móveis principais. Emprega um loop de renderização–crítica–revisão onde o código atual é renderizado em uma imagem de vista de cima, avaliado por um crítico baseado em VLM quanto a sobreposição, consistência de limites e relações espaciais, e então revisado. Este loop é executado por um número fixo de iterações (por exemplo, 5) para garantir estabilidade na disposição.
  • Estágio 4 (Disposição Auxiliar): Objetos montados na parede e objetos menores visualmente salientes (por exemplo, tapetes, plantas) são adicionados à disposição, enquanto itens minúsculos ligados a superfícies são adiados.

• Perfilagem de Objetos Fundamentada na Disposição:

  • Estágio 5: O sistema analisa a disposição fixa para fundamentar o VLM, gerando descrições de objetos de alta granularidade (cor, material, estilo) e uma descrição global do estilo do quarto, garantindo que detalhes visuais se alinhem com a estrutura espacial estabelecida.

• Geração de Código em Nível de Objeto:

  • Estágio 6 (Substituição de Geometria): Os proxies de disposição grosseira são substituídos por primitivas de geometria 3D detalhadas com base nos perfis de objetos inferidos. Uma estratégia híbrida é usada para objetos minúsculos: marcadores geométricos simples são criados primeiro, seguidos pela recuperação de ativos de uma biblioteca para substituí-los por modelos 3D correspondentes.

• Geração de Código de Decoração Interior:

  • Estágio 8 (Atribuição de Materiais): Materiais PBR em nível de parte são atribuídos com base no dicionário de objetos e no estilo global.
  • Estágio 9 (Geração de Texturas): Modelos de geração de imagem de alta capacidade sintetizam mapas de textura para pisos, paredes e elementos decorativos, que são injetados na cena.
  • Estágio 10 (Iluminação e Otimização Pós-Hoc): O sistema infere estilos de iluminação (natural e artificial) e configura parâmetros de renderização. Uma passagem de correção determinística resolve problemas comuns de implementação (por exemplo, materiais ausentes, caminhos inválidos) e resolve violações de limites ou sobreposição via busca local.

2. Sistema de Memória Transetapas

Um componente crítico do framework é o Módulo de Memória Transetapas. Esta memória compartilhada mantém o estado persistente do pipeline, armazenando artefatos tipificados de cada estágio. Estágios a jusante leem apenas visualizações predefinidas desta memória. Este design mitiga o problema de "esquecimento de contexto" inerente a fluxos de trabalho agênticos longos, garantindo que informações espaciais e detalhes de objetos derivados em estágios iniciais sejam preservados e utilizados com precisão em estágios posteriores.

Contribuições Principais

1. Paradigma Guiado por Imagem de Vista de Cima: O artigo introduz um paradigma novo onde uma única imagem de vista de cima serve como prior espacial global para guiar a geração completa de um quarto interno, indo além de entradas apenas textuais ou imagens em perspectiva.
2. Mecanismo de Execução Estruturado: Os autores propõem um fluxo de trabalho agêntico estruturado que orquestra MLLMs através de um pipeline de grosso para fino. Este mecanismo garante síntese de quartos 3D estável e coerente, decompondo a tarefa em estágios gerenciáveis com loops de feedback visual.
3. Benchmark Dedicado: Um novo benchmark para síntese de quartos 3D baseada em código é introduzido, abrangendo protocolos de avaliação diversos para compreensão de conteúdo visual, raciocínio espacial, geração de código a partir de visão e qualidade holística da cena.

Resultados Experimentais

Os autores avaliaram o Código-como-Quarto usando três backbones VLM líderes: Gemini-3 Flash, Gemini-3.1 Pro e GPT-5.5.

• Desempenho no Benchmark: Comparado à geração direta de passagem única e ao framework VIGA existente, o Código-como-Quarto demonstrou desempenho superior em todas as métricas.
  • Raciocínio Espacial: O CaR melhorou significativamente o Layout IoU (até 73,2% versus 16,8% para o Gemini direto), Precisão de Rotação e Precisão de Suporte.
  • Geração de Código: O framework alcançou altas taxas de execução (até 100% para variantes do Gemini), enquanto a geração direta frequentemente falhou em produzir código executável.
  • Qualidade Visual: Avaliações humanas mostraram que as cenas geradas pelo CaR tinham maior similaridade com as imagens de entrada, melhor usabilidade e maior aceitabilidade (requerendo menos correções manuais) em comparação com as linhas de base.
• Estudos de Ablação:
  • Memória: A remoção da memória transetapas resultou em uma queda significativa no Layout IoU (de 73,2% para 58,0%) e no Recall de Objetos, confirmando sua necessidade para manter a consistência espacial.
  • Feedback Visual: O desempenho melhorou com até 5 iterações de feedback. No entanto, aumentar as iterações para 10 levou a um declínio nas métricas, sugerindo que revisões excessivas podem causar deriva na disposição.

Significado e Alegações

O artigo alega que o Código-como-Quarto aborda a instabilidade e a falta de precisão na geração atual de quartos 3D a partir de imagens. Ao representar quartos 3D como código Blender executável, o framework permite cenas que não estão apenas alinhadas visualmente com as imagens de entrada, mas também editáveis, renderizáveis e estruturadas.

Os autores enfatizam que o sucesso do sistema depende não apenas das capacidades do VLM base, mas do fluxo de trabalho agêntico estruturado que organiza a análise visual, o raciocínio espacial e a síntese de código. A introdução do módulo de memória transetapas é destacada como uma inovação chave para mitigar o esquecimento de contexto em tarefas de geração complexas e multifásicas.

O trabalho posiciona-se como um passo em direção a ferramentas mais confiáveis e práticas para criação de conteúdo 3D automatizado, particularmente para cenários onde o alinhamento espacial preciso com plantas baixas ou esboços de vista de cima é necessário. Os autores notam limitações, como o foco atual em vistas de cima e a dependência de recuperação de ativos para detalhes geométricos altamente complexos, sugerindo trabalho futuro em geração de vídeo para renderização neural e tratamento de entradas de visão arbitrária.