RoomPilot: Controllable Indoor Scene Synthesis via Multimodal Semantic Parsing

Resumo Técnico: RoomPilot: Síntese de Cenas Internas Controláveis via Análise Semântica Multimodal

Declaração do Problema
Gerar cenas internas controláveis é essencial para aplicações em desenvolvimento de jogos, visualização arquitetônica e IA incorporada. No entanto, as abordagens existentes lutam para satisfazer simultaneamente os requisitos de suporte a múltiplos cômodos, controlabilidade de granularidade fina, relações espaciais explícitas e plausibilidade física.

• Métodos baseados em modelos (por exemplo, ATISS, DiffuScene) frequentemente carecem de diversidade e generalizam mal para cenas novas devido à escassez de dados.
• Sistemas baseados em regras e procedurais (por exemplo, Infinigen Indoors, ProcTHOR) garantem validade física, mas oferecem controlabilidade limitada sobre detalhes semânticos e intenção do usuário.
• Abordagens baseadas em visão lutam para controlar com precisão os layouts das cenas.
• Métodos baseados em LLM aprimoram a compreensão de vocabulário aberto, mas frequentemente carecem de controle preciso sobre as relações espaciais entre objetos.
  Um obstáculo primário é a falta de uma representação unificada de cena que conecte entradas heterogêneas (texto ou CAD) a uma síntese 3D interpretável e controlável.

Metodologia
Os autores propõem o RoomPilot, um framework unificado que sintetiza cenas internas controláveis a partir de descrições textuais detalhadas ou plantas baixas CAD. O framework opera através de três módulos rigidamente integrados:

1. Análise Semântica Cross-Modal:

   • As entradas (texto ou CAD) são transformadas em uma configuração inicial de Linguagem Específica de Domínio para Interiores (IDSL) ($S_0$).
   • Para texto, uma estratégia de análise hierárquica por LLM (usando GPT-4) extrai a estrutura global (nível de edifício), planos de mobiliário (nível de cômodo) e arranjos espaciais precisos (nível de objeto).
   • Para CAD, um pipeline de análise geométrica extrai contornos de cômodos, portas e janelas de representações vetorizadas (por exemplo, SVG), mapeando-os para a IDSL. O conteúdo em nível de objeto para CAD é inferido pelo LLM com base nos tipos de cômodo.

2. Otimização de Cena Autorregulada:

   • A IDSL inicial é refinada iterativamente em uma configuração otimizada ($S^*$) usando um processo autorregulado baseado em energia.
   • Energia de Duplo Canal: A função objetivo se decompõe em uma Energia Estrutural (colisões, limites, estabilidade) e uma Energia Semântica (proximidade funcional, alinhamento direcional).
   • Recozimento Adaptativo: Diferentemente de cronogramas fixos, os pesos de otimização e a temperatura são modulados adaptativamente por uma pontuação de alinhamento de regras ($\rho(t)$). À medida que as restrições estruturais são satisfeitas, o foco muda da viabilidade geométrica para a organização semântica.
   • Ativação Progressiva de Regras: As regras são ativadas em etapas (estrutural $\to$ funcional $\to$ estilística) para evitar o acoplamento prematuro de objetivos heterogêneos.

3. Geração Hierárquica de Cenas Internas:

   • A IDSL otimizada é instanciada em cenas 3D de alta fidelidade.
   • Nível de Edifício: Geração procedural cria malhas de paredes estanques baseadas em polígonos de cômodos.
   • Nível de Cômodo: Operações booleanas instanciam portas e janelas.
   • Nível de Objeto: Um ecossistema híbrido recupera ativos de um conjunto de dados curado (9.271 ativos anotados) ou conjuntos de dados públicos (Objaverse, 3D-FUTURE). Se a confiança na recuperação for baixa, geradores procedurais específicos de categoria (PCG) sintetizam a geometria.
   • Refinamento Consciente de Relações: Uma etapa de otimização pós-posicionamento impõe estabilidade física (por exemplo, objetos repousando sobre superfícies) e elimina artefatos flutuantes ou interseccionados.

Principais Contribuições

• Framework RoomPilot: Um sistema unificado para síntese de cenas internas controláveis, suportando tanto descrições textuais quanto plantas baixas CAD como entradas.
• Linguagem Específica de Domínio para Interiores (IDSL): Uma representação intermediária estruturada e hierárquica (níveis de Edifício, Cômodo, Objeto) que traduz entradas heterogêneas em especificações semânticas e geométricas interpretáveis, servindo como uma ponte controlável entre a intenção do usuário e a síntese 3D.
• Otimização Autorregulada: Um algoritmo baseado em energia que equilibra adaptativamente a estabilidade estrutural e o alinhamento semântico sem cronogramas de resfriamento fixos, permitindo layouts coerentes de múltiplos cômodos.
• Conjunto de Dados de Alta Fidelidade: Um conjunto de dados de ativos curado com anotações semânticas ricas para suportar a síntese realista de cenas.

Resultados Experimentais
Os autores avaliam o RoomPilot contra seis métodos de última geração (por exemplo, Holodeck, I-Design, LayoutGPT) em geração de texto de vocabulário aberto e geração condicionada a CAD.

• Controlabilidade: O RoomPilot supera significativamente as linhas de base na Fidelidade do Layout (LF), Taxa de Satisfação de Restrições na contagem de objetos (CSR$_{count}$) e restrições relacionais (CSR$_{rel}$).
• Plausibilidade Física: O método alcança casos quase nulos de fora dos limites e colisões, com pontuações superiores em realismo físico e estabilidade em comparação com abordagens baseadas em difusão ou recuperação.
• Fidelidade CAD: Quando condicionado a plantas baixas CAD, o RoomPilot preserva formas de cômodos, dimensões e posições de aberturas com alta precisão geométrica (Precisão de Parede: 0,87 vs. 0,31 para Holodeck).
• Estudo com Usuários: Avaliadores humanos classificaram o RoomPilot como o mais alto em qualidade visual, razoabilidade do layout e plausibilidade física.
• Estudos de Ablação: A remoção da IDSL ou do módulo de otimização autorregulada causa as quedas de desempenho mais significativas, confirmando sua necessidade para síntese controlável de alta qualidade.

Significado
O artigo afirma que o RoomPilot representa um passo significativo em direção à síntese controlável de cenas internas 3D, abordando a fragmentação nos paradigmas existentes. Ao introduzir a IDSL e um processo de otimização autorregulado, o framework alcança um equilíbrio entre coerência estrutural, alinhamento semântico e plausibilidade física que métodos anteriores não podiam satisfazer simultaneamente. Isso permite a geração de ambientes estruturalmente válidos e de múltiplos cômodos que respondem fielmente a instruções complexas do usuário, facilitando a implantação prática em IA incorporada e visualização arquitetônica. Os autores observam que, embora o sistema seja robusto, casos de falha (por exemplo, objetos ausentes em restrições relacionais complexas) podem ocorrer devido ao comportamento inerente do recozimento simulado ao otimizar composição discreta e relações contínuas conjuntamente.