SceneCritic: A Symbolic Evaluator for 3D Indoor Scene Synthesis

Título: SceneCritic: Um Avaliador Simbólico para Síntese de Cenários Interiores 3D

1. O Problema

A geração de ambientes interiores 3D utilizando Grandes Modelos de Linguagem (LLMs) e Modelos Visão-Linguagem (VLMs) tem avançado rapidamente. No entanto, a avaliação desses cenários gerados permanece um gargalo crítico.

• Instabilidade dos Avaliadores Atuais: Os métodos existentes dependem predominantemente de VLMs para julgar cenas renderizadas (imagens 2D). Esses avaliadores são instáveis, sensíveis à escolha do ponto de vista (viewpoint), à formulação do prompt e propensos a alucinações.
• Falta de Diagnóstico: Avaliadores baseados em VLMs fornecem apenas uma pontuação global ou rankings grosseiros, sem identificar quais restrições espaciais foram violadas (ex: escala incorreta, orientação errada, sobreposição).
• Inconsistência: O mesmo cenário pode receber pontuações drasticamente diferentes dependendo de qual ângulo de câmera é renderizado para o avaliador, dificultando a comparação justa entre diferentes modelos de geração.

2. Metodologia

O artigo propõe uma abordagem baseada em símbolos e ontologias, evitando a dependência de renderização de imagens para a avaliação.

A. SceneOnto (A Base de Conhecimento)
Os autores construíram uma ontologia espacial estruturada chamada SceneOnto, agregando dados de três conjuntos de dados principais: 3D-FRONT, ScanNet e Visual Genome.

• Estrutura: É um grafo relacional por tipo de sala (ex: quarto, sala de jantar) onde os nós são categorias de objetos e as arestas codificam probabilidades de co-ocorrência condicional.
• Priors Extraídos:
  • Dimensões: Estatísticas de largura, altura e profundidade (percentis p5-p95) para verificação de escala.
  • Relações de Suporte: Quais objetos repousam sobre quais superfícies.
  • Co-ocorrência: Probabilidades de objetos aparecerem juntos e suas distâncias esperadas.
  • Orientação: Preferências de orientação (ex: costas para a parede, voltado para o centro da sala, voltado para outro objeto).

B. SceneCritic (O Avaliador)
O SceneCritic é um avaliador simbólico que opera diretamente sobre a representação do layout (caixas delimitadoras 3D, posições e rotações), sem necessidade de renderização. Ele verifica três eixos principais:

1. Semântica Espacial: Verifica escala, co-ocorrência, proximidade, completude e plausibilidade funcional (ex: uma cadeira deve estar perto de uma mesa).
2. Verificação de Orientação: Compara a rotação (yaw) dos objetos com as preferências definidas na ontologia (ex: sofá deve ter as costas para a parede).
3. Detecção de Sobreposição: Identifica violações físicas usando duas abordagens:
   • Proximidade (AABB): Sobreposição de caixas alinhadas aos eixos (detecção rápida de proximidade).
   • Sobreposição Real (OBB): Detecção de colisão geométrica real usando caixas delimitadoras orientadas.

C. Testbed de Refinamento Iterativo
Os autores criaram um ambiente de teste onde modelos iteram sobre um layout inicial sob a supervisão de três tipos de "críticos":

1. Baseado em Regras (Heurístico): Feedback baseado apenas em colisões e limites.
2. Baseado em LLM (Texto): O layout é tratado como texto e o LLM fornece feedback natural.
3. Baseado em VLM (Imagem): O modelo recebe imagens renderizadas da cena para fornecer feedback.

3. Contribuições Principais

1. Construção do SceneOnto: Um dataset de ontologia grounded (ancorado em dados) contendo priors espaciais, estatísticas de co-ocorrência e preferências de orientação para 79 categorias de objetos em diversos tipos de sala.
2. Desenvolvimento do SceneCritic: Um avaliador simbólico interpretável que fornece avaliações nível-objeto e nível-relação, identificando violações específicas (ex: "Cadeira 2 não está voltada para a mesa") em vez de apenas uma pontuação global.
3. Validação Humana: Demonstração de que o SceneCritic alinha-se significativamente melhor com o julgamento humano do que avaliadores baseados em VLMs.
4. Análise de Modos de Crítica: Um estudo comparativo sobre como diferentes modelos (LLMs vs. VLMs) refinam estruturas espaciais sob diferentes modalidades de feedback.

4. Resultados Experimentais

• Alinhamento com Humanos:

  • O SceneCritic alcançou 94,44% de concordância com juízes humanos em cenas simples e 83,33% em cenas complexas.
  • Em contraste, o avaliador VLM (Gemini-2.5-Pro) alcançou apenas 58,82% (simples) e 47,06% (complexo), muitas vezes abaixo do acaso em cenários difíceis.
  • O VLM mostrou alta variância de pontuação dependendo do ângulo de visão, enquanto o SceneCritic é invariante a isso.

• Comparação de Modelos de Geração:

  • O SceneCritic reclassificou os modelos geradores. Enquanto o VLM classificou o Holodeck como o melhor, o SceneCritic identificou o LayoutVLM como superior, revelando que o VLM falhava em detectar erros geométricos claros (como sobreposições) nas renderizações 2D.

• Refinamento Iterativo (Testbed):

  • LLMs de Texto vs. VLMs: Curiosamente, LLMs puramente textuais (como o DeepSeek-3.2V) superaram VLMs proprietários na qualidade do layout semântico quando operados via feedback de texto.
  • Eficácia do Feedback Visual: Para correções de orientação e semântica, o refinamento baseado em imagens (VLM) foi a modalidade mais eficaz. O feedback visual forneceu informações espaciais mais ricas do que o texto apenas.
  • Orientação: A métrica de orientação foi a mais desafiadora. Modelos menores treinados com objetivos matemáticos (como o Qwen2.5-14B-GRPO) superaram modelos maiores em tarefas de orientação, sugerindo que o raciocínio matemático ajuda no cálculo angular preciso.

5. Significado e Impacto

O trabalho SceneCritic representa uma mudança de paradigma na avaliação de síntese de cenas 3D:

• Confiabilidade: Substitui a avaliação subjetiva e instável baseada em renderização por uma verificação lógica e determinística baseada em dados reais.
• Interpretabilidade: Ao identificar violações específicas (ex: "escala incorreta", "orientação errada"), oferece um feedback acionável para o desenvolvimento de modelos de geração.
• Escalabilidade: Elimina a necessidade de estudos de usuário caros e lentos para validar layouts, permitindo uma avaliação automatizada, rápida e precisa que escala com o crescimento do campo de IA para ambientes 3D.
• Extensibilidade: A ontologia (SceneOnto) é projetada para ser facilmente estendida com novos tipos de salas e objetos, tornando-se uma infraestrutura fundamental para futuros avanços em geração de mundos virtuais e robótica.

Em resumo, o paper demonstra que, para tarefas que exigem precisão geométrica e coerência semântica espacial, avaliadores simbólicos grounded em dados superam significativamente os avaliadores baseados em visão generativa, fornecendo a base necessária para o treinamento e refinamento de agentes de IA em ambientes 3D.