How Far Are Vision-Language Models from Constructing the Real World? A Benchmark for Physical Generative Reasoning

Título: DreamHouse: Um Benchmark para Raciocínio Generativo Físico em Modelos Visão-Linguagem

1. O Problema

O mundo físico não é apenas visual; ele é governado por restrições estruturais e procedimentais rigorosas (cargas, vãos, conexões, códigos de construção). Atualmente, a avaliação de Modelos Visão-Linguagem (VLMs) é fortemente enviesada para o realismo perceptual, focando na geração de layouts 3D, formas e aparências visualmente plausíveis.

• A Lacuna: Os benchmarks existentes testam se o modelo pode observar e responder sobre física (compreensão passiva), mas não avaliam se o modelo pode construir um artefato físico real a partir do zero, satisfazendo restrições de engenharia e códigos sem uma "verdade fundamental" (ground truth) visível.
• A Falha Atual: Modelos que performam bem em leaderboards de raciocínio geral frequentemente falham ao gerar estruturas que sejam fisicamente viáveis, pois tratam o mundo como uma superfície visual, ignorando a lógica de carga e a sequência construtiva.

2. Metodologia: O Benchmark DreamHouse

Os autores introduzem o DreamHouse, um novo benchmark focado em raciocínio generativo físico, grounded na construção residencial de estruturas de madeira (timber-frame).

• Domínio: Construção de casas de madeira com padrões de engenharia totalmente codificados (Código de Residência Internacional - IRC). Isso permite critérios de correção objetivos e verificáveis.

• Dataset:

  • Mais de 26.000 estruturas verificadas, cobrindo 13 estilos arquitetônicos (ex: A-Frame, Barn, Colonial, Split-Level).
  • Cada estrutura é gerada proceduralmente em Blender, atingindo o nível de detalhe LoD 350 (nível de fabricação/construção), especificando membros individuais (vigas, pilares, telhados), dimensões e conexões.
  • As estruturas são renderizadas em 5 vistas canônicas.

• Tarefa Formalizada:

  • O modelo recebe vistas renderizadas de uma estrutura alvo.
  • Deve gerar código Python para Blender para construir a estrutura.
  • O processo é iterativo: o modelo observa o estado intermediário, recebe feedback estruturado de validação e refina o código até que todos os testes passem.

• Protocolos de Avaliação (Ablação de Scaffolding):

  1. Planner-Atomic: Geração de um script completo de uma só vez (sem feedback intermediário).
  2. Planner-Reactive: Geração de um script com fases sequenciais, onde falhas exigem reescrita total.
  3. Planner-Managed: Geração fase por fase, com feedback estruturado após cada fase, permitindo correções locais sem perder o estado anterior.
  • Condições de Entrada: "Frame" (estrutura de madeira exposta) vs. "Facade" (estrutura oculta por revestimento, exigindo inferência da estrutura interna).

• Suite de Validação (10 Testes Determinísticos):
  Operam diretamente no grafo de cena (sem simulação física custosa), verificando:

  1. Caminho de Carga (Load Path): Todos os membros devem ter uma conexão contínua até a fundação.
  2. Limites de Vão (Span Limits): Conformidade com tabelas IRC para vigas e tesouras.
  3. Espaçamento Padrão: 16" ou 24" (0.4m ou 0.6m).
  4. Dimensões de Madeira: Conformidade com dimensões nominais padrão.
  5. Deflexão (L/360): Verificação de serviço sob carga.
  6. Cobertura do Telhado: Garantia de que o telhado cobre a área do piso.
  7. Detecção de Vazios: Ausência de grandes lacunas na estrutura.
  8. Limites de Consolação (Cantilever): Restrições de balanço.
  9. Estabilidade Topológica: Índice de estabilidade global.
  10. Conexão Dupla: Vigas e pilares devem estar conectados em ambas as extremidades.

• Métricas:

  • Validade Estrutural: Binária (passa/falha em todos os 10 testes).
  • Fidelidade Visual: MSE ponderado por alpha (comparação de pixels nas 5 vistas).
  • Fidelidade Topológica: Precisão na contagem de membros, alinhamento espacial e sobreposição volumétrica.
  • Taxa de Sucesso Conjunta (Joint Pass Rate): A métrica principal; a fração de estruturas que passam simultaneamente nos testes estruturais e visuais.

3. Resultados Principais

Os autores avaliaram três modelos de ponta (GPT-5, Gemini 3 Flash, Claude Opus 4.5) em mais de 20.000 tarefas agênticas.

• O1: Validade Estrutural e Fidelidade Visual são Ortogonais:

  • Modelos que geram estruturas visualmente plausíveis frequentemente falham nos testes físicos (e vice-versa).
  • A taxa de sucesso conjunta (estrutural + visual) é extremamente baixa: o melhor modelo alcançou apenas 7,1% de sucesso conjunto.
  • Modelos tendem a convergir para assemblies "seguras" e genéricas que ignoram as condições visuais específicas.

• O2: O Raciocínio Estrutural não é Monolítico:

  • Diferentes modelos exibem capacidades distintas. O GPT-5 é forte em síntese holística (Planner-Atomic), mas colapsa sob protocolos iterativos. O Gemini é excepcionalmente forte quando o protocolo permite decomposição de fases e feedback intermediário (Planner-Managed).
  • O sucesso depende da interação entre a arquitetura do modelo e o design do protocolo de tarefa.

• O3: Alguns Modelos "Veem" a Estrutura Sob a Pele:

  • Sob a condição "Facade" (estrutura oculta), o Gemini e o Claude melhoram seu desempenho estrutural, sugerindo que ativam priors arquitetônicos para inferir a estrutura interna. O GPT-5, que depende de mimetismo estrutural direto, piora significativamente quando o sinal de estrutura é ocultado.

• O4: O Protocolo Domina o Modelo:

  • A escolha do protocolo de geração (ex: Planner-Managed vs. Planner-Atomic) impacta o desempenho mais do que a escolha do modelo em si. O Gemini, por exemplo, saltou de 45% para 78% de taxa de sucesso estrutural apenas mudando o protocolo, superando o GPT-5 que era líder no protocolo anterior.

• Limitação de Modelos Open-Source:

  • Modelos open-source (Qwen3-VL, Kimi K2.5) falharam completamente (0% de sucesso) em gerar código Blender válido e estruturas passíveis de renderização, indicando que essa capacidade é restrita a modelos de ponta (frontier).

4. Contribuições Chave

1. Novo Eixo de Avaliação: Propõe o "Raciocínio Generativo Físico" como uma métrica distinta de percepção, compreensão e simulação.
2. Dataset DreamHouse: 26.000+ estruturas de madeira verificadas, com múltiplas vistas e anotações de fase construtiva.
3. Suite de Validação Determinística: 10 testes baseados em física e código (IRC) que operam no grafo de cena, eliminando a necessidade de simulações físicas custosas.
4. Framework Agêntico: Uma estrutura de avaliação controlada que isola falhas de planejamento, raciocínio espacial e capacidade de auto-correção.

5. Significado e Conclusão

O trabalho demonstra que a inteligência física (capacidade de construir objetos que obedecem às leis da física e códigos de engenharia) não é um subproduto natural da inteligência geral ou da habilidade de gerar imagens realistas.

• Existe uma lacuna crítica entre "parecer correto" e "ser construtível".
• A avaliação atual de VLMs está incompleta, pois ignora a validade física.
• O DreamHouse estabelece uma linha de base verificável para medir o progresso em direção a agentes de IA capazes de automatizar pipelines de design para construção (AEC), destacando que o design do scaffolding (suporte de tarefa) é tão crucial quanto a seleção do modelo.

Em suma, os modelos atuais ainda estão muito longe de "construir o mundo real" de forma autônoma e segura, falhando principalmente na consistência estrutural global e na aplicação de restrições físicas complexas.