Resumo Técnico: 3DCodeBench

Declaração do Problema

A modelagem 3D procedural via código é um paradigma crítico para gerar ativos determinísticos, prontos para motores gráficos e precisamente editáveis para jogos, design industrial e robótica. No entanto, a autoria de tal conteúdo exige profundo conhecimento em APIs de softwares 3D, design paramétrico e raciocínio geométrico, criando uma barreira significativa de entrada. Embora Modelos de Linguagem-Visão (VLMs) e agentes de codificação mostrem potencial para automatizar esse processo, o campo carece de um benchmark padronizado e confiável para avaliar suas capacidades. As metodologias existentes sofrem de quatro limitações principais:

1. Escassez de Dados: Uma falta de dados procedurais alinhados (prompts de texto/imagem pareados com código executável e malhas de referência/ground-truth).
2. Ambientes Simplistas: Os benchmarks atuais frequentemente focam na edição de cenas pré-construídas ou na manipulação de grades de voxels de baixa complexidade, em vez da geração de geometria complexa do zero.
3. Falta de Iteração: Os frameworks existentes dependem de avaliações de disparo único (single-shot), ignorando os loops de refinamento iterativo que são essenciais para os fluxos de trabalho de design 3D do mundo real.
4. Ausência de Métricas Padronizadas: O campo carece de métricas de percepção abrangentes e de uma plataforma sistemática de votação de preferência humana para avaliar a qualidade perceptual de formas 3D.

Metodologia

Os autores introduzem o 3DCodeBench, um benchmark abrangente e um framework de avaliação projetado para abordar essas limitações.

1. Pipeline de Curadoria de Dados Agênticos

Para construir um dataset de alta qualidade, os autores desenvolveram um pipeline automatizado que transforma fábricas procedurais profundamente aninhadas do simulador Infinigen em scripts Python independentes para o Blender 5.0. Este pipeline utiliza:

• Biblioteca de Habilidades (Skills Library): Os agentes utilizam ferramentas especializadas, incluindo um Simplificador de Código (para reduzir o código aninhado), um Simulador (para executar o código em um ambiente sandbox do Blender 5.0), um Crítico Visual (um VLM que compara renders de múltiplas vistas contra referências) e um Analisador de Malha (que verifica a validade estrutural).
• Biblioteca de Experiência (Experience Library): Uma base de conhecimento contendo deduplicação de classes, templates de montagem de partes, regras de migração para a API do Blender 5.0 e padrões de organização de código para evitar erros recorrentes.
• Verificação Humana no Ciclo (Human-in-the-Loop): Anotadores humanos verificam a confiabilidade da execução, a precisão semântica das legendas e o alinhamento visual. Apenas os tripletos que passam nesta auditoria são incluídos.

O dataset resultante compreende 26.000 tripletos de prompt texto/imagem ↔ código independente ↔ objeto 3D através de 212 categorias distintas (variando de entidades orgânicas como caranguejos e flora a objetos manufaturados como móveis). O comprimento mediano do script é de 387 linhas, com alguns excedendo 1.000 linhas, garantindo que o benchmark teste o raciocínio geométrico complexo em vez de simples composição de primitivas.

2. Protocolo de Avaliação

O benchmark avalia VLMs em dois eixos:

• Métricas Quantitativas:
  • Executabilidade: Indicador binário de se o script roda com sucesso no Blender 5.0 e produz uma malha válida.
  • Fidelidade Perceptual: Similaridade de cosseno entre as vistas renderizadas e as referências usando SigLIP-2 e DINOv3.
  • Alinhamento Geométrico: Distância de Chamfer e similaridades Uni3D (3D-3D e cross-modal) nos arquivos GLB exportados.
  • As métricas são reportadas tanto em modos condicionais (calculadas sobre execuções bem-sucedidas) quanto penalizados (atribuindo zero ou penalidade para falhas).
• 3DCodeArena: Uma plataforma pública para votação de preferência humana por pares. Ela gera rankings Elo baseados em votos humanos comparando malhas geradas, abordando a limitação de métricas automatizadas em capturar a qualidade perceptual.

3. Configuração Experimental

Os autores avaliaram 12 VLMs de fronteira (incluindo GPT-5.5, Gemini 3.1 Pro e Claude Opus 4.7) nos tracks de text-to-3D e image-to-3D. Os experimentos incluíram:

• Single-shot vs. Multi-turn: Testando modelos com e sem loops de feedback de erro (até duas tentativas com informações de traceback).
• Harnesses Agênticos: Envolvendo os modelos em agentes de codificação nativos (ex: Claude Code, Codex CLI) para permitir depuração e iteração autônoma.
• Estudos de Ablação: Analisando o impacto dos "orçamentos de pensamento" (esforço de raciocínio) e do número de vistas de referência de entrada.

Principais Resultados

1. Correlação Entre Métricas e Preferência Humana

O estudo descobriu que a similaridade de visão SigLIP-2 é o preditor automatizado mais forte da preferência humana (Pearson $r = 0.964$), seguida de perto pelo DINOv3 (Spearman $\rho = 0.972$). A executabilidade sozinha é um preditor fraco da preferência humana, indicando que, embora os modelos consigam frequentemente gerar código que executa, a geometria resultante frequentemente carece de plausibilidade física ou integridade estrutural.

2. O Impacto do Escalonamento em Tempo de Teste (Test-Time Scaling)

• Orçamentos de Pensamento (Thinking Budgets): Aumentar o orçamento de pensamento melhora significativamente o desempenho para raciocinadores leves (ex: o Gemini 3.1 Flash Lite ganha ~19 pontos de executabilidade), enquanto modelos de fronteira (ex: Claude Opus 4.7) mostram retornos decrescentes, frequentemente estagnando em níveis mínimos de esforço.
• Multi-turn Error-Feedback: Este é o driver mais eficaz para melhoria. As tentativas de multi-turn elevaram a executabilidade agregada de 69,2% para 97,2% em todos os modelos. O principal modo de falha abordado foi o descompasso com a API do Blender 5.0, que os modelos puderam autocorrigir uma vez fornecidos com os tracebacks de erro.
• Harnesses Agênticos: Embora os agentes de codificação nativos tenham melhorado ainda mais a executabilidade (atingindo quase 100% para os melhores modelos), eles não melhoraram significativamente a qualidade condicional da forma (fidelidade geométrica) em comparação com prompts de disparo único. Os harnesses resolveram principalmente erros de sintaxe de API, não o raciocínio geométrico.

3. Achados Qualitativos

Apesar das altas taxas de executabilidade com o refinamento multi-turn, os modelos ainda lutam com a plausibilidade física. Modos comuns de falha incluem componentes geométricos desconectados, primitivas flutuantes e alinhamentos estruturais incorretos. O artigo observa que os modelos frequentemente produzem "partes desconectadas", mesmo quando o código executa com sucesso.

4. Trade-offs entre Custo e Qualidade

A análise da fronteira de Pareto revela que os modelos Gemini (especificamente 3.1 Pro, 3.5 Flash e 3 Flash) oferecem o melhor equilíbrio entre custo e desempenho. O GPT-5.5 alcança os maiores scores de Elo, mas a um custo significativamente maior. Os modelos Claude geralmente ficam abaixo da fronteira, pontuando menos Elo com custos similares ou superiores.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. 3DCodeBench: Um benchmark padronizado, impulsionado por VLM, abrangendo 212 classes de objetos e 26 mil pares de código-malha, curado via um pipeline agêntico com verificação humana. Ele vai além de simples primitivas para testar o raciocínio geométrico complexo do mundo real.
2. 3DCodeArena: Uma plataforma sistemática de preferência humana que estabelece rankings Elo confiáveis, fornecendo um complemento necessário às métricas automatizadas para avaliar a qualidade perceptual.
3. Insights sobre Fluxos de Trabalho Agênticos: O estudo identifica que, embora os VLMs possam gerar código executável, eles carecem de uma compreensão profunda do mundo físico. Crucialmente, demonstra que o escalonamento em tempo de teste (refinamento multi-turn e feedback de erro) é o principal motor para o sucesso da geração 3D procedural, mitigando efetivamente descompassos de API, mas não resolvendo totalmente as lacunas de raciocínio geométrico.

Os autores concluem que o avanço dos VLMs comerciais para a modelagem 3D procedural requer dados de codificação procedural de alta qualidade e ambientes de execução robustos que forneçam feedback de alta fidelidade para o refinamento iterativo. O lançamento do 3DCodeBench e do 3DCodeArena fornece um toolkit fundamental para esta exploração.