Resumo Técnico: WorldCoder-Bench

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) atuais são cada vez mais incumbidos de gerar aplicações web executáveis a partir de linguagem natural. No entanto, os benchmarks existentes para geração web avaliam primariamente interfaces estáticas ou saídas visuais 2D (pixels, nós do DOM). Esta abordagem é insuficiente para mundos 3D nativos do navegador (ex: construídos com Three.js), onde a lógica central — simulações físicas, detecção de colisão e sincronização de estado — ocorre dentro de um <canvas> opaco e um tempo de execução JavaScript.

O artigo identifica um "ponto cego" crítico: um mundo 3D gerado pode parecer visualmente plausível (passando em verificações baseadas em screenshots ou DOM) enquanto falha em requisitos comportamentais fundamentais, como objetos colidindo corretamente, energia se dissipando nas taxas esperadas ou widgets de UI permanecendo sincronizados com o estado do motor. Os paradigmas de avaliação existentes (screenshots, percorredores de DOM ou exploração por agentes externos) não conseguem acessar o estado interno do tempo de execução necessário para verificar estas mecânicas, levando a altas taxas de falsos positivos na avaliação da correção do código.

Metodologia

1. WORLDCODER-BENCH: O Benchmark

Os autores apresentam o WORLDCODER-BENCH, um benchmark composto por 2.026 tarefas curadas por especialistas projetadas para avaliar a síntese de mundos 3D autônomos e fisicamente fundamentados.

• Estrutura da Tarefa: Cada tarefa exige que o modelo gere um arquivo HTML único e autossuficiente usando Three.js baseado em um prompt de linguagem natural. As tarefas podem incluir ativos .glb opcionais.
• Taxonomia: As tarefas são categorizadas em três macro-intenções:
  • Simulação: Sistemas fisicamente evolutivos (ex: corpos moles, química, física).
  • Renderização: Efeitos visuais controláveis (ex: shaders, materiais, pós-processamento).
  • Aplicação: Uso interativo orientado a objetivos (ex: jogos, arquitetura, animação).
• Divisões:
  • WORLDCODER-CORE: 205 tarefas de alta dificuldade para o leaderboard principal.
  • WORLDCODER-EXTENDED: 1.621 tarefas para comparação em larga escala.
  • WORLDCODER-ROBUST: 615 variantes das tarefas CORE com constantes físicas (gravidade, elasticidade), contagem de objetos e nomes de arquivos de ativos randomizados para testar a generalização sobre a memorização de templates.
  • WORLDCODER-DEV: 200 tarefas públicas com contratos liberados para depuração.

2. STATEPROBE: Verificação Baseada em Execução

Para avaliar o comportamento "oculto" de mundos 3D, os autores propõem o STATEPROBE, um protocolo de verificação baseado em execução que vai além da observação visual.

• Interface de Tempo de Execução: Os programas gerados devem expor uma interface de estado padronizada (ex: window.__3D_STATE__) relatando variáveis como coordenadas, velocidades e flags de interação.
• Contratos Ocultos: Cada tarefa é pareada com um contrato comportamental executável oculto, elaborado por especialistas do domínio. Estes contratos definem affordances esperadas, transições de estado e invariantes numéricos (ex: leis de conservação).
• Endurecimento por Mutação: Os contratos são rigorosamente calibrados usando testes de mutação. Defeitos comuns (atualizações de estado obsoletas, carregamento de ativos quebrado, alvos de eventos trocados) são injetados em implementações de referência. Um contrato só é admitido se rejeitar com sucesso estas variantes mutadas, garantindo que um "passar" reflita correção genuína em vez de limiares frouxos.
• Fluxo de Execução: Os programas rodam em um navegador Chromium sem interface gráfica (headless). Uma sequência de ações roteirizada conduz o mundo, e o STATEPROBE captura snapshots do estado antes e depois de cada etapa para verificar os deltas contra o contrato oculto.

3. Métricas

Além do passar/falhar binário, o artigo introduz:

• Métricas de Cobertura:
  • Cobertura de Affordance (A-Cov): Presença de objetos/controles requeridos.
  • Cobertura de Estado (S-Cov): Alcançabilidade de estados intermediários.
  • Cobertura de Transição (T-Cov): Correção de mudanças de estado disparadas por ações.
  • Cobertura de Verificação (V-Cov): A métrica primária; a proporção de asserções ocultas atendidas.
• Métricas de Utilidade:
  • Retorno sobre Automação (RoA): Valor do trabalho humano ajustado pela qualidade economizado por dólar de custo do modelo.
  • Multiplicador de Eficiência de Tempo (TEM): Horas-homem economizadas por hora de tempo de geração do modelo.

Principais Contribuições

1. WORLDCODER-BENCH: O primeiro benchmark a pontuar modelos na correção comportamental de mundos Three.js gerados, em vez da plausibilidade visual, cobrindo 2.026 tarefas em 15 domínios detalhados.
2. STATEPROBE: Um protocolo de avaliação inovador usando contratos endurecidos por mutação e sondagem de estado em tempo de execução para verificar física, integração de ativos e sincronização de estado.
3. Métricas de Utilidade: A introdução de RoA e TEM, que combinam correção, custo de inferência e latência para medir o valor econômico prático, penalizando saídas baratas, porém incorretas.
4. Análise Empírica: Um benchmark abrangente de nove modelos de fronteira (incluindo GPT-5.4, Claude Opus 4.6 e Qwen3.6-Plus) revelando lacunas significativas entre aparência visual e correção funcional.

Resultados Experimentais

Os autores avaliaram nove modelos de fronteira no WORLDCODER-CORE e WORLDCODER-ROBUST:

• Baixa Cobertura de Verificação: O melhor modelo (GPT-5.4) alcançou apenas 27,8% de V-Cov no CORE e 19,9% no ROBUST. Nenhum sistema excedeu 30% nos contratos ocultos.
• Modos de Falha: As falhas foram dominadas por Deriva de Esquema de Estado (42,8%) e Cadeias de Interação Quebradas (40,8%), em vez de elementos de cena ausentes ou erros de cálculo físico. Os modelos frequentemente geraram cenas visualmente plausíveis, mas falharam em sincronizar o estado de execução com as ações do usuário.
• Falha do Paradigma de Avaliação: Métodos de avaliação externa (apenas DOM, Screenshot+VLM, Exploração de Agente) mostraram correlação próxima de zero ou negativa com o V-Cov de verdade fundamental. Por exemplo, a pontuação baseada em DOM teve um $\tau_b$ de Kendall de -0,021, e a exploração baseada em agentes passou incorretamente por 45,6% das saídas severamente defeituosas.
• Robustez: A lacuna entre modelos proprietários e de pesos abertos aumentou no split ROBUST (6 pontos vs. 2,5 pontos no CORE), sugerindo que modelos abertos dependem mais de recuperação de templates do que de compreensão de mecanismos.
• Valor Econômico: Apesar do baixo V-Cov, modelos "baratos" (ex: DeepSeek-V4-Flash) mostraram alto RoA ($19.150 por dólar) devido aos baixos custos de inferência, enquanto modelos mais rápidos (GPT-5.4) lideraram em TEM (68,9x). Tarefas de renderização foram significativamente mais fáceis do que tarefas de Simulação ou Aplicação.

Significância e Alegações

O artigo alega que o WORLDCODER-BENCH e o STATEPROBE são necessários para diagnosticar os modos de falha específicos dos LLMs na codificação 3D, que são atualmente mascarados por avaliadores puramente visuais.

• Valor Diagnóstico: O benchmark revela que a principal barreira para a síntese confiável de mundos 3D não é a geração de geometria estática, mas a manutenção de contratos de estado de execução síncronos à ação e invariantes físicos.
• Limitações dos Modelos Atuais: Mesmo os modelos mais fortes falham consistentemente em produzir mundos executáveis que obedeçam a contratos comportamentais ocultos, indicando que "parecer correto" não é mais um proxy suficiente para "funcionar corretamente".
• Direção Futura: Os autores posicionam o benchmark como uma plataforma de diagnóstico para guiar o desenvolvimento de agentes capazes de construir mundos executáveis, não apenas cenas plausíveis. Eles enfatizam que o progresso deve ser medido contra a confiabilidade comportamental, particularmente na "cauda longa" de sistemas complexos e tarefas pesadas em física onde os modelos atuais lutam.