Resumo Técnico: 3D-DefectBench

Declaração do Problema

Avaliar sistemas generativos 3D em escala é desafiador devido à natureza aberta tanto dos prompts de texto quanto das saídas de malhas texturizadas. A revisão humana exaustiva é cara e lenta, motivando o uso de Modelos de Visão-Linguagem (VLMs) como juízes automatizados. No entanto, a confiabilidade desses juízes não é apenas uma função da capacidade do modelo subjacente. É fundamentalmente um problema de medição onde o acordo com os rótulos humanos depende de todo o pipeline de avaliação: como o ativo 3D é renderizado, quais canais visuais (ex: RGB, profundidade, normais) são fornecidos, como a tarefa é especificada via prompts e como os rótulos de referência humana são construídos. Benchmarks existentes frequentemente tratam o juiz como um modelo isolado ou dependem de classificações holísticas que carecem de valor diagnóstico acionável para modos de falha específicos. Além disso, comparar VLMs contra um único rótulo humano assume que a anotação é um alvo confiável, ignorando a variabilidade na expertise do anotador e o ruído nos rótulos.

Metodologia

Os autores introduzem o 3D-DefectなBench, um benchmark de larga escala e uma metodologia projetada para tratar o julgamento por VLM como um pipeline de avaliação configurável, em vez de um benchmark de modelo estático.

Design do Benchmark

• Dados: O benchmark consiste em 1.049 ativos "silver" (rotulados por anotadores de fornecedores treinados) e 129 ativos "expert" (rotulados por dois artistas 3D especialistas). Os ativos são gerados por duas variantes do sistema de texto-para-3D da Roblox, o Cube.
• Tarefa e Taxonomia: Em vez de pontuações holísticas, a tarefa envolve a previsão de um vetor binário de nove dimensões de defeitos. A taxonomia inclui cinco defeitos de geometria (qualidade de forma/superfície, partes fundidas/incompletas, pose/posicionamento, partes ausentes, geometria extra) e quatro defeitos de textura (ruído/desfoque, textura deslocada/sobreposta, artefatos de iluminação pré-renderizada [baked], incompatibilidade visual-textual).
• Regimes de Referência Humana: Para separar as limitações do juiz do ruído do rótulo de referência, o estudo utiliza dois conjuntos de referência complementares: um grande conjunto silver (votação majoritária de fornecedores treinados) e um conjunto expert menor (revisões independentes por especialistas do domínio).

Estrutura Experimental

O estudo emprega um design fatorial balanceado para variar sistematicamente quatro componentes do pipeline através de 84 configurações de inferência:

1. Modelo VLM: Um conjunto diversificado de modelos, variando de custo-efetivos a modelos de fronteira (ex: Gemini, GPT, Qwen, Claude, Mistral).
2. Protocolo de Câmera: Três layouts de visualização (6 vistas oblíquas, 14 vistas equatoriais, 14 vistas de anéis múltiplos).
3. Entrada Visual: Sete combinações de canais (apenas RGB, RGB+geometria, RGB+profundidade, RGB+normais, apenas profundidade, apenas geometria, apenas normais).
4. Esquema de Prompt: Quatro níveis de orientação (Binário Compacto, Guiado por Definição, Binário Guiado por Rubrica, Checklist Guiado por Rubrica).

Estratégia de Análise

Os autores utilizam uma metodologia em estágios orientada ao custo:

1. Triagem (Screening): Todas as 84 configurações são avaliadas usando cinco VLMs representativos nos 1.049 ativos silver.
2. Validação: Um subconjunto de configurações é reavaliado em um conjunto mais amplo de modelos de fronteira para garantir que as conclusões de design não sejam artefatos dos modelos de triagem.
3. Comparação de Pipeline Fixo: Uma única configuração próxima da ideal é selecionada para comparar 12 VLMs contra referências humanas expert e silver.
4. Modelagem Estatística: Um modelo de fator logístico por nível de defeito é usado para estimar os efeitos principais e as interações dos fatores de pipeline no acordo com os rótulos humanos.

Principais Resultados

1. Sensibilidade do Pipeline e Importância dos Fatores

• Dominância do Modelo: A escolha do VLM é a fonte dominante de variação no acordo com os rótulos humanos (explicando a maior parte da variância no modelo logístico).
• Impacto do Pipeline: Embora o modelo seja primário, os fatores de pipeline não são desprezíveis. A entrada visual e o esquema de prompt afetam significamente o acordo, e esses fatores interagem com o modelo específico utilizado.
• Configuração Ótima: Dentro do espaço testado, um protocolo RGB de seis vistas compactas combinado com um prompt de checklist guiado por rubrica (Configuração c004) performa de forma comparável a conjuntos de vistas mais densos ou configurações aumentadas com canais de profundidade/normais. Adicionar canais geométricos (profundidade/normais) não melhora o desempenho em relação ao RGB sozinho; de fato, remover a cor (RGB) prejudica significativamente o acordo, provavelmente porque os rótulos de referência humana foram derivados da inspeção RGB.

2. Desempenho do Modelo e Calibragem

• Leaderboard: Sob o design fixo c004, a família Gemini (especificamente Gemini 3.1 Pro e Flash-Lite) lidera no acordo com os rótulos humanos.
• Lacuna Humana (Human Gap): Mesmo os melhores VLMs ficam atrás de rotuladores humanos treinados. Em um protocolo de "deixar um rotulador de fora" (leave-one-labeler-out), os melhores VLMs alcançam um Coeficiente de Correlação de Matthews (MCC) macro inferior ao de um especialista humano ou rotulador de crowd mantido em reserva.
• Sensibilidade à Referência: As pontuações de acordo caem drasticamente ao passar de rótulos expert para rótulos silver mais ruidosos, particularmente para defeitos de textura (o MCC cai de ~0,40 para ~0,16). Os rankings de textura são instáveis entre os regimes de referência, enquanto os rankings de geometria são mais robustos.
• Características de Defeitos: Os VLMs tendem a superestimar defeitos de "partes ausentes" e "iluminação pré-renderizada" (baked lighting), mas subestimam "textura deslocada/sobreposta".

3. Impacto Downstream

• Comparação de Geradores: A escolha do juiz impacta significativamente as conclusões sobre qual gerador é superior. Juízes mais fortes geralmente concordam com o consenso humano sobre defeitos prevalentes, enquanto juízes mais fracos frequentemente produzem rankings espúrios ou contraditórios.
• Desempenho de Baseline: Baselines simples (ex: CLIP zero-shot, apenas prompt) performam próximo de zero, confirmando que o sinal provém das evidências renderizadas multi-visuais combinadas com as capacidades de raciocínio do VLM.

Significância e Alegações

O artigo afirma que a avaliação automatizada deve ser vista como um sistema de medição e não apenas um simples benchmark de modelo. Suas principais contribuições são:

1. Mudança Metodológica: Demonstra que a confiabilidade de um juiz automatizado é uma função de todo o pipeline (renderização, entrada, prompt, referência). Otimizar apenas o modelo é insuficiente; a "melhor" configuração é dependente de contexto e interage com a escolha do modelo.
2. Diagnósticos Granulares: Ao mover de classificações holísticas para vetores binários de defeitos finos, o benchmark fornece diagnósticos acionáveis para o desenvolvimento de geradores e revela categorias específicas onde os juízes têm sucesso ou falham.
3. Calibragem contra a Variabilidade Humana: O estudo destaca que o "ground truth" na geração 3D é ruidoso e dependente da expertise do anotador. Juízes automatizados devem ser calibrados contra diferentes regimes de referência humana (expert vs. crowd) para entender sua utilidade e limitações reais.
4. Padrões de Baixo Custo: A pesquisa identifica uma configuração de pipeline específica e de baixo custo (6 vistas RGB + checklist de rubrica) que oferece uma forte relação custo-desempenho, tornando-se uma opção padrão viável para avaliação de produção sem a necessidade de renderização cara de profundidade/normais ou contagens excessivas de vistas.

Os autores concluem que, embora os VLMs sejam competitivos com humanos treinados, eles ainda não os superam, e seu desempenho está intrinsecamente ligado a como a tarefa de avaliação é construída e como as referências humanas são definidas. O trabalho fornece um framework geral para o estudo de juízes automatizados além da geração 3D.