A Cross-Model VLM-Judge Protocol for Single-Image 3D Mesh Quality (and Why Cheap Proxies Fall Short)

Resumo Técnico: Um Protocolo de Juiz-VLM Cross-Model para Qualidade de Malha 3D de Imagem Única

Definição do Problema
Geradores de 3D a partir de uma única imagem estão progredindo rapidamente, mas o campo carece de um método acordado, livre de humanos, para determinar se uma malha gerada é superior a outra. Os praticantes dependem atualmente de proxies automáticos "baratos", especificamente a similaridade CLIP no espaço de renderização e estatísticas de validade geométrica da malha (ex: estanqueidade, manifoldness, consistência de normais). No entanto, não está estabelecido o quão bem esses proxies rastreiam a qualidade percebida da malha — a métrica que importa para usuários finais, rankers e sinais de treinamento. O problema central é determinar se esses métricas de baixo custo podem servir como substitutos confiáveis para uma avaliação de alta fidelidade.

Metodologia
Os autores propõem e validam um protocolo de avaliação reproduzível centrado em um juiz de Modelo de Linguagem de Visão (VLM), projetado para servir como um oráculo de referência.

• Protocolo de Avaliação:

  • Entrada: Um rig de renderização headless de 24 vistas fixas é aplicado a malhas normalizadas geradas a partir de imagens únicas.
  • Juízes: Duas famílias independentes de VLMs abertos são empregadas: um juiz "oráculo" (Qwen2.5-VL-7B-Instruct) e um juiz de validação separado (InternVL3-8B). O uso de dois modelos distintos permite verificações de concordância cross-model em vez de depender do viés de um único modelo.
  • Correção de Viés de Posição: Reconhecendo que os VLMs exibem viés de ordem de apresentação, o protocolo consulta cada par em ambas as ordens (A vs. B e B vs. A). Os vereditos são retidos apenas se forem consistentes após a troca; vereditos inconsistentes são descartados. Esta correção é crítica, pois os vereditos brutos mostraram ~26% de inconsistência.
  • Proxies Testados: O protocolo avalia quatro estratégias de proxy contra o juiz de validação independente:
    1. Pontuação baseada apenas em geometria (baseada em estanqueidade, manifoldness, não-autointerseção, consistência de normais).
    2. Pontuação de similaridade Render-CLIP.
    3. Um composto de peso fixo dos acima.
    4. Uma cabeça Bradley–Terry aprendida (regressão logística) treinada nos rótulos do juiz oráculo para ponderar as cinco características.

• Configuração Experimental:

  • Dados: 60 objetos do Google Scanned Objects.
  • Geradores: Dois geradores feed-forward (Stable Fast 3D e TripoSR) mais uma variante degradada de "face-drop" de cada um, criando um espectro de qualidade.
  • Divisões (Splits): Divisões rigorosas por nível de objeto garantem que nenhum objeto transite entre os conjuntos de treino/teste. A cabeça aprendida é treinada em um subconjunto e avaliada em pares retidos contra o juiz de validação.
  • Estatísticas: A concordância é medida usando proporções com intervalos de confiança de Wilson 95% e $\kappa$ de Cohen contra um baseline de concordância ao acaso (0.5). O bootstrapping de cluster é usado para contabilizar o agrupamento por nível de objeto.

Principais Contribuições

1. Protocolo de Juiz-VLM Validado: Os autores estabelecem um framework de avaliação reproduzível e livre de humanos, apresentando um rig de renderização fixo, dois juízes independentes e correção obrigatória de viés de posição. As duas famílias de juízes alcançam concordância substancial ($\kappa=0.66$, concordância bruta 0.83), significativamente acima do patamar do acaso.
2. Quantificação do Viés de Posição: O estudo demonstra que o viés de posição é um modo de falha importante, com ~26% dos vereditos brutos invertendo-se com base na ordem de apresentação. Corrigir este viés mostrou-se essencial, movendo as estimativas de concordância de níveis triviais (ex: 0.333) para níveis substanciais (0.714).
3. Falha dos Proxies Baratos: Usando o juiz VLM como a verdade fundamental (ground truth), o artigo demonstra que proxies baratos não substituem o juiz:
   • Validade Geométrica: Embora significativamente acima do acaso (0.62), permanece fraca e abaixo do alvo pré-registrado ($\approx \ge 0.75$).
   • Render-CLIP: Desempenha em níveis de acaso (0.48), não carregando nenhum sinal de qualidade utilizável.
   • Cabeça Aprendida: Uma cabeça Bradley–Terry aprendida colapsa sobre uma única estatística de manifoldness (atribuindo um peso negativo ao Render-CLIP), resultando em um ranking idêntico ao score de geometria pura. Aprender pesos de características não proporciona benefício adicional.
4. Comportamento Bimodal dos Proxies: A análise de subgrupos revela que os proxies são bimodais. Eles desempenham significativamente acima do acaso em contrastes com defeitos geométricos visíveis (ex: comparações entre geradores ou buracos claros) mas caem para níveis de acaso em chamadas de qualidade ambíguas. Isso sugere que os proxies só rastreiam o juiz quando os defeitos são visualmente salientes.

Resultados

• Confiabilidade: A concordância cross-model entre os dois juízes VLM é robusta (0.83 de concordância, $\kappa=0.66$), confirmando a confiabilidade do protocolo como uma referência.
• Desempenho dos Proxies:
  • Geometria: 0.62 de concordância no corpus completo (95% CI [0.56, 0.68]).
  • Render-CLIP: 0.48 de concordância (95% CI [0.42, 0.54]), indistinguível do acaso.
  • Cabeça Aprendida: Corresponde exatamente à geometria pura (0.52 nos dados retidos), indicando que o conjunto de características limita o desempenho, não a arquitetura do modelo.
• Análise de Subgrupo: A validade geométrica atinge 0.91 de concordância em contrastes entre geradores e 0.80 em degradação dentro do TripoSR (onde os defeitos são buracos visíveis). No entanto, cai para 0.53 em pares mistos de geradores (casos ambíguos). O Render-CLIP permanece fraco em todos os subgrupos (0.37–0.70).

Significância e Alegações
O artigo alega que, para as condições específicas testadas (dois geradores feed-forward no Google Scanned Objects com um regime de degradação de face-drop), o proposto protocolo de juiz-VLM cross-model e corrigido para viés de posição é um avaliador confiável e reproduzível livre de humanos.

Inversamente, os autores aconselham contra o uso de proxies de validade geométrica ou Render-CLIP como alvos de otimização ou sinais de recompensa. Esses proxies não são apenas sinais fracos, mas são "deceptivamente bons" em contrastes de defeitos visíveis, enquanto falham nas comparações ambíguas que são críticas para o ranking ou otimização de modelos únicos. Os autores sugerem que a especialização baseada em recompensa deve ser impulsionada diretamente pelas preferências do juiz VLM des-viesado, em vez de por proxies que um gerador poderia satisfazer (ex: maximizando a manifoldness) sem realmente melhorar a qualidade percebida.

Limitações
Os autores observam que o juiz VLM é tratado como o oráculo, embora mitiguem isso exigindo concordância cross-model. O estudo é limitado a um regime estreito (dois geradores, um dataset, tipo específico de degradação) e não cobre falhas naturalistas como estruturas finas ou transparência. Adicionalmente, o subgrupo "dentro do Stable Fast 3D" foi confundido porque o face-dropping em shells abertas era quase invisível, tornando os próprios vereditos do juiz ambíguos naquele caso específico.