Resumo Técnico: Essas Visualizações Podem Ser uma Única Cena? Avaliando a Consistência 3D Multiview quando Modelos Fundamentais 3D Alucinam

Declaração do Problema

A avaliação 3D multiview tipicamente assume que as imagens de entrada são observações de uma única cena 3D estática. No entanto, na Síntese de Novas Visualizações (NVS) e na reconstrução com poucas visualizações, essa suposição é frequentemente violada. Entradas ou saídas geradas podem conter artefatos, quadros atípicos, visualizações repetidas ou ruído, mesmo assim recebendo altas pontuações de consistência 3D das métricas de avaliação atuais.

Métricas existentes sem ground-truth, como a MEt3R, dependem de backbones de reconstrução 3D aprendidos (por exemplo, DUSt3R, MASt3R, VGGT, Fast3R) para inferir geometria e medir consistência. O problema central identificado neste trabalho é que esses backbones são treinados para produzir geometria, não para rejeitar entradas inválidas. Consequentemente, eles podem "alucinar" estrutura 3D densa e suporte entre visualizações para entradas que não definem uma cena coerente (por exemplo, misturas de cenas não relacionadas, imagens repetidas ou ruído gaussiano). Métricas construídas sobre esses backbones herdam essa falha, relatando consistentemente pontuações de consistência espúriamente altas para entradas inválidas, pois avaliam resíduos de características em correspondências alucinadas em vez de verificar a existência de evidência geométrica.

Metodologia

1. Benchmark SysCON3D

Para avaliar sistematicamente a robustez das métricas, os autores introduzem o SysCON3D, um benchmark controlado que injeta inconsistências específicas em conjuntos de imagens multiview provenientes do dataset Mip-NeRF360. O benchmark inclui:

• L0 (Consistente): Visualizações limpas de uma única cena.
• L1–L3 (Misturas entre Cenas): Densidades crescentes de visualizações estrangeiras (único outlier, mistura controlada, mistura aleatória).
• SysCON3D-N (Ruído): Ruído gaussiano em patches e ruído gaussiano completo.
  O benchmark testa se as métricas podem atribuir corretamente pontuações de consistência mais baixas a esses grupos inconsistentes em comparação com conjuntos limpos.

2. Família de Métricas Neurais Paramétricas

Os autores propõem um framework unificado que decompõe métricas neurais em três componentes:
$$m(\mathcal{I}) = \mathcal{A}(\rho(B(\mathcal{I}), \phi(\mathcal{I})))$$

• Backbone ($B$): Um modelo de reconstrução (MASt3R, Fast3R, VGGT) que produz geometria 3D.
• Resíduo ($\rho$): Uma função que calcula discordância de características (usando DINOv2/FeatUp) via métodos Baseados em Warping (warping de pares de visualizações) ou Consistência de Pontos (PC) (projeção de pontos 3D).
• Agregação ($\mathcal{A}$): Uma função que resume resíduos. Os autores comparam a agregação média padrão (usada na MEt3R) contra agregações distribucionais (MMD, Inverse Multiquadric (IMQ), distância de energia) que preservam a forma da distribuição de resíduos e são mais sensíveis a outliers.

3. Métricas Baseadas em COLMAP

Para abordar as limitações dos backbones aprendidos, os autores introduzem métricas baseadas em verificação geométrica clássica usando COLMAP. Essas métricas tratam a falha de reconstrução como um sinal de inconsistência:

• Consistência Geométrico-Fotométrica (GPC): Mede o acordo entre mapas de profundidade geométricos e fotométricos, ponderado pela validade do pixel.
• Massa de Consistência Integrada (ICM): Quantifica o suporte 3D denso confiável total.
• GPC Ponderado por Cobertura (W-GPC): Combina GPC com a cobertura angular das câmeras registradas.
  Crucialmente, se o COLMAP falhar em registrar câmeras ou produzir mapas densos (devido à falta de evidência geométrica), a pontuação da métrica cai para zero, penalizando explicitamente entradas inválidas.

4. Estudo de Alinhamento Humano

Os autores conduziram um estudo humano estruturado envolvendo 11 participantes (incluindo 2 especialistas) para avaliar 8 métodos de NVS. Os participantes compararam vídeos de NVS anonimizados com base em consistência 3D, realismo visual e plausibilidade. As classificações foram agregadas usando um protocolo Elo ponderado para estabelecer uma preferência humana ground-truth para consistência 3D.

Principais Resultados

Robustez no SysCON3D

• Alucinação do Backbone: Todos os backbones testados (VGGT, MASt3R, DUSt3R, Fast3R) produziram nuvens de pontos densas e sobreposição não nula para ruído gaussiano e misturas entre cenas, confirmando que eles alucinam suporte geométrico em vez de se abster.
• Impacto da Agregação: A troca da agregação média para agregação distribucional (especificamente IMQ) melhorou significativamente a robustez. A melhor variante neural, MASt3R-W-IMQ, alcançou uma taxa de vitória geral de 71% no SysCON3D, comparada a 23% para a linha de base MEt3R (MASt3R-W-Base).
• Limitações: Mesmo com agregação aprimorada, as métricas neurais lutaram com outliers únicos (L1) e ruído gaussiano, pois a geometria alucinada ocorreu antes da etapa de agregação.

Alinhamento Humano

• Métricas Neurais: A MASt3R-W-IMQ mostrou alinhamento moderado com julgamentos humanos ($\rho$ de Spearman $\approx 0,48$ em $K=6,9$), superando a MEt3R, mas ainda falhando em classificar perfeitamente os métodos.
• Métricas COLMAP: A métrica W-GPC alcançou o alinhamento mais forte com julgamentos humanos, atingindo uma correlação de Spearman de 0,98 no DL3DV e 0,98 no Mip-NeRF360. Isso representa uma melhoria de até 4$\times$ sobre a MEt3R.
• Modos de Falha: As métricas COLMAP atribuíram corretamente pontuações próximas de zero a entradas inconsistentes onde as métricas neurais falharam, demonstrando que a verificação geométrica explícita é um sinal mais confiável para consistência em nível de cena.

Significado e Alegações

O artigo alega que a confiabilidade da avaliação 3D sem ground-truth está fundamentalmente comprometida ao usar modelos de reconstrução aprendidos como avaliadores em configurações não curadas. A descoberta central é que modelos fundamentais 3D modernos alucinam suporte geométrico para entradas que carecem de evidência multiview válida, fazendo com que métricas a jusante validem dados inválidos.

Os autores argumentam que:

1. A agregação distribucional melhora as métricas neurais, mas não pode corrigir completamente a geometria não suportada produzida pelo backbone.
2. A verificação geométrica clássica (via COLMAP) fornece um sinal complementar, consciente de falhas. Ao tratar a incapacidade de registrar ou reconstruir como uma pontuação negativa, essas métricas alinham-se significativamente melhor aos julgamentos humanos de consistência 3D.
3. Recomendação Prática: Para avaliação robusta de saídas de NVS, os autores recomendam relatar W-GPC juntamente com ICM e taxas de registro. Métricas neurais como MASt3R-W-IMQ podem servir como diagnósticos secundários, mas não devem sobrepor a verificação geométrica explícita, especialmente em aplicações críticas de segurança onde geometria alucinada poderia ser confundida com evidência.

O trabalho não alega ter resolvido o problema da reconstrução em si, mas fornece um framework de diagnóstico e métricas robustas para prevenir a má interpretação da consistência 3D alucinada em conteúdo gerado.