Resumen Técnico: ¿Pueden Estas Vistas Ser Una Sola Escena? Evaluación de la Consistencia 3D Multivista cuando los Modelos Fundacionales 3D Alucinan

Declaración del Problema

La evaluación 3D multivista asume típicamente que las imágenes de entrada son observaciones de una única escena 3D estática. Sin embargo, en la Síntesis de Nuevas Vistas (NVS) y la reconstrucción con pocas vistas, esta suposición se viola con frecuencia. Las entradas o las salidas generadas pueden contener artefactos, cuadros atípicos, vistas repetidas o ruido, y aun así recibir puntuaciones altas de consistencia 3D por parte de las métricas de evaluación actuales.

Las métricas existentes sin verdad fundamental, como MEt3R, dependen de esqueletos de reconstrucción 3D aprendidos (por ejemplo, DUSt3R, MASt3R, VGGT, Fast3R) para inferir geometría y medir la consistencia. El problema central identificado en este trabajo es que estos esqueletos están entrenados para producir geometría, no para rechazar entradas inválidas. En consecuencia, pueden "alucinar" una estructura 3D densa y soporte entre vistas para entradas que no definen una escena coherente (por ejemplo, mezclas de escenas no relacionadas, imágenes repetidas o ruido gaussiano). Las métricas construidas sobre estos esqueletos heredan este fallo, reportando consistencia espuriamente alta para entradas inválidas porque evalúan residuos de características en correspondencias alucinadas en lugar de verificar la existencia de evidencia geométrica.

Metodología

1. Benchmark SysCON3D

Para evaluar sistemáticamente la robustez de las métricas, los autores introducen SysCON3D, un benchmark controlado que inyecta inconsistencias específicas en conjuntos de imágenes multivista procedentes del dataset Mip-NeRF360. El benchmark incluye:

• L0 (Consistente): Vistas limpias de una sola escena.
• L1–L3 (Mezclas entre Escenas): Densidades crecientes de vistas extranjeras (un único atípico, mezcla controlada, mezcla aleatoria).
• SysCON3D-N (Ruido): Parches de ruido gaussiano y ruido gaussiano completo.
  El benchmark prueba si las métricas pueden asignar correctamente puntuaciones de consistencia más bajas a estos grupos inconsistentes en comparación con los conjuntos limpios.

2. Familia de Métricas Neuronales Paramétricas

Los autores proponen un marco unificado que descompone las métricas neuronales en tres componentes:
$$m(\mathcal{I}) = \mathcal{A}(\rho(B(\mathcal{I}), \phi(\mathcal{I})))$$

• Esqueleto ($B$): Un modelo de reconstrucción (MASt3R, Fast3R, VGGT) que produce geometría 3D.
• Residual ($\rho$): Una función que calcula el desacuerdo de características (usando DINOv2/FeatUp) mediante métodos basados en Warp (deformación de pares de vistas) o Consistencia de Puntos (PC) (proyección de puntos 3D).
• Agregación ($\mathcal{A}$): Una función que resume los residuos. Los autores comparan la agregación media estándar (usada en MEt3R) frente a agregaciones distribucionales (MMD, Inverse Multiquadric (IMQ), distancia de energía) que preservan la forma de la distribución de residuos y son más sensibles a los valores atípicos.

3. Métricas Basadas en COLMAP

Para abordar las limitaciones de los esqueletos aprendidos, los autores introducen métricas basadas en la verificación geométrica clásica utilizando COLMAP. Estas métricas tratan el fallo de reconstrucción como una señal de inconsistencia:

• Consistencia Geométrico-Fotométrica (GPC): Mide el acuerdo entre los mapas de profundidad geométricos y fotométricos, ponderados por la validez de los píxeles.
• Masa de Consistencia Integrada (ICM): Cuantifica el soporte 3D denso confiable total.
• GPC Ponderada por Cobertura (W-GPC): Combina GPC con la cobertura angular de las cámaras registradas.
  Crucialmente, si COLMAP falla al registrar cámaras o producir mapas densos (debido a la falta de evidencia geométrica), la puntuación de la métrica cae a cero, penalizando explícitamente las entradas inválidas.

4. Estudio de Alineación Humana

Los autores realizaron un estudio humano estructurado con 11 participantes (incluidos 2 expertos) para evaluar 8 métodos de NVS. Los participantes compararon videos de NVS anonimizados basándose en la consistencia 3D, el realismo visual y la plausibilidad. Las clasificaciones se agregaron utilizando un protocolo Elo ponderado para establecer una preferencia humana de verdad fundamental para la consistencia 3D.

Resultados Clave

Robustez en SysCON3D

• Alucinación del Esqueleto: Todos los esqueletos probados (VGGT, MASt3R, DUSt3R, Fast3R) produjeron nubes de puntos densas y superposición no nula para ruido gaussiano y mezclas entre escenas, confirmando que alucinan soporte geométrico en lugar de abstenerse.
• Impacto de la Agregación: Cambiar de agregación media a agregación distribucional (específicamente IMQ) mejoró significativamente la robustez. La variante neuronal mejor, MASt3R-W-IMQ, logró una tasa de victoria global del 71% en SysCON3D, en comparación con el 23% de la línea base MEt3R (MASt3R-W-Base).
• Limitaciones: Incluso con una agregación mejorada, las métricas neuronales tuvieron dificultades con atípicos individuales (L1) y ruido gaussiano, ya que la geometría alucinada ocurrió antes del paso de agregación.

Alineación Humana

• Métricas Neuronales: MASt3R-W-IMQ mostró una alineación moderada con los juicios humanos ($\rho$ de Spearman $\approx 0.48$ en $K=6,9$), superando a MEt3R pero aún fallando en clasificar perfectamente los métodos.
• Métricas COLMAP: La métrica W-GPC logró la alineación más fuerte con los juicios humanos, alcanzando una correlación de Spearman de 0.98 en DL3DV y 0.98 en Mip-NeRF360. Esto representa una mejora de hasta 4$\times$ sobre MEt3R.
• Modos de Fallo: Las métricas COLMAP asignaron correctamente puntuaciones cercanas a cero a entradas inconsistentes donde las métricas neuronales fallaron, demostrando que la verificación geométrica explícita es una señal más fiable para la consistencia a nivel de escena.

Significado y Afirmaciones

El artículo afirma que la fiabilidad de la evaluación 3D sin verdad fundamental se ve fundamentalmente comprometida al utilizar modelos de reconstrucción aprendidos como evaluadores en entornos no curados. El hallazgo central es que los modelos fundacionales 3D modernos alucinan soporte geométrico para entradas que carecen de evidencia multivista válida, lo que provoca que las métricas posteriores validen datos inválidos.

Los autores argumentan que:

1. La agregación distribucional mejora las métricas neuronales pero no puede corregir completamente la geometría sin soporte producida por el esqueleto.
2. La verificación geométrica clásica (mediante COLMAP) proporciona una señal complementaria y consciente de fallos. Al tratar la incapacidad de registrar o reconstruir como una puntuación negativa, estas métricas se alinean significativamente mejor con los juicios humanos de consistencia 3D.
3. Recomendación Práctica: Para una evaluación robusta de las salidas de NVS, los autores recomiendan reportar W-GPC junto con ICM y tasas de registro. Las métricas neuronales como MASt3R-W-IMQ pueden servir como diagnósticos secundarios, pero no deben anular la verificación geométrica explícita, especialmente en aplicaciones críticas para la seguridad donde la geometría alucinada podría confundirse con evidencia.

El trabajo no afirma haber resuelto el problema de la reconstrucción en sí mismo, sino que proporciona un marco de diagnóstico y métricas robustas para prevenir la mala interpretación de la consistencia 3D alucinada en el contenido generado.