A Cross-Model VLM-Judge Protocol for Single-Image 3D Mesh Quality (and Why Cheap Proxies Fall Short)

Resumen Técnico: Un Protocolo de Juez VLM Trans-Modelo para la Calidad de Mallas 3D de Imagen Única

Declaración del Problema
Los generadores de 3D a partir de una sola imagen están mejorando rápidamente, pero el campo carece de un método acordado, libre de intervención humana, para determinar si una malla generada es superior a otra. Los profesionales dependen actualmente de aproximaciones automáticas "baratas", específicamente la similitud CLIP en el espacio de renderizado y estadísticas de validez geométrica de la malla (por ejemplo, estanqueidad, de la superficie continua o manifoldness, y consistencia de normales). Sin embargo, no se ha establecido con certeza qué tan bien estas aproximaciones rastrean la calidad percibida de la malla, que es la métrica que importa para los usuarios finales, clasificadores y señales de entrenamiento. El problema central es determinar si estas métricas de bajo costo pueden servir como sustitutos fiables de una evaluación de alta fidelidad.

Metodología
Los autores proponen y validan un protocolo de evaluación reproducible centrado en un juez de Modelo de Lenguaje Visual (VLM), diseñado para servir como un oráculo de referencia.

• Protocolo de Evaluación:

  • Entrada: Se aplica un rig de renderizado headless de 24 vistas fijas a mallas normalizadas generadas a partir de imágenes únicas.
  • Jueces: Se emplean dos familias de VLMs abiertos e independientes: un juez "oráculo" (Qwen2.5-VL-7B-Instruct) y un juez de validación separado (InternVL3-8B). El uso de dos modelos distintos permite realizar verificaciones de acuerdo entre modelos en lugar de depender del sesgo de un solo modelo.
  • Corrección de Sesgo de Posición: Reconociendo que los VLMs exhiben un sesgo de orden de presentación, el protocolo consulta cada par en ambos órdenes (A vs. B y B vs. A). Los veredictos se conservan solo si son consistentes tras el intercambio; los veredictos inconsistentes se descartan. Esta corrección es crítica, ya que los veredictos brutos mostraron un ~26% de inconsistencia.
  • Aproximaciones Probadas: El protocolo evalúa cuatro estrategias de aproximación contra el juez de validación independiente:
    1. Puntuación basada solo en geometría (basada en estanqueidad, continuidad de la superficie, no auto-intersección y consistencia de normales).
    2. Puntuación de similitud Render-CLIP.
    3. Un compuesto de peso fijo de las anteriores.
    4. Una cabeza de Bradley–Terry aprendida (regresión logística) entrenada sobre las etiquetas del juez oráculo para ponderar las cinco características.

• Configuración Experimental:

  • Datos: 60 objetos de Google Scanned Objects.
  • Generadores: Dos generadores de alimentación directa (feed-forward) (Stable Fast 3D y TripoSR) más una variante degradada de "caída de cara" (face-drop) de cada uno, creando un espectro de calidad.
  • Divisiones (Splits): Las divisiones estrictas por objeto aseguran que ningún objeto se encuentre entre el conjunto de entrenamiento y de prueba. La cabeza aprendida se entrena en un subconjunto y se evalúa en pares no vistos contra el juez de validación.
  • Estadísticas: El acuerdo se mide mediante proporciones con intervalos de confianza de Wilson del 95% y $\kappa$ de Cohen contra un umbral de acuerdo por azar (0.5). Se utiliza bootstrapping de clústeres para dar cuenta del agrupamiento a nivel de objeto.

Contribuciones Clave

1. Protocolo de Juez VLM Validado: Los autores establecen un marco de evaluación reproducible y libre de humanos que presenta un rig de renderizado fijo, dos jueces independientes y una corrección obligatoria de sesgo de posición. Las dos familias de jueces logran un acuerdo sustancial ($\kappa=0.66$, acuerdo bruto 0.83), significativamente por encima del umbral del azar.
2. Cuantificación del Sesgo de Posición: El estudio demuestra que el sesgo de posición es un modo de fallo mayor, con un ~26% de los veredictos brutos cambiando según el orden de presentación. Corregir este sesgo es esencial, moviendo las estimaciones de acuerdo desde niveles triviales (p. ej., 0.333) hacia niveles sustanciales (0.714).
3. Fracaso de las Aproximaciones Baratas: Utilizando al juez VLM como la verdad fundamental (ground truth), el artículo demuestra que las aproximaciones baratas no sustituyen al juez:
   • Validez Geométrica: Aunque está significativamente por encima del azar (0.62), sigue siendo débil y queda por debajo del objetivo pre-registrado ($\approx \ge 0.75$).
   • Render-CLIP: Funciona a niveles de azar (0.48), sin aportar ninguna señal de calidad utilizable.
   • Pesos Aprendidos: Una cabeza de Bradley–Terry aprendida colapsa sobre una única estadística de continuidad de la superficie (asignando un peso negativo a Render-CLIP), resultando en un ranking idéntico al de la puntuación de solo geometría. El aprendizaje de los pesos de las características no proporciona ningún beneficio adicional.
4. Comportamiento Bimodal de las Aproximaciones: El análisis de subgrupos revela que las aproximaciones son bimodales. Funcionan significativamente por encima del azar solo en contrastes con defectos geométricos visibles (por ejemplo, comparaciones entre generadores o agujeros claros) pero caen a niveles de azar en llamadas de calidad ambiguas. Esto sugiere que las aproximaciones solo rastrean al juez cuando los defectos son visualmente salientes.

Resultados

• Fiabilidad: El acuerdo trans-modelo entre los dos jueces VLM es robusto (0 acuerdo 0.83, $\kappa=0.66$), confirmando la fiabilidad del protocolo como referencia.
• Rendimiento de las Aproximaciones:
  • Geometría: 0.62 de acuerdo en el corpus completo (95% CI [0.56, 0.68]).
  • Render-CLIP: 0.48 de acuerdo (95% CI [0.42, 0.54]), indistinguible del azar.
  • Cabeza Aprendida: Coincide exactamente con la de solo geometría (0.52 en datos no vistos), indicando que el conjunto de características limita el rendimiento más que la arquitectura del modelo.
• Análisis de Subgrupos: La validez geométrica alcanza un acuerdo de 0.91 en contrastes entre generadores y de 0.80 en la degradación dentro de TripoSR (donde los defectos son agujeros visibles). Sin embargo, cae a 0.53 en pares mixtos de generadores (casos ambiguos). Render-CLIP permanece débil en todos los subgrupos (0.37–0.70).

Significancia y Reivindicaciones
El artículo afirma que, para las condiciones específicas probadas (dos generadores de alimentación directa con un régimen de degradación de caída de cara en Google Scanned Objects), el protocolo de juez VLM propuesto, con corrección de sesgo de posición y trans-modelo, es un evaluador fiable y reproducible libre de humanos.

Por el contrario, los autores aconsejan no utilizar la validez geométrica o las aproximaciones de Render-CLIP como objetivos de optimización o señales de recompensa. Estas aproximaciones no solo son señales débiles, sino que son "engañosamente buenas" en contrastes de defectos visibles, mientras fallan en las comparaciones ambiguas que son críticas para clasificar u optimizar modelos individuales. Los autores sugieren que la especialización basada en recompensas debe ser impulsada directamente por las preferencias del juez VLM de-sesgado, en lugar de por aproximaciones que un generador podría satisfacer (por ejemplo, maximizando la continuidad de la superficie) sin mejorar realmente la calidad percibida.

Limitaciones
Los autores señalan que el juez VLM es tratado como el oráculo, aunque lo mitigan al requerir el acuerdo entre modelos. El estudio está limitado a un régimen estrecho (dos generadores, un conjunto de datos, tipo de degradación específico) y no cubre fallos naturalistas como estructuras finas o transparencia. Además, el subgrupo "dentro de Stable Fast 3D" estuvo confundido porque la caída de cara en conchas abiertas era apenas visible, lo que hizo que los propios veredictos del juez fueran ambiguos en esa celda específica.