Resumen Técnico: 3D-DefectBench

Planteamiento del Problema

Evaluar sistemas generativos 3D a escala es un desafío debido a la naturaleza abierta tanto de los prompts de texto como de los outputs de mallas texturizadas. La revisión humana exhaustiva es costosa y lenta, lo que motiva el uso de Modelos de Lenguaje y Visión (VLMs) como jueces automatizados. Sin embargo, la fiabilidad de estos jueces no es únicamente una función de la capacidad del modelo subyacente. Es, fundamentalmente, un problema de medición donde el acuerdo con las etiquetas humanas depende de todo el pipeline de evaluación: cómo se renderiza el activo 3D, qué canales visuales (por ejemplo, RGB, profundidad, normales) se proporcionan, cómo se especifica la tarea mediante prompts y cómo se construyen las etiquetas de referencia humanas. Los benchmarks existentes suelen tratar al juez como un modelo independiente o dependen de calificaciones holísticas que carecen de valor diagnóstico accionable para modos de falla específicos. Además, comparar los VLMs contra una única anotación humana asume que la anotación es un objetivo fiable, ignorando la variabilidad en la experiencia del anotador y el ruido de las etiquetas.

Metodología

Los autores introducen 3D-DefectBench, un benchmark y una metodología a gran escala diseñados para tratar el juicio de un VLM como un pipeline de evaluación configurable en lugar de un benchmark de modelo estático.

Diseño del Benchmark

• Datos: El benchmark consta de 1,049 activos "silver" (etiquetados por anotadores proveedores entrenados) y 129 activos "expert" (etiquetados por dos artistas 3D expertos). Los activos son generados por dos variantes del sistema Cube de Roblox (text-to-3D).
• Tarea y Taxonomía: En lugar de puntuaciones holísticas, la tarea consiste en predecir un vector de defectos binarios de nueve dimensiones. La taxonomía incluye cinco defectos de geometría (calidad de forma/superficie, partes fusionadas/incompletas, pose/colocación, partes faltantes, geometría extra) y cuatro defectos de textura (ruido/desenfoque, textura mal ubicada/superpuesta, artefactos de iluminación horneada, desajuste visual-textual).
• Regímenes de Referencia Humana: Para separar las limitaciones del juez del ruido de la etiqueta de referencia, el estudio utiliza dos conjuntos de referencia complementarios: un gran conjunto silver (voto de la mayoría de proveedores entrenados) y un conjunto expert más pequeño (revisiones independientes por parte de expertos en el dominio).

Marco Experimental

El estudio emplea un diseño factorial balanceado para variar sistemáticamente cuatro componentes del pipeline a través de 8ks configuraciones de inferencia:

1. Modelo VLM: Un conjunto diverso de modelos que van desde opciones rentables hasta modelos de frontera (por ejemplo, Gemini, GPT, Qwen, Claude, Mistral).
2. Protocolo de Cámara: Tres disposiciones de vistas (6 vistas oblicuas, 14 vistas ecuatoriales, 14 vistas de anillos múltiples).
3. Input Visual: Siete combinaciones de canales (solo RGB, RGB+geometría, RGB+profundidad, RGB+normales, solo profundidad, solo geometría, solo normales).
4. Esquema de Prompt: Cuatro niveles de guía (Binario Compacto, Guiado por Definición, Binario Guiado por Rúbrica, Checklist Guiado por Rúbrica).

Estrategia de Análisis

Los autores utilizan una metodología escalonada consciente del costo:

1. Tamizaje (Screening): Todas las 84 configuraciones se evalúan utilizando cinco VLMs representativos en los 1,049 activos silver.
2. Validación: Un subconjunto de configuraciones se reevalúa en un conjunto más amplio de modelos de frontera para asegurar que las conclusiones de diseño no sean artefactos de los modelos de tamizaje.
3. Comparación de Pipeline Fijo: Se selecciona una única configuración casi óptima para comparar 12 VLMs contra referencias humanas tanto expert como silver.
4. Modelado Estadístico: Se utiliza un modelo de factor logístico por nivel de defecto para estimar los efectos principales e interacciones de los factores del pipeline sobre el acuerdo con las etiquetas humanas.

Resultados Clave

1. Sensibilidad del Pipeline e Importancia de los Factores

• Dominancia del Modelo: La elección del VLM es la fuente dominante de variación en el acuerdo con las etiquetas humanas (explicando la mayor parte de la varianza en el modelo logístico).
• Impacto del Pipeline: Aunque el modelo es la parte primaria, los factores del pipeline no son despreciables. El input visual y el esquema de prompt afectan significativamente el acuerdo, y estos factores interactúan con el modelo específico utilizado.
• Configuración Óptima: Dentro del espacio probado, un protocolo RGB de seis vistas compactas combinado con un prompt de checklist guiado por rúbrica (Configuración c004) funciona de manera comparable a los conjuntos de vistas más densos o a las configuraciones aumentadas con canales de profundidad/normales. Añadir canales geométricos (profundidad/normales) no mejora el rendimiento sobre el RGB solo; de hecho, eliminar el color (RGB) perjudica significamente el acuerdo, probablemente porque las etiquetas de referencia humanas se derivaron de la inspección RGB.

2. Rendimiento y Calibración del Modelo

• Leaderboard: Bajo el diseño fijo c004, la familia Gemini (específicamente Gemini 3.1 Pro y Flash-Lite) lidera en acuerdo con las etiquetas humanas.
• Brecha Humana: Incluso los mejores VLMs quedan por detrás de los etiquetadores humanos entrenados. En un protocolo de "dejar fuera a un etiquetador" (leave-one-labeler-out), los mejores VLMs logran un Coeficiente de Correlación de Matthews (MCC) macro inferior al de un experto humano o un etiquetador de la multitud (crowd) excluido.
• Sensibilidad de la Referencia: Los puntajes de acuerdo caen drásticamente al pasar de etiquetas expert a etiquetas silver más ruidosas, particularmente para defectos de textura (el MCC cae de ~0.40 a ~0.16). Los rankings de textura son inestables entre regímenes de referencia, mientras que los de geometría son más robustos.
• Características de los Defectos: Los VLMs tienden a reportar en exceso los defectos de "partes faltantes" y "iluminación horneada", pero reportan de menos los defectos de "textura mal ubicada/superpuesta".

3. Impacto Downstream

• Comparación de Generadores: La elección del juez impacta significativamente las conclusiones sobre qué generador es superior. Los jueces más fuertes generalmente coinciden con el consenso humano sobre los defectos prevalentes, mientras que los jueces más débiles a menudo producen rankings espurios o contradictorios.
• Rendimiento de la Línea Base: Los baselines simples (por ejemplo, CLIP zero-shot, solo prompt) operan cerca de cero, confirmando que la señal proviene de la evidencia de múltiples vistas renderizadas combinada con las capacidades de razonamiento del VLM.

Significancia y Reivindicaciones

El artículo sostiene que la evaluación automatizada debe verse como un sistema de medición en lugar de un simple benchmark de modelos. Sus contribuciones principales son:

1. Cambio Metodológico: Demuestra que la fiabilidad de un juez automatizado es una función de todo el pipeline (renderizado, input, prompt, referencia). Optimizar solo el modelo es insuficiente; la "mejor" configuración depende del contexto e interactúa con la elección del modelo.
2. Diagnósticos Granulares: Al pasar de calificaciones holísticas a vectores de defectos binarios más finos, el benchmark proporciona diagnósticos accionables para el desarrollo de generadores y revela categorías específicas donde los jueces tienen éxito o fallan.
3. Calibración frente a la Variabilidad Humana: El estudio destaca que la "verdad fundamental" (ground truth) en la generación 3D es ruidosa y depende de la experiencia del anotador. Los jueces automatizados deben calibrarse a través de diferentes regímenes de referencia humana (expert vs. crowd) para entender su utilidad y limitaciones reales.
4. Defaults Rentables: La investigación identifica una configuración de pipeline específica y de bajo costo (6-vistas RGB + checklist de rúbrica) que ofrece una fuerte relación costo-rendimiento, convirtiéndola en un default viable para la evaluación en producción sin necesidad de renderizado de profundidad/normales costoso o un número excesivo de vistas.

Los autores concluyen que, si bien los VLMs son competitivos con los humanos entrenados, aún no los superan, y su rendimiento está intrínsecamente ligado a cómo se construye la tarea de evaluación y cómo se definen las referencias humanas. El trabajo proporciona un marco general para estudiar jueces automatizados más allá de la generación 3D.