🤖 machine learning

Judging to Improve: A De-biased VLM-as-3D-Judge Protocol for Single-Image 3D Generation

Este artículo introduce un protocolo de desesgado de grado de optimización de VLM-como-juez-3D que endurece rigurosamente la evaluación contra modos de falla para probar si la adaptación ligera y eficiente en parámetros puede mejorar un fuerte generador 3D de código abierto, encontrando finalmente que, si bien el protocolo es reutilizable e informativo, los métodos actuales de adaptación económica en datos públicos solo logran paridad con el modelo base en lugar de excederlo.

Autores originales: Ali Asaria, Tony Salomone, Deep Gandhi

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ali Asaria, Tony Salomone, Deep Gandhi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un artista talentoso (un programa informático llamado TRELLIS) a dibujar mejor muebles en 3D. El artista ya es muy bueno, pero quieres que mejore aún más haciendo sillas y mesas, y quieres hacerlo sin contratar a un profesor humano para que califique cada dibujo.

Para resolver esto, los investigadores construyeron un Robot Juez (un Modelo de Visión-Lenguaje) para actuar como el profesor. Este artículo es la historia de cómo intentaron usar a este Robot Juez para entrenar al artista, y las cosas sorprendentes que aprendieron en el camino.

Aquí está el desgño de su viaje, utilizando analogías sencillas:

1. El Problema: El "Profesor Robot" es Complicado

En un estudio previo, el equipo demostró que un Robot Juez es mejor calificando muebles 3D que las simples fórmulas matemáticas o los verificadores de imágenes básicos. Pero había un gran inconveniente: no puedes simplemente pedirle al Robot que califique al estudiante y luego usar ese mismo Robot para enseñar al estudiante.

Si haces eso, el estudiante podría simplemente aprender a "engañar" al Robot. Podría aprender a dibujar cosas que le gustan al Robot, incluso si el dibujo es en realidad malo. Es como un estudiante que se memoriza la clave de respuestas de un examen específico en lugar de aprender realmente la materia.

2. La Solución: El Protocolo de "Doble Ciego"

Para solucionar esto, los investigadores construyeron un sistema de entrenamiento súper estricto con tres reglas principales:

Dos Jueces Diferentes: Utilizaron un Robot (llamémoslo Qwen) para calificar al estudiante durante el entrenamiento, y un Robot completamente diferente (Intern) para calificar los resultados finales. Esto asegura que el estudiante no esté simplemente memorizando las peculiaridades de Qwen.
La Prueba de "Intercambio": Los robots a veces se confunden con el orden de las cosas. Si les muestras la Imagen A y luego la Imagen B, podrían elegir la A. Si muestras la B y luego la A, podrían elegir la B. Para solucionar esto, los investigadores mostraron las imágenes en ambos órdenes. Si el Robot cambiaba de opinión solo porque el orden cambió, descartaban esa calificación. Solo conservaron las calificaciones donde el Robot era consistente.
El Truco del "Mapa de Normales": A veces, un modelo 3D se ve suave y bonito por fuera (como una foto brillante), pero tiene agujeros o partes rotas por dentro. El Robot se dejaba engañar por estos modelos "bonitos pero rotos". Los investigadores solucionaron esto obligando al Robot a mirar una "vista de plano" (un montaje de mapas de normales) que revela las fallas estructurales, haciendo imposible ocultar la geometría rota.

3. El Gran Descubrimiento: La Señal Faltaba

Antes de comenzar el entrenamiento, se dieron cuenta de algo importante: no puedes enseñar a un robot a preferir una cosa sobre otra si las dos cosas son básicamente iguales.

Intentaron que el Robot juzgara dos dibujos aleatorios hechos por el mismo artista. El Robot no podía notar la diferencia (cambió su elección el 94% de las veces). Era como pedirle a un experto en vinos que distinguiera entre dos copas del mismo tipo de vino. No había una "señal" de la cual aprender.

Así que diseñaron la señal: le mostraron al Robot un dibujo perfecto (hecho con mucha potencia de cómputo) y un dibujo malo (hecho rápidamente). El Robot podía notar fácilmente la diferencia. Utilizaron este vacío de "Bueno vs. Malo" para enseñar al artista cómo hacer que los "Malos" se parecieran más a los "Buenos".

4. Los Resultados: El Artista Chocó contra un Muro

Intentaron seis formas diferentes de enseñar al artista utilizando este estricto sistema de Robot Juez. Probaron con imágenes limpias y con imágenes borrosas, recortadas o dañadas.

El resultado fue sorprendente:

En Imágenes Limpias: El artista ya era tan bueno que el Robot no podía notar la diferencia entre la versión original y la versión "entrenada". El artista ya había alcanzado el techo.
En Imágenes Dañadas: Los investigadores intentaron mejorar la capacidad del artista para manejar entradas malas.
- La mayoría de los métodos fallaron por completo. El artista no mejoró.
- Un método específico (arreglar el "condicionador de entrada") funcionó, pero solo hasta cierto punto. Logró elevar el rendimiento del artista al nivel del artista original (un "empate"), pero no pudo hacer que el artista fuera mejor que el original.

5. ¿Por qué solo empataron?

Los investigadores encontraron una razón mecánica para este "empate":

El Efecto de "Lavado": Cuando intentaron ajustar el cerebro interno del artista (la parte "flow-DIT"), los cambios fueron tan pequeños que, para cuando se generaba el modelo 3D de la silla, los cambios se habían desvanecido. Era como intentar dirigir un barco enorme empujando el timón con el dedo; el barco no se mueve.
El Cuello de Botella: El único lugar que realmente movió la aguja fue arreglar los "ojos" (el condicionador de entrada). Cuando la imagen de entrada era terrible, los ojos del artista se confundían. Arreglar los ojos ayudó, pero solo lo suficiente para alcanzar al artista original, no para superarlo.

La Conclusión Final

Lo más importante que produjo este artículo no es un nuevo modelo 3D súper avanzado. Es el "Protocolo" (las reglas estrictas para usar al Robot Juez).

Demostraron que:

Se necesita un sistema de doble ciego muy estricto para usar jueces de IA para el entrenamiento.
Si solo usas datos públicos y métodos de entrenamiento baratos, puedes igualar a una IA fuerte existente, pero probablemente no podrás superarla. Para exceder realmente a los mejores, probablemente necesites más datos o un entrenamiento más costoso.

En resumen: construyeron una mejor regla para medir el arte 3D, la usaron para intentar mejorar a un artista y descubrieron que, si bien el artista podía ser reparado para ser tan bueno como antes, las herramientas "baratas" no eran suficientes para convertirlo en un genio.

Resumen Técnico: Juzgar para Mejorar: Un protocolo de VLM-como-Juez de-sesgado para la generación de 3D de imagen única

Planteamiento del Problema

El artículo aborda el desafío de especializar un fuerte generador de código abierto de imagen única a 3D (TRELLIS) para una clase de activos específica (muebles) sin etiquetas humanas. Mientras que un estudio complementario estableció que la especialización 3D sin etiquetas requiere un juez de Visión-Lenguaje (VLM) de-sesgado en lugar de proxies baratos de geometría o CLIP, este trabajo investiga si las preferencias de dicho juez pueden utilizarse como una señal de entrenamiento para optimizar el generador. La dificultad central radica en evitar la circularidad: optimizar un generador contra un juez específico y luego evaluarlo con el mismo juez a menudo lleva al modelo a aprender los caprichos del juez en lugar de mejoras genuinas de calidad. Además, los autores señalan que las muestras independientes de un modelo base fuerte a menudo no portan ninguna señal de preferencia aprendible, lo que hace que la construcción de un objetivo de entrenamiento válido sea no trivial.

Metodología

La investigación se estructura en torno a dos componentes primarios: un protocolo de evaluación endurecido y un estudio de especialización.

1. El protocolo de VLM-como-Juez de-sesgado de grado de optimización
Para garantizar resultados confiables en un bucle de optimización, los autores extienden el protocolo de clasificación complementario con tres medidas de endurecimiento críticas:

Independencia entre modelos: El juez de entrenamiento (Qwen2.5-VL-7B) y el juez de evaluación (InternVL3-8B) son modelos estrictamente distintos. Esto evita que el generador se sobreajuste a los sesgos específicos de una sola familia de modelos.
Corrección del sesgo de posición: Para cada comparación por pares, el juez es consultado en ambos órdenes (A vs. B y B vs. A). Los veredictos solo se conservan si son consistentes tras el intercambio; los veredictos inconsistentes se descartan como sesgados por posición.
Mitigación de modos de falla: El protocolo aborda tres modos de falla específicos expuestos únicamente al presionar a un VLM en un bucle de optimización:
- Sobrecarga de imágenes: Mostrar múltiples vistas (por ejemplo, 7 imágenes) hace que el juez responda basándose en la posición en lugar de la calidad. Solución: Utilizar una configuración estricta de dos imágenes y una sola comparación.
- Geometría oculta por Splat: Los renders de Gaussian-splat pueden enmascarar defectos geométricos. Solución: Renderizar vistas de mapas de normales de malla como un montaje de 2x2 para que los huecos y las partes faltantes sean inequívocos.
- Referencia ausente "Limpio-pero-Incorrecto": Sin una referencia, los jueces pueden preferir salidas limpias pero incorrectas. Solución: Confiar en una calibración de brecha de calidad clara y en la cobertura de montajes para asegurar que el juez rastree la calidad real.

2. Estudio de Especialización
Utilizando el protocolo endurecido como un evaluador independiente, los autores probaron seis métodos de adaptación en TRELLIS utilizando únicamente datos públicos y ajuste fino eficiente en parámetros (PEFT) ligero:

Métodos: SFT-sobre-lo-mejor (SFT-on-best), DPO (en $\beta=0.1$ y $\beta=0.5$ ), ORPO, SFT-sobre-lo-limpio (SFT-on-clean) y un adaptador de reparación de condicionador (entrenar un adaptador residual sobre características DINOv2 para mapear entradas degradadas a características limpias).
Regímenes: "Limpio" (renders de 3D-Muebles in-distribución) y "Fuertemente degradado" (recorte sintético, oclusión, reducción de escala y desenfoque).
Ingeniería de Señal: Dado que las muestras independientes del modelo base mostraron una tasa de inversión de orden de 0.94 (sin señal aprendible), los autores diseñaron una señal de preferencia emparejando muestras de alto presupuesto (2pasos 25) contra muestras deliberadamente degradadas de baja calidad (2 pasos).

Resultados Clave

El estudio encontró que la adaptación ligera sobre datos públicos iguala al fuerte modelo base pero no lo supera.

Señal de Preferencia: Las muestras independientes del modelo base no portan una preferencia aprendible (tasa de inversión de 0.94), mientras que la construcción contrastiva (alta calidad vs. degradado) produce una señal fuerte (tasa de victoria de 0.89 para la muestra de alto presupuesto).
Desempeño: A través de seis métodos, dos regímenes de entrada y un barrido de severidad, ningún método alcanzó la tasa de victoria objetivo de $\geq 0.65$ $\geq 0.65$ contra el modelo base.
- Régimen Limpio: Todos los métodos resultaron en una tasa de victoria de 0.00. El modelo base ya está saturado en datos in-distribución.
- Régimen Difícil: La mayoría de los métodos (SFT, DPO, ORPO) también resultaron en tasas de victoria de 0.00.
- Reparación del Condicionador: Este fue el único método que mostró una tendencia monotónica con la severidad de la degradación. Alcanzó una tasa de victoria de 0.125 (leve), 0.25 (medio) y 0.50 (severo), logrando la paridad con el base bajo degradación severa, pero sin lograr superarlo.
Análisis Mecanicista:
- Saturación: Las entradas limpias ya están en el límite de la capacidad de discernimiento del juez para el modelo base.
- Lavado del Sampler (Sampler Wash-out): El ajuste fino del flow-DIT (transformador latente) converge matemáticamente, pero las actualizaciones se "lavan" a través del muestreador de flujo rectificado, resultando en un cambio geomético cero ( $\Delta = 0$ ).
- Cuello de botella del Condicionador: El condicionamiento de la imagen (características DINOv2) es el lugar donde se estanca la calidad para las entradas degradadas. Reparar estas características mueve la geometría, pero solo lo suficiente para alcanzar la paridad, no para exceder al base.

Significación y Reivindicaciones

La contribución principal del artículo es primero el protocolo, no el modelo. Los autores afirman que el "protocolo de VLM-como-Juez de-sesgado de grado de optimización" es el artefacto reutilizable. Proporciona un marco de evaluación confiable y libre de humanos que expone modos de falla específicos (sobrecarga de imágenes, geometría oculta por splat) y asegura la generalización entre modelos.

Respecto a los resultados de especialización, el artículo hace una afirmación modesta: igualar un fuerte base de datos público con una adaptación ligera in-dominio es, en sí mismo, un resultado informativo. El hallazgo de que la adaptación PEFT ligera sobre datos públicos alcanza la paridad pero no puede superar al base sugiere que:

El modelo base ya ha capturado gran parte de la distribución pública de muebles.
Superar al base probablemente requiere más que una adaptación ligera sobre datos públicos (por ejemplo, datos con licencia, adaptadores más grandes o ajuste fino completo).
La "sensibilidad de brecha" que hace que el juez sea confiable también revela que no hay "espacio barato" para la mejora sobre el modelo base dadas las restricciones actuales.

El trabajo cierra el ciclo del estudio complementario: si bien un juez de-sesgado es necesario para evaluar la generación 3D, la misma sensibilidad que hace que el juez sea confiable también indica que los bases abiertos fuertes son difíciles de mejorar sin recursos significativos o datos más allá del dominio público.