💻 computer science

V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning

Este artículo presenta V-Rubrics, un marco de aprendizaje por refuerzo que mejora la fidelidad visual de los modelos de visión y lenguaje mediante la descomposición de las respuestas en proposiciones atómicas para una calificación estructurada de crédito parcial a través del anclaje visual, el razonamiento y el seguimiento de instrucciones, superando así las limitaciones de las recompensas de resultado escalar.

Autores originales: Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

Publicado 2026-08-27

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shulin Tian, Minglun Li, Yuhao Dong, Hao Ding, Jiarui Yao, Haiwen Diao, Jingkang Yang, Hongyuan Zhu, Ziwei Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un tipo específico de programa informático capaz de mirar una fotografía y describir lo que ve. Estos sistemas, conocidos como modelos de visión y lenguaje, están entrenados para conectar los píxeles de una imagen con las palabras del lenguaje humano. Pueden identificar un perro en un parque, leer un menú en un idioma extranjero o explicar un gráfico complejo. Sin embargo, un problema persistente ha plagado a estos sistemas: a menudo son fluidos pero infieles. Un modelo puede generar una oración perfectamente fluida que suena segura, pero podría estar describiendo un objeto que no está ahí, leyendo mal un número en un gráfico o extrayendo una conclusión que la imagen simplemente no respalda. Para un humano, esto es una alucinación; para la máquina, es un fallo al anclar sus palabras en la realidad visual. El desafío central para los investigadores ha sido cómo enseñar a estas máquinas a ser honestas sobre lo que ven, en lugar de solo ser buenas adivinando la respuesta correcta.

Los investigadores detrás de este estudio abordaron este problema al darse cuenta de que la forma en que actualmente recompensamos a estas máquinas es demasiado tosca. En el entrenamiento estándar, se le muestra a una computadora una imagen y una pregunta, y esta produce una respuesta. Si la respuesta es correcta, el sistema recibe un punto; si es incorrecta, no recibe nada. Este método funciona bien para tareas simples, pero falla cuando el proceso de razonamiento es complejo. Imagine a un estudiante que identifica correctamente los objetos en una foto pero luego comete un error lógico al conectarlos, o un estudiante que obtiene la respuesta final correctamente por pura suerte a pesar de haber leído mal el gráfico. Una simple puntuación de "correcto o incorrecto" no puede distinguir entre estos escenarios. No puede ver que el estudiante vio las cosas correctas pero pensó sobre ellas de manera incorrecta, o que omitió una instrucción específica mientras captaba el punto principal. Sin esta matización, la máquina aprende a priorizar el resultado final sobre la veracidad de los pasos seguidos para llegar a él.

Para resolver esto, el equipo introdujo un nuevo método de entrenamiento que trata la respuesta no como un único bloque de texto, sino como una colección de hechos más pequeños y verificables. Desglosaron la respuesta ideal en una lista de requisitos específicos, o "rúbricas". Para una pregunta sobre un diagrama del sistema solar, la rúbrica no solo pediría la respuesta final. En su lugar, listaría pasos distintos: "¿Identificó el modelo correctamente el sol?", "¿Notó que la luna está en línea recta con la tierra?", "¿Explicó por qué esta alineación causa mareas altas?". Cada uno de estos pasos tiene asignado un peso específico basado en su importancia. El sistema luego verifica la respuesta de la computadora contra cada uno de estos diminutos criterios individualmente. Si el modelo acierta la identificación del objeto pero falla en el paso de razonamiento, recibe crédito parcial por la primera parte y una penalización por la segunda. Esto permite que el proceso de entrenamiento vea exactamente dónde se equivocó la máquina y la recompense por las partes que hizo bien, incluso si la conclusión final fue errónea.

Los investigadores construyeron un conjunto de datos masivo para enseñar a su sistema esta nueva forma de pensar. Reunieron más de 50,000 ejemplos de 17 fuentes canónicas que cubren razonamiento de diagramas, comprensión de gráficos, VQA (preguntas y respuestas visuales) de documentos, razonamiento visual matemático, conteo, preguntas y respuestas educativas y razonamiento visual general. Para cada ejemplo, utilizaron un potente modelo de lenguaje para generar estas rúbricas detalladas, convirtiendo un simple par de pregunta-respuesta en un plan de lecciones estructurado. Luego entrenaron su modelo de visión utilizando una técnica llamada aprendizaje por refuerzo, donde la computadora desempeña el papel de un estudiante que intenta mejorar. En lugar de esperar una calificación final, el estudiante recibe retroalimentación inmediata sobre cada oración que escribe. Si describe un elemento visual con precisión, gana puntos. Si alucina un detalle o se salta un paso lógico, pierde puntos. Crucialmente, el sistema aprende a asociar estos puntos con la parte específica del texto donde ocurrió la acción, aunque esta localización es aproximada y depende de una coincidencia difusa para alinear la retroalimentación con la respuesta, de modo que sabe qué palabras mantener y cuáles cambiar.

Los resultados de este enfoque fueron significativos, particularmente para tareas que requieren una observación cuidadosa y deducción lógica. Cuando se probaron en una amplia gama de evaluaciones comparativas, el modelo entrenado con estas rúbricas detalladas superó tanto a la versión estándar como a una versión entrenada solo con respuestas finales. La mejora fue más notable en áreas como las matemáticas visuales y el análisis de gráficos, donde una sola afirmación no respaldada puede arruinar toda la solución. En estas pruebas, el modelo entrenado con rúbricas fue mejor preservando la cadena de razonamiento, asegurando que cada conclusión estuviera respaldada por evidencia visible en la imagen. Aprendió a evitar la trampa de adivinar la respuesta correcta por las razones equivocadas. El estudio sugiere que, al desglosar el concepto de "corrección" en piezas más pequeñas y verificables, podemos guiar a la inteligencia artificial hacia una comprensión más fiable y veraz del mundo visual, yendo más allá de la simple fluidez hacia una comprensión genuina.

Resumen Técnico: V-Rubrics: Fidelidad Visual mediante Aprendizaje por Refuerzo Basado en Rúbricas

Planteamiento del Problema

Los modelos de lenguaje visual (VLM) generan con frecuencia respuestas fluidas que carecen de un fundamento suficiente en la evidencia visual. Un único objeto no sustentado, un valor de gráfico incorrecto o una inferencia intermedia inválida pueden socavar una respuesta que, de otro modo, sería plausible. Los autores identifican esto no meramente como un fallo de evaluación, sino como un probleente de asignación de crédito en el post-entrenamiento multimodal.

Los procesos estándar de alineación mediante aprendizaje por refuerzo (RL) suelen reducir una respuesta a una recompensa de resultado escalar (por ejemplo, corrección binaria o una puntuación de juez holística). Si bien esto es efectivo para tareas con respuestas directamente verificables, estas recompensas escalares fallan en escenarios de razonamiento visual donde una respuesta puede contener una mezcla de observaciones correctas, inferencias inválidas y cumplimiento de instrucciones. Una única señal de resultado no puede distinguir qué hechos visuales están fundamentados, qué pasos de razonamiento son válidos o qué restricciones de instrucción se han omitido. En consecuencia, el modelo no puede aprender a corregir errores locales específicos sin potencialmente sacrificar la corrección global.

Metodología

El artículo propone V-Rubrics (Aprendizaje por Refuerzo Basado en Rúbricas Visuales), un marco que descompone las respuestas de referencia en proposiciones atómicas para proporcionar una supervisión estructurada y detallada.

1. Construcción del Conjunto de Datos V-Rubrics 50K

Para respaldar este marco, los autores construyeron V-Rubrics 50K, un conjunto de entrenamiento de 50,248 ejemplos derivados de 17 fuentes visualmente fundamentadas (incluyendo razonamiento de diagramas, comprensión de gráficos, VQA de documentos y razonamiento matemático visual).

Filtrado de Datos: Las fuentes se sometieron a un filtrado basado en reglas para asegurar validez, no trivialidad y calidad del lenguaje.
Estratificación de Dificultad: Una política ajustada ( $\pi_{SFT}$ ) generó ocho ejecuciones (rollouts) por ejemplo. La tasa de éxito empírica ( $k/8$ ) se utilizó para asignar etiquetas de dificultad (Difícil, Medio, Simple), resultando en una mezcla estratificada de 36.1% de ejemplos difíciles, 50.4% medios y 13.6% simples.
Anotación de Rúbricas: Cada ejemplo fue anotado por Gemini-3-Pro utilizando un prompt estructurado para descomponer la respuesta de referencia en criterios atómicos a través de tres dimensiones:
- Fidelidad Visual (VF): Verifica si el contenido declarado está respaldado por evidencia de la imagen (objetos, atributos, relaciones, conteos, texto).
- Consistencia de Razonamiento (RC): Verifica si las conclusiones siguen lógicamente de la evidencia visual observada.
- Cumplimiento de Instrucciones (IF): Verifica si la respuesta satisface las restricciones del prompt.
Ponderación: Los criterios se asignan pesos de importancia (Esencial, Importante, Opcional, Trampa/Pitfall) y pesos numéricos para determinar su contribución a la recompensa.

2. Marco de Entrenamiento

El flujo de entrenamiento utiliza Optimización de Política Relativa de Grupo (GRPO) partiendo de un punto de control de ajuste fino supervisado (SFT) de Qwen3-VL-8B-Instruct, adaptado de la receta de arranque en frío (cold-start) de OpenMMReasoner.

Diseño de Recompensa:
- Recompensa de Rúbrica ( $R_{rub}$ ): Un verificador de LLM califica independientemente cada criterio atómico como satisfecho (1) o no (0). Crucialmente, el verificador recibe la respuesta generada y el texto del criterio, no la imagen original. Los criterios positivos proporcionan crédito parcial ponderado por importancia. Una violación de tipo "Trampa" actúa como un veto semántico.
- Recompensa Híbrida: La recompensa final combina la señal de la rúbrica con una recompensa estándar a nivel de respuesta ( $R_{ans}$ ) utilizando un factor de ponderación $\alpha$ : $R = \alpha R_{ans} + (1-\alpha) R_{rub}$ .
Crédito Localizado por Prefijo:
- A diferencia del GRPO estándar que asigna una única ventaja a toda la secuencia, V-Rubrics localiza las ventajas.
- Cuando un verificador identifica un intervalo de evidencia de soporte para un criterio de la rúbrica específico, la ventaja para ese ítem se transmite únicamente a los tokens de la respuesta hasta el final de dicho intervalo ( $t_{j,end}$ ).
- La ventaja total $A_t$ en el token $t$ es la suma de la ventaja global de la respuesta y las ventajas de la rúbrica enmascaradas por prefijo:
  $A_t = \alpha z(R_{ans}) + (1-\alpha) \sum_{j} \rho_j z(s_j) \mathbb{I}(t \le t_{j,end})$
- Esto permite que el modelo reciba crédito por pasos intermedios fundamentados incluso si la respuesta final es incorrecta, y penalice alucinaciones específicas sin colapsar el gradiente de toda la secuencia.

Contribuciones Clave

Formulación de la Fidelidad Visual como un Problema de Asignación de Crédito: El artículo redefine el fundamento visual de un diagnóstico post-hoc a una interfaz de entrenamiento estructurada. Introduce un método para preservar los componentes de la rúbrica a nivel de ítem y localizar sus ventajas a los prefijos de la respuesta cuando existen intervalos de evidencia.
Recurso V-Rubrics 50K: La creación de un conjunto de datos de 50,248 ejemplos que convierte las respuestas de referencia en criterios atómicos visualmente fundamentados con dimensiones de capacidad explícitas (VF, RC, IF) y pesos de importancia.
Validación Empírica de GRPO Basado en Rúbricas: El estudio demuestra que el GRPO basado en rúbricas supera tanto al baseline de SFT compartido como al GRPO de solo respuesta escalar. Las mejoras son más pronunciadas en benchmarks que requieren razonamiento intermedio fundamentado.

Resultados Experimentales

Los autores evaluaron su enfoque en 10 familias de benchmarks que cubren capacidad general de VLM, razonamiento orientado al conocimiento, matemáticas visuales, razonamiento de gráficos y lógica.

Benchmarks Generales y de Conocimiento: El GRPO basado en rúbricas alcanzó un Promedio General de 68.04, superando al baseline de SFT (64.93) y al GRPO de solo respuesta escalar (66.25). Las ganancias fueron particularmente significativas en MMMU y MMMU-Pro, sugiriendo que las rúbricas ayudan al razonamiento académico de múltiples pasos.
Matemáticas Visuales y Lógica: En tareas de razonamiento visual (MathVision, DynaMath, WeMath, LogicVista), el modelo basado en rúbricas mejoró el Promedio General en 4.00 puntos respecto al baseline de SFT (62.45 vs. 58.45), superando la variante de GRPO escalar (61.94).
Estudios de Ablación: Al comparar los diseños de recompensa, se observó que el crédito localizado por prefijo y por componente (68.04) superó la agregación escalar de la rúbrica a nivel de secuencia (67.74), confirmando que localizar el crédito a pasos de razonamiento específicos es más efectivo que agregar puntuaciones de rúbrica al nivel de la secuencia.
Análisis Cualitativo: Los estudios de caso mostraron que los modelos entrenados con rúbricas fueron mejores preservando los pasos de razonamiento intermedio (por ejemplo, trazando explícitamente segmentos de un gráfico antes de responder) y evitando inferencias no sustentadas en comparación con los modelos entrenados solo con la respuesta.

Significancia y Reivindicaciones

El artículo sostiene que las rúbricas sirven como una útil abstracción de recompensa para el post-entrenamiento visual. Al descomponer las respuestas en proposiciones atómicas visualmente fundamentadas, el marco aborda el "fallo de asignación de crédito" inherente a las recompensas escalares.

Los autores argumentan que el futuro post-entrenamiento de los VLM debería tratar el fundamento visual no solo como una métrica de evaluación, sino como una interfaz de entrenamiento estructurada que exponga explícitamente dónde tiene éxito o falla el razonamiento. Los resultados sugieren que preservar los juicios a nivel de ítem y localizar el crédito a prefijos de respuesta específicos permite que los modelos aprendan de éxitos y fallos parciales, conduciendo a capacidades de razonamiento visual más robustas, particularmente en tareas complejas de múltiples pasos.

El artículo mantiene la modestia respecto a sus limitaciones, reconociendo que el conjunto de datos depende de rúbricas generadas automáticamente y de la verificación de modelos jueces, lo que puede introducir sesgos o sesgo de la respuesta de referencia. Además, la localización del crédito por prefijo es una aproximación basada en el emparejamiento difuso (fuzzy matching) de oraciones del verificador, en lugar de una supervisión exacta a nivel de token.