Resumen Técnico: Modelado de Recompensas para la Comprensión de Video

Declaración del Problema

A pesar de los avances significativos en el modelado de recompensas multimodales (MRM) para los dominios de texto e imagen, el progreso en el modelado de recompensas para la comprensión de video sigue estando severamente restringido. El campo enfrenta dos cuellos de botella fundamentales:

1. Falta de Puntos de Referencia Robustos: Los puntos de referencia existentes (por ejemplo, MM-RLHF-RewardBench, VideoRewardBench) sufren de una escala limitada, una cobertura insuficiente de dimensiones específicas del video (tareas generales, de larga duración y de razonamiento) y protocolos de evaluación poco fiables. Crucialmente, a menudo carecen de trazas de razonamiento Cadena de Pensamiento (CoT), con longitudes de respuesta promedio tan cortas como 104 tokens, lo que no se alinea con el paradigma "pensar-antes-de-responder" requerido para la comprensión compleja de video. Además, los protocolos de evaluación de un solo paso son altamente susceptibles al sesgo de posición.
2. Escasez de Datos de Preferencia de Alta Calidad: Si bien el aprendizaje de preferencias ha avanzado para la generación de video, los datos de preferencia de alta calidad y a gran escala para la comprensión de video son escasos debido a los altos costos de anotación y la complejidad de construcción. Los modelos existentes entrenados con datos de texto o texto-imagen no logran transferirse eficazmente a tareas de recompensa de video, a menudo funcionando apenas por encima de las líneas base aleatorias.

Metodología

Los autores proponen un marco unificado que aborda el diseño de puntos de referencia, la construcción de datos y el entrenamiento de modelos de recompensa.

1. Video Understanding Reward Bench (VURB)

Un nuevo punto de referencia diseñado específicamente para el juicio de preferencias en la comprensión de video, que presenta:

• Escala y Alcance: 2.100 pares de preferencias que abarcan tres dimensiones: Comprensión General de Video, Comprensión de Video de Larga Duración y Razonamiento de Video.
• Razonamiento CoT de Larga Duración: Todas las respuestas de preferencia incluyen trazas de razonamiento largas, con un promedio de 1.143 tokens, asegurando un contexto lógico rico.
• Evaluación Robusta: Emplea un protocolo de Votación Mayoritaria (N=8) donde el orden de las respuestas seleccionadas/rechazadas se intercambia aleatoriamente para mitigar el sesgo de posición.
• Calidad de los Datos: Las respuestas son generadas por cinco modelos multimodales diversos (incluyendo variantes de Qwen3VL y Gemini) y filtradas mediante un proceso de dos etapas:
  • Consistencia de Longitud: Filtra pares con diferencias de longitud relativas >25% para evitar el hackeo de recompensas basado en la verbosidad.
  • Consistencia Causal: Expertos humanos verifican que el razonamiento apoye lógicamente la respuesta final, eliminando casos donde la respuesta es correcta pero el razonamiento es defectuoso (o viceversa).

2. Video Understanding Preference Dataset (VUP-35K)

Para abordar la escasez de datos, los autores construyen un conjunto de datos a gran escala de 35.000 pares de preferencias de alta calidad mediante una tubería completamente automatizada, sin anotadores humanos:

• Generación: Los prompts de puntos de referencia existentes (por ejemplo, Video-R1-CoT, Video-Holmes) se ejecutan utilizando modelos candidatos.
• Verificación: Un LLM (Qwen3-4B) verifica la corrección de la respuesta final frente a la verdad fundamental.
• Estrategia de Aumento: Para superar el problema de que los modelos respondan correctamente a la mayoría de las muestras (lo que lleva a una falta de muestras negativas), los autores introducen una estrategia de perturbación visual aleatoria. Durante la ejecución, las entradas de video se degradan (por ejemplo, reducción de cuadros, reducción de resolución, dropout) para forzar a los modelos a producir respuestas incorrectas, enriqueciendo así la diversidad de fallos de razonamiento.
• Corpus Final: VUP-35K se combina con 213K pares de preferencias generales de texto-imagen para formar un conjunto de entrenamiento de 245K.

3. Modelos de Recompensa: VideoDRM y VideoGRM

Dos modelos de recompensa distintos se entrenan con los datos construidos:

• VideoDRM (Discriminativo): Un modelo de recompensa estándar donde la cabeza del modelo de lenguaje se reemplaza con una cabeza de puntuación escalar. Se entrena utilizando una pérdida de clasificación Bradley-Terry para maximizar el margen entre las respuestas seleccionadas y rechazadas.
• VideoGRM (Generativo): Un modelo generativo entrenado mediante Optimización de Política Relativa de Grupo (GRPO). Produce tanto una decisión de preferencia como una traza de razonamiento interpretable. Se optimiza utilizando una señal de recompensa binaria (1.0 para la identificación correcta de la respuesta seleccionada, 0.0 en caso contrario).

Resultados Clave

Rendimiento en VURB

• Fallo de la Línea Base: Los modelos de código abierto existentes (incluyendo modelos especializados como R1-Reward y LLaVA-Critic-R1) tienen un rendimiento deficiente en VURB, con la mayoría cayendo por debajo del 55% de precisión (apenas por encima de la línea base aleatoria del 50%). Los modelos propietarios como GPT-5.2 alcanzan ~62,9%.
• Modelos Propuestos:
  • VideoDRM alcanza una precisión general de última generación (SOTA) del 63,8%, superando a GPT-5.2 y a las variantes más grandes de Qwen3VL.
  • VideoGRM alcanza un 59,3%, surgiendo como el modelo de recompensa generativo de código abierto principal, superando a Qwen3VL-32B-Thinking en un 5,0%.

Generalización a VideoRewardBench

Ambos modelos alcanzan un rendimiento SOTA en el independiente VideoRewardBench:

• VideoDRM: 64,7% de precisión general.
• VideoGRM: 64,6% de precisión general.
• Ambos modelos superan a las líneas base propietarias de alto nivel (por ejemplo, Gemini-2.5-Pro con 63,6%) y a modelos de código abierto significativamente más grandes (por ejemplo, LLaVA-Critic-72B con 63,0%).

Escalado en Tiempo de Prueba (Best-of-N)

Bajo la evaluación Best-of-N en Video-Holmes y VideoMME:

• Tanto VideoDRM como VideoGRM proporcionan ganancias significativas sobre las líneas base Self-Judge y Majority-of-N.
• Con N=8, VideoDRM alcanza una precisión del 49,70% (vs. 40,17% de la línea base), demostrando su utilidad como señales de recompensa confiables en tiempo de prueba para la reordenación.

Estudios de Ablación

• Impacto de VUP-35K: Incorporar solo VUP-35K mejora la precisión del modelo base de 52,4% a 62,5% en VURB, confirmando que los datos de preferencia específicos de video son críticos.
• Capacidad de Razonamiento: El entrenamiento de recompensa generativa solo con VUP-35K mejora el rendimiento de comprensión de video aguas abajo en puntos de referencia como Video-Holmes (+6,6% de precisión), lo que indica que el conjunto de datos mejora las capacidades de razonamiento inherentes del modelo, no solo su juicio de recompensa.

Significado y Afirmaciones

El artículo afirma que la ausencia de datos de preferencia especializados para la comprensión de video y de puntos de referencia robustos ha sido el principal cuello de botella para el modelado de recompensas de video. Al introducir VURB y VUP-35K, los autores demuestran que:

1. La Especificidad del Dominio es Crucial: Los modelos entrenados con datos de texto o texto-imagen no pueden transferirse eficazmente a tareas de recompensa de video; los datos de preferencia de video dedicados son esenciales.
2. CoT y Evaluación Robusta Importan: Las trazas de razonamiento largas y los protocolos de votación mayoritaria son necesarios para exponer las verdaderas limitaciones de los modelos actuales y garantizar una evaluación confiable.
3. Éxito del Paradigma Dual: Tanto los paradigmas de entrenamiento discriminativo como generativo son efectivos para el modelado de recompensas de video, con los modelos propuestos estableciendo nuevos estándares de rendimiento.
4. Fundamento para Sistemas Confiables: El trabajo proporciona una base sólida para futuras investigaciones en sistemas multimodales confiables, destacando el papel crítico de los datos especializados y las estrategias de entrenamiento en el avance de la comprensión de video.