STRIVE: Structured Spatiotemporal Exploration for Reinforcement Learning in Video Question Answering

Resumen Técnico: STRIVE

1. El Problema: El Colapso de la Ventaja en RL Multimodal

El trabajo aborda una limitación crítica en la optimización de políticas de aprendizaje por refuerzo (RL) para modelos multimodales grandes (LMMs) aplicados a la respuesta de preguntas sobre video (VQA).

• Contexto: Métodos recientes como GRPO (Group Relative Policy Optimization) mejoran el razonamiento generando múltiples respuestas textuales para una misma entrada y calculando ventajas relativas dentro del grupo.
• La Limitación: En tareas de video, si las respuestas generadas para una entrada fija son uniformemente correctas o incorrectas, la varianza de la recompensa dentro del grupo tiende a cero.
• Consecuencia: Cuando la varianza es cero, las estimaciones de ventaja (necesarias para actualizar la política) colapsan o se vuelven inestables (división por cero o valores extremos). Esto detiene el aprendizaje o introduce ruido.
• Causa Raíz: Los métodos actuales diversifican solo el espacio de salida (texto), tratando el video de entrada como fijo. Ignoran la rica estructura espaciotemporal del video, que ofrece múltiples perspectivas válidas para el razonamiento.

2. Metodología: El Marco STRIVE

STRIVE (SpatioTemporal Reinforcement with Importance-aware Variant Exploration) propone un cambio conceptual: mover la diversidad del espacio de salida al espacio de entrada.

A. Doble Agrupación (Dual-Grouping Paradigm)
En lugar de generar $G$ respuestas textuales para un único video, STRIVE construye un espacio de optimización conjunto de dimensiones $G \times M$:

1. Variación Visual: Se aplican $M$ transformaciones al video de entrada para crear variantes espaciotemporales ($\tilde{v}_i$).
2. Generación Textual: Para cada variante visual, el modelo genera $G$ respuestas textuales.
3. Normalización Conjunta: Las recompensas se normalizan sobre todo el grupo de $G \times M$ respuestas. Esto asegura que la varianza de la recompensa se mantenga alta y positiva, evitando el colapso de la ventaja, incluso si las respuestas textuales son similares, porque las entradas visuales son distintas.

B. Construcción de Variantes con Muestreo Consciente de la Importancia
Para que la diversidad visual sea semánticamente útil y no solo ruido aleatorio, STRIVE introduce un mecanismo de muestreo inteligente:

• Puntuación de Relevancia: Se calcula una puntuación de relevancia por cuadro ($s_f$) basada en la similitud de incrustaciones (embeddings) cruzadas entre el cuadro del video y la pregunta.
• Muestreo Temático: El video se divide en segmentos temporales. En lugar de seleccionar determinísticamente el cuadro más relevante (lo que reduciría la diversidad), se utiliza un muestreo softmax escalado por temperatura ($\tau$).
  • Esto permite una exploración estructurada: prioriza cuadros semánticamente alineados con la pregunta pero mantiene la cobertura temporal global y la diversidad estocástica necesaria para el aprendizaje.

C. Regularización Implícita de Consistencia
Al evaluar las respuestas textuales contra la media global de todas las variantes visuales, STRIVE actúa como un regularizador de consistencia. El modelo se ve obligado a generar respuestas que sean robustas ante diferentes perspectivas visuales válidas, evitando depender de priores lingüísticos espurios y anclando su razonamiento en la evidencia visual subyacente.

3. Contribuciones Clave

1. Resolución del Cuello de Botella de Ventaja Cero: Propone una solución estructural (variación de entrada) en lugar de heurística (modificación de la función de pérdida) para mantener la varianza de la recompensa en tareas de video.
2. Exploración Espaciotemporal Estructurada: Introduce un mecanismo que combina perturbaciones visuales sistemáticas con una guía semántica basada en la pregunta, equilibrando la exploración y la explotación.
3. Marco Generalizable: STRIVE no es un algoritmo de RL nuevo, sino una estrategia de construcción de variantes que se puede integrar en cualquier optimizador de política basado en grupos (como GRPO o Dr.GRPO).

4. Resultados Experimentales

Los autores evaluaron STRIVE en seis benchmarks desafiantes de razonamiento en video (VideoMME, TempCompass, VideoMMMU, MMVU, VSI-Bench, PerceptionTest) utilizando modelos base como Qwen2.5-VL-7B y Qwen3-VL-8B.

• Rendimiento Superior: STRIVE superó consistentemente a los baselines de RL fuertes (incluyendo GRPO estándar, ArrowRL y Video-R1).
  • En Qwen2.5-VL-7B, STRIVE logró un promedio de 59.8 frente a 59.0 de GRPO.
  • En Qwen3-VL-8B, STRIVE alcanzó 65.2 frente a 64.3 de GRPO, evitando las caídas de rendimiento observadas en el baseline estándar en benchmarks específicos.
• Estabilidad del Entrenamiento: El análisis empírico mostró que STRIVE mantiene una desviación estándar de recompensa saludable durante todo el entrenamiento, mientras que GRPO sufre de colapso de varianza y gradientes inestables (picos en la norma del gradiente).
• Análisis de Ablación:
  • La estrategia de agrupación basada en importancia (similitud cruzada) fue superior a la agrupación determinista o estocástica pura.
  • La combinación de selección temporal guiada por la pregunta con aumentos espaciales (jitter de color, transformaciones afines) mejoró el razonamiento espacial.
  • Una configuración balanceada de $M=2$ variantes visuales y $G=4$ generaciones textuales (manteniendo el mismo presupuesto computacional que $M=1, G=8$) resultó óptima.

5. Significado e Impacto

El trabajo de STRIVE es significativo porque establece que la exploración estructurada en el espacio de entrada es fundamental para estabilizar el aprendizaje por refuerzo en modelos multimodales complejos.

• Demuestra que tratar el video como una entrada estática limita el potencial de los algoritmos de RL modernos.
• Proporciona un mecanismo principiado para mejorar el razonamiento multimodal sin requerir anotaciones humanas adicionales, simplemente reestructurando cómo se presentan los datos al modelo durante el entrenamiento.
• Ofrece una vía escalable para mejorar modelos de visión-lingüística en tareas que requieren una comprensión fina del tiempo y el espacio, superando las limitaciones de los enfoques puramente textuales o de aumento de datos aleatorios.

En resumen, STRIVE transforma la inestabilidad inherente del RL en video en una ventaja, utilizando la diversidad visual controlada para guiar al modelo hacia un razonamiento más robusto y semánticamente fundamentado.