Resumen Técnico: MARC – Compresión de Tokens de RL con Aumento de Memoria para la Comprensión Eficiente de Vídeo

Declaración del Problema

Los Modelos de Lenguaje Visual (VLMs) enfrentan cuellos de botella computacionales significativos al escalar de la comprensión de imágenes a la de vídeo. Las altas tasas de fotogramas y las largas duraciones de los vídeos requieren procesar miles de tokens, lo que provoca aumentos drásticos en los costes de inferencia, la latencia y el uso de la memoria GPU. Esto dificulta su despliegue en entornos con restricciones de recursos y sensibilidad a la latencia, como la conducción autónoma y la vigilancia.

Si bien la compresión de tokens es una solución prometedora, los métodos existentes dependen principalmente de estrategias libres de entrenamiento (por ejemplo, fusión de tokens espaciales o temporales). Los autores argumentan que estos enfoques libres de entrenamiento causan inevitablemente una pérdida de información durante la compresión, lo que resulta en una caída significativa en el rendimiento del modelo. El desafío central es lograr una reducción agresiva de tokens (por ejemplo, reducir un vídeo al conteo de tokens de una sola imagen) sin sacrificar las capacidades de razonamiento del modelo.

Metodología

El artículo propone MARC (Compresión de Tokens basada en Aprendizaje por Refuerzo con Aumento de Memoria), un marco de dos etapas diseñado para recuperar información relevante antes de comprimirla.

1. Recuperador de Memoria Visual (VMR)

Inspirado en la ciencia cognitiva y la teoría de la segmentación de eventos, el VMR reemplaza las ventanas temporales de longitud fija con un enfoque semántico basado en eventos.

• Segmentación Basada en Eventos: Una red profunda de detección de eventos particiona los flujos de vídeo continuos en clips cortos semánticamente coherentes (fragmentos de memoria visual) basados en cambios de escena, cambios de tema o inicios de acción.
• Recuperación de Memoria: Las representaciones de consulta y los fragmentos visuales se mapean en un espacio latente compartido mediante aprendizaje contrastivo. Una búsqueda de k-vecinos más cercanos recupera los $k$ fragmentos más relevantes para la consulta del usuario.
• Función: Este paso actúa como un filtro, reduciendo el espacio de búsqueda y asegurando que la compresión subsiguiente opere solo sobre "memorias episódicas" que contengan la evidencia causalmente más útil, en lugar de fotogramas redundantes.

2. Compresión Temporal Consciente de la Memoria

Antes de la destilación por RL, se aplica una capa de compresión específica a los segmentos recuperados:

• Coherencia Local: Dentro de cada segmento de evento recuperado, los fotogramas consecutivos se fusionan basándose en la similitud de coseno para retener la dinámica local mientras se reduce la redundancia.
• Consolidación Global: Si el presupuesto de tokens aún se excede, se aplica una fusión ligera entre segmentos. Esto asegura que se preserve la estructura de eventos definida por el VMR.

3. Optimización de Política de Gradiente Relativo de Grupo de Compresión (C-GRPO)

Para mantener el rendimiento bajo una compresión extrema (reduciendo la entrada al equivalente de tokens de un solo fotograma), los autores introducen C-GRPO, una estrategia de aprendizaje por refuerzo de post-entrenamiento.

• Destilación Maestro-Estudiante: Una red "Maestra" procesa 64 fotogramas, mientras que una red "Estudiante" procesa la entrada comprimida de un solo fotograma.
• Recompensa de Alineación de Retención: A diferencia del GRPO estándar que se centra en la corrección de la respuesta, el C-GRPO introduce una recompensa de compresión ($r_c$). Esta recompensa se calcula basándose en la tasa de retención ($\eta$), que mide cuánto del rendimiento del Maestro retiene el Estudiante.
  • $r_c = \alpha \cdot \max(0, \eta - \tau)$, donde $\tau$ es un umbral mínimo de retención aceptable (establecido en 0.6).
• Mecanismo de Puerta (Gating): La recompensa de retención está condicionada por la corrección ($1[\text{correcto}]$), asegurando que solo las generaciones semánticamente válidas reciban el bono. Esto evita el "reward hacking" donde el modelo podría adivinar correctamente por azar sin retener realmente la capacidad de razonamiento.
• Objetivo: La política se optimiza para maximizar la retención de la capacidad de razonamiento del Maestro mientras se adhiere al estricto presupuesto de tokens.

Contribuciones Clave

1. Marco MARC: Una arquitectura novedosa que integra la recuperación visual estructurada (VMR) con la compresión de tokens basada en RL, permitiendo una comprensión de vídeo eficiente que imita la memoria episódica humana.
2. Algoritmo C-GRPO: La primera estrategia de RL de post-entrenamiento diseñada específicamente para la compresión de tokens de vídeo. Destila con éxito capacidades de razonamiento complejas de un Maestro de alto conteo de tokens a un Estudiante de bajo conteo de tokens al optimizar explícitamente la retención del rendimiento.
3. Validación Empírica: Experimentos extensos en seis benchmarks demostrando que el método logra un rendimiento casi idéntico al de la línea base con costes computacionales drásticamente reducidos.

Resultados Experimentales

Los autores evaluaron MARC en seis benchmarks: VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass y VideoMME, utilizando Qwen2.5-VL-3B como red base.

• Rendimiento: MARC logró una puntuación media de 42.20, casi idéntica a la línea base de 64 fotogramas de 42.21.
  • Superó a la línea base en MMVU, MVBench y TempCompass.
  • Superó a modelos más grandes (por ejemplo, InternVL3.5-4B, Gemma-3-4B) a pesar de utilizar un modelo de 3B parámetros.
• Reducción de Tokens: El método redujo los tokens visuales en un 95% (de ~2590 tokens a ~123 tokens), utilizando efectivamente solo el equivalente de tokens de un solo fotograma (4.71% de los tokens originales).
• Ganancias de Eficiencia:
  • Memoria GPU: Reducida en un 72.4% (de 41.63 GB a 11.48 GB en una A6000).
  • Latencia: La latencia de generación se redujo en un 23.9%, con una reducción del 11.1% en la latencia de extremo a extremo para el procesamiento de muestras.
• Estudios de Ablación:
  • VMR: El uso de VFR por sí solo aumentó la precisión de la línea base (media de 45.56 vs 42.21), demostrando el valor de la recuperación basada en eventos.
  • C-GRPO vs. SFT: MARC (C-GRPO) superó a una línea base de Ajuste Fino Supervisado (SFT) en un 9.6% en la puntuación media, destacando la superioridad de la destilación por RL para tareas de compresión.
  • Umbral ($\tau$): Un umbral de 0.6 proporcionó el equilibrio óptimo entre estabilidad y retención de rendimiento.

Significado y Reivindicaciones

El artículo afirma que MARC ofrece una solución robusta para la compresión de post-entrenamiento de modelos a gran escala, cerrando la brecha entre eficiencia y precisión. Al combinar la recuperación inspirada en la cognición con la destilación basada en RL, el método permite el despliegue de VLMs en escenarios con restricciones estrictas de recursos, como la pregunta-respuesta de vídeo en tiempo real, la vigilancia y la conducción autónoma.

Los autores enfatizan que su enfoque evita la degradación del rendimiento típica de los métodos de compresión libres de entrenamiento. En su lugar, al tratar la compresión como un problema de alineación donde el estudiante debe igualar el razonamiento del maestro, MARC mantiene una alta fidelidad incluso al reducir la entrada al equivalente de tokens de un solo fotograma. El trabajo se presenta como un camino práctico para hacer que la comprensión de vídeo sea escalable y desplegable en aplicaciones del mundo real con latencia sensible.