Resumen Técnico: ReToken

Planteamiento del Problema

Los Modelos de Visión y Lenguaje (VLM) enfrentan desafíos significativos al procesar contextos visuales largos, como colecciones de imágenes o videos de una hora de duración. Surgen dos problemas principales:

1. Degradación del Rendimiento: A medida que aumenta el número de imágenes o fotogramas distractores, el rendimiento del modelo cae porque la información relevante queda enterrada dentro de un gran conjunto de datos irrelevantes.
2. Inviabilidad Computacional: Procesar todos los tokens visuales simultáneamente a menudo excede las restricciones de memoria de la GPU, lo que hace que la inferencia de contexto completo sea imposible para videos largos.

Las soluciones actuales suelen depender de la recuperación basada en la atención, donde se utilizan las puntuaciones de atención interna del modelo (interacciones query-key) para seleccionar los fotogramas relevantes. Sin embargo, los autores identifican que en los VLM preentrenados, estas señales de atención son poco fiables para la recuperación visual. La correlación entre las puntuaciones de atención y la relevancia de la consulta es débil, lo que conduce a una recuperación deficiente (por ejemplo, un Recall@1 de solo 5.1% a través de las capas en el benchmark QAEgo4DTest-MC). Además, los mecanismos de atención estándar están entrenados para la predicción del siguiente token, no para la selección de entradas visuales específicas, y promediar los tokens de la pregunta introduce ruido que degrada aún más el rendimiento de la recuperación.

Metodología: ReToken

El artículo propone ReToken, un mecanismo de recuperación ligero y aprendible diseñado para operar dentro del espacio de valores del transformador en lugar del convencional espacio query-key.

Percepciones Clave (Core Insights)

• Superioridad del Espacio de Valores: Los autores observan que, si bien las puntuaciones query-key son ruidosas, las proyecciones de valor de los tokens portan el contenido real propagado a través de la atención. El agrupamiento (pooling) de los vectores de valor proporciona una señal más discriminativa para la recuperación visual basada en texto.
• Recuperación Dirigida: En lugar de promediar todos los tokens de la pregunta (lo que introduce ruido), ReToken utiliza un único embedding aprendible que se añade al prompt de la pregunta. Este token es entrenado explícitamente para actuar como un objetivo de recuperación.

Arquitectura y Entrenamiento

• Token Aprendible: Un único embedding aprendible ($X_r$) se añade a los tokens de la pregunta de entrada.
• Proyección: Una matriz de proyección ligera ($W_r$) mapea la salida de la última capa de ReToken hacia un vector de consulta de recuperación ($Z_r$).
• Mecanismo de Puntuación: Para cada fotograma $f$, el modelo calcula el vector de valor medio ($\bar{v}_f^{(N)}$) de la última capa del VLM. La puntuación de recuperación es la similitud de coseno entre el ReToken proyectado y el vector de valor medio del fotograma.
• Función de Pérdida: El sistema se supervisa mediante una pérdida de entropía cruzada binaria balanceada por clase contra las etiquetas de relevancia reales. La pérdida fomenta puntuaciones altas para los fotogramas relevantes y bajas para los distractores.
• Régimen de Entrenamiento: Por defecto, el backbone del VLM permanece congelado. Solo se actualizan el embedding de ReToken y la matriz de proyección. También se explora una variante de ajuste fino parcial (ajustando las primeras capas), pero se encontró que es menos efectiva para la transferencia a video.

Pipeline de Inferencia

ReToken emplea un pipeline de dos pasadas: recuperar-luego-responder:

1. Cache: El video se codifica una vez, y los cachés de Key-Value (KV) por capa se almacenan en un caché persistente.
2. Recuperar (Pasada 1): Dada una pregunta, se añade el ReToken y el modelo realiza una pasada hacia adelante sobre el contexto visual cacheado. La última capa calcula las puntuaciones de recuperación para seleccionar los top-$K$ fotogramas relevantes.
3. Responder (Pasada 2): Una segunda pasada hacia adelante genera la respuesta, atendiendo únicamente al caché KV de los top-$K$ fotogramas seleccionados. Esto asegura que el proceso de generación coincida con la distribución de entrenamiento (donde la recuperación fue determinada en la última capa).

Contribuciones Clave

1. Diagnóstico de las Limitaciones de la Atención: El artículo demuestra que la recuperación basada en la atención (query-key) es ineficaz en los VLM preentrenados, mientras que el espacio de valores proporciona una señal significativamente más fuerte para la recuperación de información visual.
2. Mecanismo ReToken: Introducción de un único token aprendible que permite a los VLM preentrenados identificar información visual relevante de manera más efectiva sin requerir un reentrenamiento completo del modelo.
3. Transferencia Zero-Shot: Demostración de que un ReToken entrenado exclusivamente en datos de preguntas y respuestas (QA) con múltiples imágenes generaliza con éxito a benchmarks de comprensión de video largo sin necesidad de entrenamiento específico para video.

Resultados Experimentales

El método fue evaluado en benchmarks de imagen y video, mostrando mejoras consistentes sobre las líneas base:

• Visual Haystacks (Recuperación de Imágenes):
  • En el benchmark Visual Haystacks, ReToken mejoró Qwen3VL-8B en 13.4 puntos e InternVL3.5 en 12.4 puntos (una ganancia relativa de más del 20%) en presencia de 50 imágenes distractoras.
  • Logró un Recall@1 del 88.5% en la tarea de 2 imágenes y un 64.7% en la tarea de 50 imágenes, superando significativamente a los recuperadores basados en atención (ReKV) y a los modelos de embedding externos (SigLIP2).
• Comprensión de Video Largo:
  • QAEgo4DTest-MC: Con un presupuesto de recuperación estricto ($K=1$), ReToken logró una mejora de 6.8 puntos sobre el muestreo uniforme y superó la recuperación basada en atención.
  • LVBench: ReToken se transfirió zero-shot a videos largos (duración promedio >1 hora), produciendo una ganancia de 8.0 puntos en precisión para Qwen3VL-8B.
  • Video-MME: Se observaron ganancias significativas en las divisiones de video medio y largo, mientras que los videos cortos (menos de 2 minutos) no mostraron ganancia, ya que caían por debajo del presupuesto de entrada de recuperación.
• Eficiencia:
  • Tanto el entrenamiento como la inferencia de video largo caben en una única GPU H100.
  • La pasada de recuperación añade solo ~0.4 segundos de latencia por pregunta, mientras que la costosa codificación de video se realiza solo una vez por video.

Significado y Reivindicaciones

El artículo afirma que ReToken ofrece un camino práctico hacia el razonamiento multimodal de contexto largo escalable. Al identificar que el espacio de valores porta una señal alineada con el texto más fuerte que el espacio query-key, los autores proporcionan una solución simple y ligera que evita la necesidad de complejos recuperadores externos o un ajuste fino completo del modelo.

El trabajo destaca que:

• La recuperación en el espacio de valores es más robusta al ruido de las consultas que en el espacio query-key.
• Un único token aprendible puede reemplazar eficazmente pipelines de recuperación complejos.
• Las habilidades aprendidas en QA de contexto corto con múltiples imágenes pueden transferirse a la comprensión de video largo, sugiriendo que la capacidad fundamental de alinear texto con contenido visual se preserva incluso en modelos congelados.

Los autores reconocen limitaciones, señalando que ReToken actualmente tiene dificultades con preguntas que requieren evidencia dispersa en todo el video (por ejemplo, la sumarización) y que su rendimiento en tareas de video podría mejorar potencialmente mediante el entrenamiento con datos de video para capturar mejor las estructuras temporales. Sin embargo, la transferencia zero-shot de imágenes a videos se presenta como un paso significativo hacia los VLM de contexto largo eficientes.