Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors

Resumen Técnico: Selección Eficiente de Fotogramas para Videos Largos en Tiempo de Prueba con Selectores MLLM Basados en Atención

Planteamiento del Problema

Los Modelos de Lenguaje Multimodales Grandes (MLLM) han demostrado avances significativos en la comprensión de video, pero enfrentan un cuello de botella crítico al procesar videos largos: el volumen masivo de fotogramas excede las ventanas de contexto limitadas y los presupuestos de tokens visuales de las arquitecturas actuales. Codificar cada fotograma es computacionalmente inviable. Por consiguiente, la tarea se reduce a seleccionar un conjunto compacto de fotogramas informativos que recuperen evidencia visual relevante para la consulta.

Los enfoques existentes luchan por equilibrar la profundidad semántica con el costo computacional:

• Muestreo Uniforme: Barato pero "ciego al contenido", a menudo perdiendo eventos dispersos y decisivos.
• Métodos basados en CLIP: Evalúan los fotogramas de forma independiente basándose en la similitud entre la consulta y el fotograma, pero carecen de contexto entre fotogramas y de una fuerte condicionamiento por la consulta.
• Selectores Autoregresivos basados en MLLM: Ofrecen un razonamiento semántico profundo pero requieren entrenamiento adicional e introducen una latencia no trivial debido a la generación autoregresiva, lo que limita su escalabilidad.

El desafío central es identificar los fotogramas correctos sin requerir primero que el modelo comprenda todo el video (una dependencia circular), manteniendo al mismo tiempo un proceso de inferencia ligero y libre de entrenamiento.

Metodología: DAFS (Selección de Fotogramas Dinámica Basada en Atención y Consciente del Presupuesto)

Los autores proponen DAFS, un marco de trabajo libre de entrenamiento que aprovecha una observación empírica: la atención cruzmodal en los MLLM en capas específicas seleccionadas mediante validación ya concentra la atención en los tokens visuales relevantes para la consulta antes de que comience la generación autoregresiva.

1. Puntuación de Relevancia Basada en la Atención
En lugar de entrenar un nuevo selector o utilizar la generación autoregresiva, DAFS reutiliza la atención cruzmodal de un MLLM pequeño y comercial (por ejemplo, un modelo de 2B de parámetros).

• Selección de Capas: A través de un análisis empírico, los autores identifican que las capas intermedias (por ejemplo, la Capa 12 en InternVL3.5-2B) proporcionan las señales de localización a nivel de fotograma más fuertes antes de que la fusión profunda oscurezca los detalles visuales.
• Agregación Condicionada por la Consulta: El método extrae los pesos de atención texto-visión de una capa seleccionada $\ell^*$. Para enfocarse en la intención central del prompt, define un conjunto de "tokens importantes" (por ejemplo, opciones de respuesta para preguntas de opción múltiple, tokens centrados en entidades para preguntas abiertas).
• Puntuación: Aplica el max-pooling sobre las puntuaciones de atención de estos tokens importantes para generar una puntuación de saliencia por fotograma ($\phi_j$). Esto permite que un selector pequeño clasifique los fotogramas para un modelo "respondedor" más fuerte sin necesidad de decodificación autoregresiva.

2. Muestreo Consciente del Presupuesto y Compresión de Tokens
Para manejar las propias restricciones de contexto del selector, el marco emplea dos mecanismos:

• Muestreo Temporal Disperso: Los fotogramas se extraen a una tasa base (por ejemplo, 1 FPS) y se subsampan uniformemente según la duración del video.
• Compresión de Tokens Espaciales: Cada fotograma muestreado se comprime en un número fijo de tokens visuales ($P$) mediante un pooling de promedio no superpuesto para ajustarse a un presupuesto de tokens visuales global ($B$).

3. Programación Dinámica para la Calibración de la Política
La asignación del tamaño del grupo de candidatos ($F$) y el presupuesto de tokens por fotograma ($P$) se formula como un problema de optimización discreta.

• Objetivo: Maximizar la precisión de la respuesta a preguntas (QA) en un conjunto de calibración.
• Restricciones: Imponer un presupuesto estricto de tokens ($F \cdot P \le B$), una resolución temporal no decreciente para videos más largos y una resolución espacial no creciente.
• Solución: Un algoritmo de Programación Dinámica (DP) resuelve la política óptima de secuencia $(F(d), P(d))$ a través de las duraciones del video. Durante la inferencia, esta política se recupera en tiempo $O(1)$.
• Distinción Crucial: La compresión de tokens se aplica solo a la entrada del selector. Los fotogramas finales top-$K$ seleccionados para el modelo respondedor principal se alimentan en su resolución original, sin comprimir, asegurando que no haya degradación en la calidad de la entrada del respondedor.

Contribuciones Clave

1. Marco de Selección Dispersa Ligero: Un selector libre de entrenamiento que utiliza la atención cruzmodal de un MLLM pequeño para realizar la comparación de fotogramas guiada por la consulta, eliminando la necesidad de generación autoregresiva o reentrenamiento del modelo.
2. Programación Dinámica Presupuestada: Una formulación novedosa que optimiza conjuntamente el tamaño del grupo de fotogramas candidatos y la asignación de tokens visuales por fotograma bajo restricciones estrictas de contexto, equilibrando la cobertura temporal y el detalle espacial.
3. Generalización y Eficiencia: Experimentos extensos que demuestran que el enfoque supera al muestreo uniforme, la extracción de fotogramas clave heurística y a los selectores previos basados en entrenamiento bajo presupuestos equivalentes.

Resultados Experimentales

Evaluado en Video-MME, LongVideoBench (LVB) y MLVU bajo un presupuesto estricto de 32 fotogramas:

• Ganancias de Rendimiento: DAFS mejora respecto al muestreo uniforme hasta en 6.4 puntos en Video-MME (usando Qwen3-VL-2B como selector) y supera significativamente a los selectores previos basados en entrenamiento (por ejemplo, ViaRL, K-Frames) bajo presupuestos comparables.
• Localización Temporal: En la tarea MLVU Needle-QA, que pone a prueba la recuperación de segmentos de evidencia precisos, DAFS logra ganancias sustanciales (por ejemplo, +14.4 puntos en N-QA con 8 fotogramas) en comparación con el muestreo uniforme y otros métodos.
• Generalización entre Modelos: El selector se transfiere eficazmente a diferentes arquitecturas de respondedores (LLaVA-Video, InternVL3.5, Qwen2.5-VL) y formatos de tarea (QA de respuesta abierta), mejorando consistentemente el rendimiento sin reentrenamiento.
• Eficiencia: El paso de selección es significativamente más rápido (0.47s) y más eficiente en memoria que los selectores autoregresivos basados en entrenamiento (8.00s), lo que resulta en una menor latencia de extremo a extremo mientras se logra una mayor precisión.

Significado y Reivindicaciones

El artículo afirma que DAFS resuelve la dependencia circular de "necesitar entender el video para seleccionar los fotogramas" explotando las señales de recuperación inherentes presentes en la atención cruzmodal de los MLLM. Al desacoplar la etapa de selección de la etapa de generación de respuestas y utilizar un mecanismo de puntuación basado en la atención y ligero, el método logra un rendimiento de vanguardia en la comprensión de videos largos manteniéndose computacionalmente eficiente y libre de entrenamiento. Los autores enfatizan que este enfoque permite que los MLLM existentes manejen videos largos de manera más efectiva al optimizar la construcción de la entrada en el tiempo de prueba, en lugar de requerir cambios arquitectónicos o un reentrenamiento extensivo.