AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

1. El Problema

La comprensión de videos largos sigue siendo un desafío significativo para los Modelos de Lenguaje Grandes Multimodales (MLLMs). Las limitaciones principales son:

• Costos de memoria y límites de contexto: Los videos largos generan una cantidad masiva de tokens visuales, agotando rápidamente la ventana de contexto y la memoria de los modelos.
• Ineficiencia de métodos actuales: Las aproximaciones anteriores intentan mitigar esto seleccionando cuadros (frames) o tokens dentro de clips cortos. Sin embargo, carecen de un mecanismo principiado para:
  1. Comparar la relevancia entre clips de video distantes (falta de criterio global).
  2. Detener el procesamiento una vez que se ha reunido evidencia suficiente (falta de detención temprana).
• Redundancia: Incluso al seleccionar cuadros, estos pueden contener regiones irrelevantes que diluyen la señal útil.

2. Metodología: AdaptToken

El authors proponen AdaptToken, un marco de trabajo sin entrenamiento (training-free) que convierte la auto-incertidumbre del MLLM en una señal de control global para la selección de tokens en videos largos. El proceso se divide en cuatro componentes clave:

A. Agrupación y Relevancia Global (Entropía de Respuesta)

• División: El video se divide en grupos de cuadros (frames).
• Señal de Incertidumbre: En lugar de usar solo atención cruzada, el método utiliza la entropía de la respuesta del modelo para estimar la relevancia de cada grupo.
  • Se calcula la entropía de la distribución de probabilidad de los tokens generados por el modelo.
  • Hipótesis: Una respuesta con baja entropía (alta certeza) indica que el grupo de cuadros contiene evidencia relevante para el prompt. Una alta entropía sugiere incertidumbre o falta de información relevante.
• Asignación de Presupuesto: Basándose en la certeza de cada grupo, se asigna un presupuesto de tokens global. Los grupos más relevantes (menor entropía) reciben una mayor cuota de tokens.

B. Selección de Tokens Guiada por Entropía

• Importancia Intra-grupo: Dentro de cada grupo, se utiliza la atención cruzada (cross-modal attention) de una capa tardía del MLLM para puntuar la importancia de cada token visual individual.
• Estrategia de Dos Etapas:
  1. Se asigna un presupuesto de tokens ($B_g$) a cada grupo proporcional a su puntuación de certeza global.
  2. Se seleccionan los tokens visuales con mayor puntuación de relevancia dentro de ese presupuesto asignado.

C. Eliminación Global de Tokens Consciente de la Ubicación

• Para evitar redundancia temporal (por ejemplo, grupos adyacentes con contenido muy similar), se aplica un paso de eliminación de tokens.
• Se calcula la similitud coseno entre las características de los tokens seleccionados y su distancia temporal.
• Se eliminan iterativamente los tokens con mayor similitud mutua, garantizando diversidad y cobertura temporal en el conjunto final de tokens.

D. AdaptToken-Lite (Detención Temprana)

• Esta variante optimiza la eficiencia de la inferencia.
• El modelo procesa los grupos de cuadros en un orden de "margen máximo" (ej. primero el inicio, luego el medio, etc.) para diversificar la búsqueda de evidencia.
• Criterio de parada: Si el modelo alcanza un nivel de certeza suficientemente alto (entropía baja) en múltiples grupos (el paper sugiere 3 grupos con entropía < 0.75), el procesamiento se detiene y se ignoran los grupos restantes.

3. Contribuciones Clave

1. Marco sin entrenamiento: No requiere fine-tuning del modelo base; funciona con cualquier MLLM existente.
2. Selección de tokens globalmente informada: Utiliza la entropía de respuesta para asignar recursos de tokens entre grupos distantes, superando la limitación de los métodos que solo evalúan clips cortos de forma aislada.
3. Mecanismo de detención temprana: Introduce la capacidad de detener la inferencia cuando se ha reunido evidencia suficiente, reduciendo drásticamente el tiempo de cómputo.
4. Escalabilidad: Demuestra eficacia en modelos de 7B a 72B parámetros y soporta entradas extremadamente largas (hasta 10,000 cuadros).

4. Resultados Experimentales

El método se evaluó en cuatro benchmarks de video largo (VideoMME, MLVU, LongVideoBench, LVBench) utilizando varios modelos base (InternVL2.5, Qwen2.5-VL, Qwen3-VL).

• Rendimiento en Precisión:
  • AdaptToken mejora consistentemente la precisión sobre los modelos base y los métodos de selección anteriores.
  • En Qwen2.5-VL 7B, logró un aumento promedio de +6.7 puntos sobre la línea base, superando a los métodos más avanzados (como FlexSelect, AdaReTAKE, SeViCES) en todos los benchmarks.
  • Los mayores beneficios se observaron en videos extremadamente largos (LVBench y MLVU), donde el método mantiene o mejora el rendimiento al escalar a 10,000 cuadros.
• Eficiencia (AdaptToken-Lite):
  • La versión con detención temprana reduce el tiempo de inferencia en aproximadamente un 50% (ej. de 17.8s a 8.6s en VideoMME) manteniendo una precisión comparable o incluso superior en algunos casos.
• Escalabilidad:
  • Funciona eficazmente en modelos grandes (72B) y en modelos nativos de contexto largo (Qwen3-VL), reduciendo el uso de memoria GPU (de 96 GB a 41 GB en Qwen3-VL 8B) y el tiempo de procesamiento.

5. Significado e Impacto

AdaptToken representa un avance significativo en la comprensión de video largo al abordar la ineficiencia computacional y la falta de contexto global en los MLLMs actuales.

• Cambio de Paradigma: Pasa de una selección estática o local de tokens a una selección dinámica y adaptativa basada en la confianza del modelo.
• Viabilidad Práctica: Al ser un método sin entrenamiento y compatible con arquitecturas existentes, es fácilmente adoptable para aplicaciones del mundo real que requieren análisis de videos de horas de duración (asistentes de IA, agentes web multimodales).
• Eficiencia Sostenible: La capacidad de detener el procesamiento temprano hace viable el uso de MLLMs en entornos con restricciones de latencia y recursos, sin sacrificar la precisión.

En resumen, AdaptToken demuestra que la auto-evaluación de incertidumbre de un modelo puede ser utilizada como una señal poderosa para optimizar la entrada de datos, logrando un equilibrio superior entre precisión, cobertura temporal y eficiencia computacional.