Resumen Técnico: TOPS - Poda de Tokens Visuales Basada en Primeros Principios

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) han logrado avances significativos en razonamiento y comprensión, pero sufren de una alta sobrecarga computacional y de memoria. Esta ineficiencia surge del gran número de tokens visuales generados durante la tokenización, los cuales son procesados a través de todas las capas del transformer. Dado que los mecanismos de autoatención escalan cuadráticamente con la longitud de la secuencia, las entradas de imágenes y videos de alta resolución crean cuellos de botella sustanciales.

Los métodos existentes de poda de tokens visuales intentan mitigar esto eliminando tokens redundantes, pero dependen de esquemas de puntuación heurísticos en lugar de un objetivo con principios. Los enfoques actuales generalmente se dividen en tres categorías, cada una con limitaciones específicas:

• Métodos basados en atención: Retienen tokens con altas puntuaciones de atención, pero a menudo preservan tokens semánticamente redundantes.
• Métodos basados en diversidad: Fomentan la dispersión semántica, pero suelen ser agnósticos a las instrucciones del usuario, lo que puede llevar al descarte de evidencia crítica para la tarea.
• Métodos combinados: Aunque integran múltiples criterios, carecen de una formulación fundamental del objetivo intrínseco de la poda de tokens, tratándola meramente como un problema de clasificación sin una justificación teórica de por qué ciertos criterios son suficientes.

2. Metodología: Formulación de Primeros Principios

Los autores proponen TOPS (Token Optimal Preservation Sets), un módulo de poda libre de entrenamiento y agnóstico al modelo, derivado de una perspectiva de primeros principios utilizando la teoría de la información.

2.1 Fundamento Teórico

El objetivo central de la poda de tokens se define como encontrar un subconjunto $S \subseteq V$ (donde $V$ es el conjunto completo de tokens visuales) que maximice la información mutua entre el subconjunto y la distribución conjunta de los tokens visuales y la consulta de texto $Q$:
$$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$$

Al aplicar la regla de la cadena de la información mutua, los autores descomponen este objetivo en tres principios fundamentales:

1. Relevancia de la Tarea ($I(S; Q)$): El subconjunto debe ser informativo respecto a la consulta del usuario.
2. Cobertura de Información ($I(S; V | Q)$): El subconjunto debe preservar suficiente información sobre el conjunto visual original $V$ dada la consulta, minimizando la entropía condicional $H(V | S, Q)$.
3. Diversidad Semántica: Derivado del límite superior de la información mutua condicional, este principio dicta que, para un presupuesto fijo, los tokens deben ser semánticamente distintos de los tokens ya seleccionados para maximizar la ganancia de información.

2.2 El Algoritmo TOPS

TOPS construye el subconjunto de tokens óptimo de forma codiciosa (greedy) en cada punto de poda. El proceso involucra:

1. Puntuación (Scoring): Para cada token candidato $i$, el algoritmo calcula:
   • Relevancia de la Tarea ($r_i$): Estimada mediante la atención del evaluador de texto (o atención CLS en etapas tempranas).
   • Cobertura de Información ($c_i$): Calculada basada en la similitud máxima entre el candidato y los tokens restantes no seleccionados, ajustada por la similitud con los tokens ya seleccionados.
   • Diversidad Semántica ($d_i$): Medida como $1 - \max_{j \in S} \text{sim}(h_i, h_j)$, asegurando que el nuevo token sea distinto del conjunto actual.
2. Selección: El algoritmo combina estas puntuaciones en una puntuación de preservación de información:
   $$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$$
   donde $\alpha$ y $\lambda$ son factores de equilibrio. El token que maximiza esta puntuación se añade al subconjunto $S$.
3. Pipeline de Múltiples Etapas: Para manejar la reducción de grano fino, TOPS se implementa en dos etapas:
   • Etapa I: Aplicada después del proyector multimodal pero antes del LLM. Utiliza la atención CLS para la relevancia para eliminar la redundancia gruesa.
   • Etapa II: Aplicada dentro del LLM en capas designadas. Aprovecha la atención de texto-a-visual del LLM para el refinamiento consciente del texto.

3. Contribuciones Clave

1. Perspectiva de Primeros Principios: El artículo redefine la poda de tokens no como un problema de clasificación heurística, sino como un problema de selección de subconjuntos óptimos basado en la teoría de la información.
2. Tres Principios Fundamentales: La identificación y formalización de la Relevancia de la Tarea, la Cobertura de Información y la Diversidad Semántica como las condiciones necesarias para una poda efectiva.
3. Módulo TOPS: Un algoritmo de poda plug-and-play, libre de entrenamiento y agnóstico al modelo que construye dinámicamente Conjuntos de Preservación de Tokens Óptimos.
4. Validación Extensa: Experimentos exhaustivos a través de 7 backbones de MLLM (incluyendo LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3 y LLaVA-Video) y 14 benchmarks diversos.

4. Resultados Experimentales

Los autores reportan que TOPS supera consistentemente a los métodos de vanguardia (por ejemplo, FastV, VisionZip, DivPrune, SCOPE) a través de varias tasas de compresión y arquitecturas de modelos.

• LLaVA-NeXT: En el modelo 7B, TOPS elimina el 77.8% de los tokens visuales mientras preserva el 100.0% del rendimiento original. Con una mayor compresión (reducción del 88.9% y 94.4%), mantiene el 99.1% y el 96.4% del rendimiento, respectivamente.
• LLaVA-1.5: Con una compresión del 77.8%, TOPS retiene el 98.3% del rendimiento, superando al siguiente mejor método (SCOPE) por un 0.5%. Incluso con una compresión extrema (reducción del 94.4%, 32 tokens restantes), mantiene un 94.6% de rendimiento.
• Arquitecturas Avanzadas: En Qwen2.5-VL-7B e InternVL3-8B, TOPS logra la mayor precisión en todas las tasas de poda probadas, demostrando efectividad agnóstica a la arquitectura.
• Comprensión de Video: En LLaVA-Video con 64 fotogramas, TOPS retiene el 98.4% del rendimiento con una reducción de tokens del 62.1% y el 92.3% con una reducción del 90.5%, superando significativamente a baselines como FastV.
• Eficiencia: TOPS logra una reducción de casi 10 veces en FLOPs y reduce el uso de memoria GPU en 1.9GB en comparación con el baseline, con mejoras significativas en la latencia de prefill.
• Mitigación de Alucinaciones: Notablemente, en HallusionBench, TOPS muestra una mayor resistencia a las alucinaciones, sugiriendo que eliminar tokens redundantes puede, en ocasiones, mejorar la fidelidad del razonamiento.

5. Significado y Reivindicaciones

El artículo sostiene que una poda de tokens efectiva no debe depender únicamente de puntuaciones de importancia heurísticas, sino que debe preservar conjuntamente información visual relevante para la tarea, representativa y no redundante. Al formular la poda como un problema de optimización de la teoría de la información, TOPS proporciona una base con principios para la inferencia multimodal eficiente.

Los autores sugieren que su trabajo ofrece orientación para el diseño futuro de MLLMs ligeros, señalando que una poda agresiva puede, en ocasiones, mitigar las alucinaciones. Sin embargo, reconocen limitaciones, incluyendo la sobrecarga computacional del bucle de construcción codiciosa ($O(KN)$), la dependencia de los mecanismos de atención para las señales de relevancia y el uso de hiperparámetros fijos a través de capas y tareas. También señalan que el marco aún no ha sido evaluado sistemáticamente en dominios altamente especializados como la imagenología médica o el subtitulado denso.