IDPruner: Harmonizing Importance and Diversity in Visual Token Pruning for MLLMs

Resumen Técnico: IDPruner

1. El Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLMs) han demostrado capacidades impresionantes, pero enfrentan cuellos de botella computacionales significativos debido al volumen masivo de tokens visuales que generan al procesar imágenes o videos de alta resolución (por ejemplo, una imagen de 1080p puede generar ~2,691 tokens). Esto limita la eficiencia y la implementación práctica de estos modelos.

La poda de tokens visuales (visual token pruning) es una técnica crítica para acelerar la inferencia reduciendo la cantidad de tokens. Sin embargo, las estrategias existentes presentan limitaciones:

• Métodos basados en importancia: Seleccionan tokens salientes (objetos principales) pero a menudo sacrifican el contexto de fondo necesario para el razonamiento global.
• Métodos basados en diversidad: Maximizan la cobertura semántica para reducir redundancia, pero corren el riesgo de retener ruido irrelevante y perder detalles finos.
• Enfoques híbridos actuales: Intentan combinar ambos criterios de manera intuitiva o heurística, careciendo de un marco analítico riguroso para lograr una integración óptima, lo que resulta en un rendimiento subóptimo.

2. Metodología: IDPruner

Los autores proponen IDPruner (Importance and Diversity Pruner), un marco que armoniza sistemáticamente la importancia y la diversidad semántica utilizando el algoritmo de Relevancia Marginal Máxima (MMR), originalmente diseñado para la recuperación de información.

Componentes Clave:

• Análisis del Compromiso (Trade-off):

  • Los autores cuantifican la Importancia mediante una puntuación de retención normalizada.
  • Cuantifican la Diversidad utilizando la Estadística de Hopkins, que mide el grado de agrupamiento (clustering) de los tokens seleccionados. Un valor alto indica redundancia; un valor bajo indica alta diversidad.
  • El análisis empírico demuestra que las estrategias existentes no logran un equilibrio óptimo, mientras que MMR construye una frontera de Pareto superior.

• Mecanismo de Selección MMR:
  IDPruner reformula la poda como un problema de reordenamiento. En cada paso iterativo, selecciona el token $v^*$ que maximiza la siguiente función objetivo:
  $$v^* = \arg \max_{v_i \in V \setminus S} \left[ \lambda \cdot \text{Imp}(v_i) - (1 - \lambda) \cdot \max_{v_j \in S} \text{Sim}(v_i, v_j) \right]$$
  Donde:

  • $\text{Imp}(v_i)$: Puntuación de importancia normalizada (obtenida mediante un módulo entrenable como VisionSelector).
  • $\text{Sim}(v_i, v_j)$: Similitud coseno entre el token candidato y los ya seleccionados.
  • $\lambda$: Hiperparámetro que equilibra importancia y diversidad (ajustado a 0.5 en los experimentos).
  • El término de resta penaliza explícitamente los tokens semánticamente redundantes con respecto a los ya seleccionados.

• Eficiencia y Compatibilidad:

  • Poda "One-shot": La poda se realiza en una sola etapa temprana, evitando la poda progresiva dinámica que complica la integración en motores de inferencia.
  • Sin Mapas de Atención: El método no requiere mapas de atención, lo que garantiza la compatibilidad total con FlashAttention, maximizando la eficiencia de la inferencia.
  • Complejidad Computacional: Utiliza una estrategia de actualización eficiente que reduce la complejidad de $O(K^2N)$ a $O(KN)$, haciendo que la sobrecarga sea despreciable.

3. Contribuciones Principales

1. Análisis Sistemático: Proporcionan un marco teórico para caracterizar el compromiso entre la importancia del token y la diversidad semántica, demostrando que la integración heurística es subóptima.
2. Propuesta IDPruner: Introducen el primer método que adapta el algoritmo MMR a la poda de tokens visuales, logrando un equilibrio de Pareto óptimo entre retener información crítica y mantener la cobertura del contexto.
3. Rendimiento y Generalización: Demuestran que IDPruner supera a los métodos más avanzados (SOTA) en diversas arquitecturas (Qwen2.5-VL, LLaVA-1.5, LLaVA-OneVision) y tareas (imagen y video), manteniendo robustez incluso bajo ratios de compresión extremos.
4. Eficiencia Práctica: Ofrecen una solución lista para la implementación que es compatible con aceleradores modernos (FlashAttention) y no requiere mapas de atención.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples benchmarks de comprensión de imagen y video (MMBench, MME, POPE, OCRBench, VideoMME, etc.) sobre modelos como Qwen2.5-VL-7B-Instruct y LLaVA-1.5-7B.

• Rendimiento en Qwen2.5-VL-7B:
  • Con una compresión del 75% (retener 25% de los tokens), IDPruner alcanza el 95.18% del rendimiento de la línea base.
  • Con una compresión extrema del 90% (retener 10% de los tokens), mantiene el 86.40% del rendimiento, superando significativamente a métodos basados solo en importancia (que sufren degradación severa) y solo en diversidad.
• Generalización Cross-Arquitectura:
  • IDPruner mantiene el estado del arte en LLaVA-1.5-7B y LLaVA-OneVision-1.5-8B, donde otros métodos híbridos (como SCOPE o VisionSelector) fallan o pierden competitividad en arquitecturas específicas.
  • En tareas de video, IDPruner logra el mejor promedio (87.13%), superando a métodos que no pueden manejar la redundancia temporal.
• Eficiencia:
  • En comparación con otras estrategias híbridas, IDPruner ofrece la menor latencia de prellenado (prefill) y latencia total (E2E) debido a su compatibilidad con FlashAttention y la ausencia de cálculos de mapas de atención.

5. Significado e Impacto

Este trabajo es significativo porque establece un nuevo estándar para la poda de tokens en MLLMs. Al demostrar que la Relevancia Marginal Máxima (MMR) es el mecanismo óptimo para armonizar la importancia y la diversidad, IDPruner resuelve un problema fundamental de diseño en la compresión de modelos multimodales.

Su capacidad para operar sin mapas de atención y ser compatible con FlashAttention lo convierte en una solución práctica y escalable para la implementación de MLLMs eficientes en entornos de producción, permitiendo una inferencia más rápida sin sacrificar significativamente la precisión en tareas complejas de razonamiento visual.