Resumen Técnico: Poda de Tokens Visuales Densos Consciente de la Entropía (EADP)

Declaración del Problema

Los Modelos de Visión-Lenguaje (VLMs) enfrentan cuellos de botella computacionales significativos debido a los costos de autoatención cuadrática asociados con el procesamiento de rejillas densas de tokens de parches visuales. Aunque la poda de tokens visuales es una estrategia estándar para mitigar esto reteniendo solo un subconjunto de tokens informativos, los métodos existentes suelen fallar bajo restricciones estrictas de despliegue. Los autores identifican dos modos de falla críticos en los paradigmas actuales:

1. Dispersión de Ruido Textual: Las estrategias de guía densa estándar, que computan la similitud cross-modal entre cada token de texto y el token visual, se ven corrompidas por palabras funcionales y puntuación. Estos elementos producen respuestas de similitud ampliamente dispersas y casi uniformes que crean un "piso de ruido" indiscriminado, ahogando los picos localizados de entidades semánticas significativas.
2. Fragmentación de Características y Redundancia: Las estrategias de selección Top-K estándar tienden a concentrarse excesivamente en unas pocas regiones locales altamente discriminativas (por ejemplo, muestreando repetidamente la cabeza de un objeto) mientras ignoran partes semánticas integrales. Esto conduce a la fragmentación de características y a un desperdicio del presupuesto limitado de tokens en máximos locales redundantes, fallando en proporcionar una representación visual holística.

Metodología: Poda Densa Consciente de la Entropía (EADP)

EADP redefine la poda de tokens visuales como un problema de compresión estructurada que consta de dos etapas principales: puntuación de relevancia de instrucción robusta y selección de tokens no redundantes.

1. Puntuación Densa Consciente de la Dispersión

Para abordar el ruido textual, EADP introduce un mecanismo de eliminación de ruido guiado por la entropía para la puntuación de relevancia de la instrucción:

• Cálculo de Similitud Densa: Computa similitudes de coseno cross-modal entre tokens de texto CLIP que no sean EOS y tokens visuales proyectados.
• Filtrado Guiado por Entropía: La distribución de similitud espacial de cada token de texto se convierte en una distribución de probabilidad. Se calcula la Entropía de la Información de esta distribución para cuantificar la dispersión. Los tokens de alta entropía (que indican atención dispersa, típica de palabras funcionales) son filtrados, mientras que los de baja entropía (que indican atención concentrada en entidades específicas) son retenidos.
• Agregación Ponderada: Los tokens de texto retenidos se ponderan según su entropía (la menor entropía recibe un mayor peso) y se agregan para formar una puntuación de guía densa ($S_D$).
• Fusión de Puntuaciones: Esta puntuación densa se fusiona con una puntuación de guía global ($S_G$) derivada del token EOS de CLIP para equilibrar el detalle fino con el contexto semántico macroscópico, produciendo una puntuación de relevancia de instrucción robusta ($S_I$).

2. Suavizado Espacial y Selección Submodular

Para abordar la fragmentación de características y la redundancia, EADP reemplaza la selección ingenua Top-K con un enfoque estructurado:

• Continuidad Espacial y Polarización: El mapa de puntuación de relevancia se reforma en 2D y se suaviza mediante un kernel Gaussiano para propagar las activaciones a las partes estructurales adyacentes. Luego, se aplica un paso de polarización de puntuación no lineal (afilamiento exponencial) para re-amplificar las regiones salientes y suprimir el ruido de fondo suavizado.
• Maximización Submodular: La selección de tokens se formula como un problema de Maximización Submodular de Localización de Instalaciones (Facility Location). La función objetivo maximiza la suma de las similitudes ponderadas, asegurando que cada token en la imagen original esté bien representado por su contraparte más similar en el subconjunto seleccionado.
• Optimización Greedy: Este objetivo es submodular, lo que permite un algoritmo greedy eficiente con una garantía de aproximación teórica de $(1 - 1/e)$. Esto asegura que el subconjunto seleccionado cubra todas las partes semánticas de la imagen mientras penaliza la redundancia local.

Contribuciones Clave

1. Identificación de Cuellos de Botella de la Poda: El artículo analiza e identifica sistemáticamente la dispersión del ruido textual en la guía densa y la fragmentación de características inherente a la selección Top-K estándar como las causas primarias de la degradación del rendimiento en los métodos de poda existentes.
2. Puntuación Densa Consciente de la Entropía: Se propone un mecanismo novedoso para cuantificar y filtrar el ruido textual utilizando la entropía estadística sin depender de analizadores (parsers) de NLP externos. Esto genera una puntuación de relevancia de instrucción de grano fino y robusta al ruido.
3. Selección de Tokens Submodular con Priores Espaciales: Los autores reformulan la selección de tokens como un problema de maximización submodular de localización de instalaciones. Junto con el suavizado espacial y la polarización de la puntuación, esto garantiza una representatividad de características holística y penaliza explícitamente la redundancia, superando las limitaciones de la búsqueda codiciosa de picos (greedy peak-chasing).

Resultados Experimentales

EADP fue evaluado en múltiples arquitecturas de VLM (LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, Qwen2.5-VL, y Qwen3-VL) y diversos benchmarks (VQAv2, GQA, MME, MMBench, MM-Vet, DocVQA, etc.).

• Rendimiento: EADP logra consistentemente un rendimiento de Estado del Arte (SoTA) en todos los presupuestos de tokens probados. Por ejemplo, en LLaVA-1.5-7B con 128 tokens retenidos (77.8% de poda), EADP alcanza una precisión promedio de 63.5, superando a bases fuertes como CDPruner (63.2) y DivPrune (62.5).
• Robustez: El método demuestra una robustez superior bajo compresión extrema (por ejemplo, reteniendo solo 32 tokens) y entradas de alta resolución (LLaVA-NeXT con 2880 tokens), donde mantiene un rendimiento casi sin pérdidas en comparación con los modelos de tokens completos.
• Eficiencia: Aunque EADP introduce un costo computacional marginal debido a la puntuación densa y la optimización submodular, ofrece una aceleración significativa en la latencia de inferencia de extremo a extremo (por ejemplo, una aceleración de 1.5x–2.0x) y reduce los FLOPs hasta en un 66% en comparación con los modelos no podados.
• Generalización: El enfoque se generaliza eficazmente a través de diferentes escalas de modelos (desde 3B hasta 13B parámetros) y modalidades (imágenes estáticas y video), destacando particularmente en tareas que requieren razonamiento de grano fino y comprensión de documentos.

Significado y Reivindicaciones

El artículo sostiene que la poda de tokens visuales no es meramente una tarea de puntuación, sino un problema de compresión estructurada que requiere tanto una saliencia robusta al ruido como una cobertura visual holística. Al abordar los cuellos de botella específicos de la dispersión del ruido textual y la fragmentación de características, EADP avanza significativamente en la relación precisión-eficiencia para los VLMs. Los autores afirman que su marco proporciona una solución matemáticamente fundamentada que preserva robustamente las pistas visuales de grano fino bajo presupuestos estrictos de tokens, lo que lo hace altamente adecuado para aplicaciones multimodales en tiempo real y con recursos limitados. El trabajo sugiere que las futuras estrategias de poda deben ir más allá de las simples heurísticas Top-K para incorporar priores estructurales y mecanismos de puntuación conscientes del ruido.