Resumen Técnico: Similitud Desacoplada para la Poda de Tokens Consciente de la Tarea en Grandes Modelos de Visión y Lenguaje

1. Planteamiento del Problema

Los Grandes Modelos de Visión y Lenguaje (LVLMs) han logrado avances significativos en el puente entre las modalidades visual y lingüística, pero sufren una carga computacional sustancial. Esta ineficiencia surge principalmente del procesamiento de un gran número de tokens visuales, que a menudo superan con creces a los tokens de texto, especialmente en imágenes de alta resolución y vídeos de múltiples fotogramas.

Los métodos actuales de poda de tokens sin entrenamiento buscan mitigar esto descartando los tokens menos informativos. Sin embargo, los enfoques actuales generalmente caen en dos paradigmas que sufren limitaciones inherentes:

• Poda Centrada en lo Visual: Se basa en señales de atención del codificador visual (por ejemplo, la atención [CLS]). Estos métodos tienden a centrarse en la semántica global y las regiones salientes, pasando por alto a menudo los detalles locales finos y fallando en alinearse con requisitos de tareas específicas.
• Poda Centrada en la Tarea: Se basa en la atención transmodal del decodificador del Gran Modelo de Lenguaje (LLM). Estos métodos a menudo introducen la guía de la tarea demasiado tarde (durante la etapa de prellenado/prefill) y exhiben sesgos espaciales (por ejemplo, favoreciendo las regiones inferiores de la imagen debido al orden de la secuencia) o sesgos semánticos globales que no reflejan fielmente la importancia del token.

El problema central identificado es que los métodos existentes dependen de fuentes de atención individuales que son sesgadas e incompletas, lo que conduce a decisiones de poda subóptimas que o bien pierden detalles visuales críticos o no logran preservar la información relevante para la tarea bajo ratios de poda agresivos.

2. Metodología: DeSAP

Los autores proponen DeSAP (Decoupled Similarity-Aware Pruning), un método novedoso diseñado para realizar una poda de tokens visuales precisa y consciente de la tarea antes de la decodificación del LLM. La metodología se construye sobre tres componentes clave:

A. Análisis Empírico y Descomposición

A través de un estudio empírico, los autores observan que:

1. El sesgo semántico global en los codificadores visuales corrompe la estimación de similitud por token convencional, lo que provoca una desalineación entre los tokens visuales y de texto.
2. La descomposición del estado oculto del codificador visual en componentes residual y de atención revela que el componente de atención desacoplado preserva mejor los detalles locales y la semántica fina que el componente residual (global).

Basándose en esto, DeSAP descompone el estado oculto visual de la última capa ($S^l_v$) en:

• Residual Desacoplado ($S^d$): Captura patrones semánticos globales.
• Atención Desacoplada ($A^d$): Captura detalles semánticos localizados y finos.

B. Alineación Transmodal de Grano Fino

En lugar de utilizar la similitud de coseno estándar entre los estados ocultos y los embeddings de texto (que hereda el sesgo global), DeSAP calcula una Similitud Desacoplada. Esto implica calcular la similitud de coseno entre el componente de atención desacoplado ($A^d$) y los embeddings de texto ($S_q$). Para refinar esto aún más, el método emplea una estrategia de Alineación Transmodal de Grano Fino (FCMA). Esta pondera las similitudes de pares de tokens basándose en la relevancia de cada token respecto a la representación global de la modalidad complementaria (usando [EOS] para el texto y tokens visuales globales para la visión). Esto crea un mapa de atención fiable y relevante para la tarea ($A_t$) que resalta regiones específicas alineadas con la consulta textual.

C. Poda de Tokens Guiada por Doble Fuente

DeSAP integra dos fuentes de información para evaluar la importancia del token:

1. Atención Relevante para la Tarea ($A_t$): Derivada de la similitud desacoplada, guiando la selección de tokens relevantes para la consulta específica.
2. Atención Semántica Saliente ($A_s$): Derivada de la auto-atención del codificador visual (por ejemplo, la atención [CLS]), proporcionando pistas visuales holísticas.

El proceso de poda sigue una estrategia de Clasificar y Podar (Rank & Prune):

• Seleccionar los $k_1$ mejores tokens basados en $A_t$ (relevancia de la tarea).
• Seleccionar los $k_2$ mejores tokens basados en $A_s$ (saliencia visual) del conjunto restante.
• El conjunto final combina tanto las pistas de la tarea específica como las visuales globales.
• Fusión de Tokens (Token Merging): Los tokens descartados se fusionan con los tokens retenidos más similares mediante agrupamiento (clustering) para mitigar la pérdida de información sin aumentar el recuento de tokens.

3. Contribuciones Clave

• Análisis Empírico: El artículo proporciona un análisis profundo de los paradigmas de poda existentes, revelando que la atención del codificador visual está sesgada hacia la semántica global y que la similitud convencional es insuficiente para una alineación de grano fino. Introduce la perspectiva de desacoplar las características visuales en componentes residuales y de atención para preservar los detalles locales.
• Marco de Trabajo DeSAP: La propuesta de un nuevo método de poda que aprovecha la atención desacoplada para derivar pistas de tareas precisas mediante la alineación transmodal de grano fino. Integra de manera única estas pistas de tarea con señales de saliencia visual para permitir una poda robusta antes de la decodificación del LLM.
• Rendimiento: Experimentos extensos demuestran que DeSAP supera consistentemente a los métodos de vanguardia (SOTA) en diversos benchmarks y arquitecturas de modelos.

4. Resultados Experimentales

Los autores evaluaron DeSAP en tres LVLMs (LLaVA-1.5-7B, LLaVA-NeXT-7B y Qwen2.5-VL-7B) a través de ocho benchmarks (incluyendo GQA, MME, POPE, VQAv2, etc.).

• Precisión: En LLaVA-1.5-7B con un ratio de poda agresivo del 88.9% (reteniendo solo el 11.1% de los tokens, es decir, 64 tokens), DeSAP alcanzó el 98.1% del rendimiento del modelo original. Notablemente, con un presupuesto de 192 tokens, superó ligeramente el rendimiento del modelo completo por un 0.3%.
• Comparación: DeSAP superó a métodos SOTA como HoloV, FlowCut y VisionZip. En el ratio de poda del 88.9%, superó al segundo mejor método (HoloV) en un promedio de 2.3% en LLaVA-1.5-7B.
• Eficiencia: En el benchmark POPE, DeSAP logró una reducción de 9.1× en FLOPs y una aceleración de prellenado de 2.3× en comparación con el modelo completo, con solo una caída de precisión del 0.1%. También demostró un equilibrio eficiencia-precisión superior comparado con SparseVLM y HoloV bajo FLOPs equivalentes.
• Generalizabilidad: El método mantuvo un rendimiento robusto en LLaVA-NeXT-7B (alta resolución) y Qwen2.5-VL-7B, superando consistentemente a los baselines en varios ratios de poda.

5. Significado y Afirmaciones

El artículo afirma que DeSAP aborda la limitación crítica de los métodos de poda existentes al introducir la conciencia de la tarea de forma más temprana en el flujo de trabajo (en el lado del codificador) sin depender de distribuciones de atención sesgadas. Al desacoplar las características visuales y aprovechar la alineación transmodal de grano fino, DeSAP mitiga el colapso representacional tanto desde la perspectiva visual como de la tarea.

Los autores aseguran que su enfoque guiado por doble fuente permite una poda de tokens robusta incluso bajo ratios agresivos, preservando la información clave que otros métodos descartan. El trabajo demuestra que integrar la guía de la tarea con la saliencia visual es más efectivo que depender de la corrección de sesgos dentro de una única fuente de atención, ofreciendo un paso significativo hacia la eficiencia y escalabilidad de los LVLMs para aplicaciones prácticas.