Resumen Técnico: CAPA – Poda Consciente de la Contribución y Aproximación de FFN para Modelos de Visión y Lenguaje de Gran Escala Eficientes

1. Planteamiento del Problema

Los Modelos de Visión y Lenguaje de Gran Escala (LVLMs) enfrentan cuellos de botella computacionales significativos debido al alto costo de procesar miles de tokens visuales, particularmente al manejar imágenes de alta resolución. Aunque la poda de tokens visuales ha surgido como una estrategia de aceleración primordial, los métodos existentes dependen en gran medida de puntuaciones de atención bruta o métricas heurísticas derivadas de estas para identificar tokens poco importantes. Los autores argumentan que las puntuaciones de atención son un proxy imperfecto de la importancia real del token porque ignoran la magnitud de los vectores de valor asociados.

Además, los enfoques actuales suelen tratar los tokens visuales y de texto de manera uniforme. Sin embargo, la evidencia reciente sugiere que las arquitecturas base de los LVLMs procesan estas modalidades de forma distinta. Específicamente, la redundancia en las Redes de Alimentación hacia Adelante (FFNs) con respecto a los tokens visuales permanece en gran medida inexplorada. Trabajos previos en el dominio de los LLMs han explorado la aproximación de FFN (por ejemplo, aproximación dispersa, MoE), pero estas técnicas no se han extendido a los patrones específicos de redundancia de los tokens visuales en los LVLMs.

2. Análisis Empírico y Observaciones Clave

Los autores realizaron análisis empíricos en LVLMs (LLaVA-1.5, Qwen2.5-VL, InternVL3) para deconstruir los comportamientos de los tokens visuales, lo que llevó a dos observaciones críticas:

1. Heterogeneidad de los Sumideros de Atención (Attention Sinks):

   • Los "sumideros de atención" tradicionales (tokens con una masa de atención desproporcionadamente alta) no son funcionalmente uniformes.
   • Utilizando una nueva métrica, la Contribución de la Atención, los autores distinguen entre dos tipos de sumideros:
     • Tipo I (Vertederos de Probabilidad): Tokens con pesos de atención altos pero magnitudes de vector de valor bajas. Actúan como receptáculos pasivos para el exceso de masa de probabilidad y contribuyen de manera insignificante al flujo residual. Son seguros de podar.
     • Tipo II (Anclas Estructurales): Tokens con pesos de atención altos y magnitudes de vector de valor masivas. Estos son críticos para mantener el rendimiento del modelo; su eliminación provoca un colapso representacional.
   • Conclusión: Depender únicamente de las puntuaciones de atención falla al distinguir entre estos dos tipos, lo que conduce a la poda accidental de tokens esenciales.

2. Redundancia Dependiente de la Modalidad:

   • Los autores midieron la linealidad de las transformaciones de FFN calculando la similitud de coseno entre el estado oculto de entrada $x$ y la salida residual $x + \text{FFN}(x)$.
   • Hallazgos: Los tokens de imagen exhiben un mapeo de identidad cercana (similitud > 0.96) a través de la mayoría de las capas intermedias, lo que indica que las transformaciones de FFN son efectivamente lineales y redundantes para los datos visuales. En contraste, los tokens de texto muestran una no linealidad significativa en las capas tempranas y medias.
   • Conclusión: Los costosos cálculos de FFN de orden $O(d^2)$ para los tokens visuales en las capas intermedias pueden reemplazarse con aproximaciones lineales ligeras sin comprometer la integridad representacional.

3. Metodología: Marco de Trabajo CAPA

Basándose en estos hallazgos, los autores proponen CAPA (Poda Consciente de la Contribución y Aproximación de FFN), un marco de estrategia dual:

A. Poda Consciente de la Contribcción

En lugar de usar puntuaciones de atención bruta, CAPA calcula una Puntuación de Contribución de la Atención ($C_i$) para cada token visual $i$. Esta puntuación pondera la probabilidad de atención por la magnitud del vector de valor proyectado por la matriz de salida.

• Fórmula: $C_i = \left\| \sum_{h=1}^{H} A_{i,h} (x_i W_{V,h}) W_{O,h} \right\|_2$
• Mecanismo: Durante la generación, el sistema selecciona dinámicamente los top-$k$ tokens visuales con las puntuaciones de contribución más altas para retenerlos en el caché de clave-valor (KV cache), podando aquellos con contribución insignificante. Esto asegura que las "Anclas Estructurales" se preserven mientras que los "Vertederos de Probabilidad" se eliminan.

B. Identificación de Redundancia y Aproximación de FFN

Para las capas identificadas con alta redundancia (donde la similitud de coseno entrada-salida excede un umbral $\eta$), CAPA reemplaza la FFN densa estándar con un producto de Hadamard ligero.

• Aproximación: El bloque residual $y^{(l)} = x^{(l)} + \text{FFN}(x^{(l)})$ se aproxima como $\hat{y}^{(l)} = x^{(l)} \odot \alpha$, donde $\alpha$ es un vector de escalado elemento a elemento aprendido.
• Reducción de Complejidad: Esto reduce la complejidad computacional de la capa de $O(d^2)$ a $O(d)$.
• Optimización: El vector de escalado óptimo $\alpha$ se deriva analíticamente utilizando una solución de Mínimos Cuadrados Ordinarios (OLS) sobre un conjunto de calibración, evitando el descenso de gradiente iterativo.

4. Resultados Experimentales

El marco fue evaluado en tres arquitecturas base de LVLM (LLaVA-1.5-7B, Qwen2.5-VL-7B, InternVL3-8B) a través de seis benchmarks (VQAv2, MMBench, MMVet, TextVQA, SEED-Bench, MMMU).

• Rendimiento vs. Baselines: CAPA superó consistentemente a los baselines de poda existentes (FastV, Feather, Poda Uniforme) en todos los benchmarks. Notablemente, en las "capas de transición" críticas donde la poda es más sensible, CAPA mantuvo un rendimiento cercano al modelo Vanilla sin podar, mientras que los baselines sufrieron una degradación significativa.
• Robustez: CAPA demostró una robustez superior en niveles de dispersión (sparsity) altos. Mientras que los baselines experimentaron caídas drásticas de rendimiento más allá del 50% de poda, CAPA mantuvo una precisión cercana a la del modelo original incluso con un 75% de poda.
• Ganancias de Eficiencia:
  • Poda de Tokens: Redujo el costo cuadrático asociado con la longitud de la secuencia.
  • Aproximación de FFN: Eliminó el costo dominante de $O(d^2)$ en las capas redundantes.
  • Impacto Total: El enfoque combinado logró una reducción del 78% en los FLOPs totales preservando el rendimiento de la tarea.
• Estudios de Ablación:
  • Divergencia de Logits: La poda basada en la Contribución de la Atención resultó en distancias de Hellinger más bajas (más cercanas a la distribución de salida del modelo vanilla) en comparación con la poda basada en puntuaciones de atención, especialmente en la generación de formato largo.
  • Reemplazo de FFN: Simplemente saltar las capas FFN causó caídas de rendimiento, pero reemplazar las mismas con el producto de Hadamard recuperó con éxito la mayor parte del rendimiento perdido, validando la hipótesis de linealidad.

5. Significado y Reivindicaciones

El artículo afirma que CAPA aborda una brecha crítica en la optimización de los LVLMs al reconocer que los tokens visuales se comportan de manera diferente de los tokens de texto tanto en los mecanismos de atención como en el procesamiento de FFN.

• Cambio en el Paradigma de Poda: Los autores argumentan que las puntuaciones de atención son insuficientes para la selección de tokens. Al introducir la Contribución de la Atención, proporcionan una señal más fiel para identificar qué tokens visuales son funcionalmente necesarios.
• Optimización Específica de la Modalidad: El trabajo destaca que las ganancias de eficiencia en los LVLMs requieren estrategias distintas para las modalidades visual y de texto. Específicamente, la identificación de la redundancia lineal en las FFN visuales permite una simplificación arquitectónica que no es aplicable al procesamiento de texto.
• Compromiso Eficiencia-Rendimiento: CAPA logra un compromiso favorable, entregando una aceleración de inferencia sustancial (reducción del 78% en FLOPs) sin comprometer la robustez del modelo o el rendimiento de la tarea, superando a los baselines de solo poda de tokens.

6. Limitaciones

Los autores reconocen que CAPA es una estrategia post-hoc que opera sobre arquitecturas base pre-entrenadas fijas. Por consiguiente, no puede explotar plenamente los beneficios de un aprendizaje conjunto de la selección de tokens y la computación del modelo. Se sugiere trabajo futuro en las siguientes direcciones:

• Diseñar controladores aprendidos para la retención adaptativa de tokens.
• Desarrollar arquitecturas base de visión y lenguaje con módulos FFN nativos y eficientes diseñados para tokens visuales.
• Evaluar estas estrategias a través de diversas distribuciones de cambio y de investigar la interpretabilidad de las políticas aprendidas.