Resumen Técnico: COAST – Poda de Tokens Semánticos Adaptativa Contrastiva para Modelos Visuales-Lingüísticos

1. Declaración del Problema: Afasia Visual en la Poda de Tokens

Los Grandes Modelos Visuales-Lingüísticos (LVLM) logran un razonamiento multimodal sólido al procesar secuencias densas de tokens visuales. Sin embargo, la complejidad cuadrática de la autoatención del decisor hace necesaria la reducción de tokens visuales para mejorar la eficiencia de inferencia. Los métodos de poda sin entrenamiento existentes (por ejemplo, FastV, LLaVA-PruMerge) suelen depender de puntuaciones de atención escalares de capas superficiales para clasificar y descartar tokens de "baja atención".

Los autores identifican un modo de fallo crítico en este enfoque, denominado Afasia Visual. Este fenómeno ocurre cuando la poda prematura basada en la atención superficial elimina tokens que inicialmente tienen puntuación baja pero se vuelven esenciales en capas más profundas para resolver objetos secundarios, relaciones espaciales y pistas contextuales. Cuando estos tokens se descartan, el modelo pierde la anclaje visual y recurre a priores lingüísticos, lo que lleva a alucinaciones (por ejemplo, responder "The Camel Cafe" cuando se pregunta por un letrero pequeño en una imagen dominada por un camello). El artículo argumenta que la saliencia escalar subestima inherentemente la evidencia visual que emerge contextualmente y que se requiere para el razonamiento composicional.

2. Metodología: COAST

Para abordar la Afasia Visual, los autores proponen COAST (Poda de Tokens Semánticos Adaptativa Contrastiva), un marco sin entrenamiento que replantea la compresión visual como enrutamiento semántico adaptativo. En lugar de una única decisión escalar, COAST divide el presupuesto de retención en dos roles complementarios: evidencia semántica (alineada con la consulta) y contexto espacial (complementario).

El marco opera en dos etapas principales en las capas de poda programadas:

A. Presupuestación Dinámica Impulsada por Entropía

COAST reutiliza la atención cruzada nativa para estimar la dispersión de la evidencia visual.

1. Cálculo de la Entropía de Atención: Calcula la entropía global de atención de texto a imagen ($H$) desde la capa precedente. Una baja entropía indica una atención concentrada en regiones específicas, mientras que una alta entropía sugiere evidencia dispersa que requiere un contexto más amplio.
2. División Adaptativa: El presupuesto de tokens restante (tras reservar anclajes específicos de la consulta) se divide en dos partes basadas en $H$:
   • $n_1$ (Evidencia Semántica): Tokens alineados con la consulta.
   • $n_2$ (Contexto Espacial Complementario): Tokens que proporcionan contexto a nivel de escena.
   • La división es adaptativa: a medida que aumenta la entropía de atención, el presupuesto se desplaza hacia preservar más contexto espacial ($n_2$), asegurando que no se pierdan pistas dispersas.

B. Enrutamiento Semántico Contrastivo Ancla-Referencia

Una vez asignado el presupuesto, COAST puntúa los tokens candidatos utilizando un mecanismo contrastivo en lugar de una única puntuación escalar.

1. Construcción del Conjunto:
   • Anclas ($A$): Seleccionadas mediante atención al último token (alta relevancia para la consulta).
   • Referencias ($R$): Seleccionadas mediante atención global como los tokens con puntuación más baja (contexto de baja saliencia).
   • Candidatos ($C$): Los tokens restantes que no son anclas.
2. Puntuación Contrastiva: Para cada candidato $c_i$, se calcula una puntuación contrastando su similitud con las anclas frente a su similitud con las referencias:
   $$\text{Puntuación}(c_i) = \text{Sim}_A(c_i) - \text{Sim}_R(c_i)$$
   Donde $\text{Sim}_A$ es la máxima similitud del coseno con cualquier ancla, y $\text{Sim}_R$ es la similitud del coseno promedio con el conjunto de referencia.
3. Retención de Dos Colas:
   • Top-$n_1$: Los candidatos con las puntuaciones más altas se retienen como evidencia alineada con anclas.
   • Bottom-$n_2$: Los candidatos con las puntuaciones más bajas se retienen como contexto espacial complementario. Estos tokens son distintos de las anclas, pero son cruciales para mantener la cobertura de la escena y las relaciones espaciales que la poda escalar descartaría.
4. Recomposición Ordenada: Los tokens retenidos (Anclas + Top-$n_1$ + Bottom-$n_2$) se ordenan según sus índices de secuencia originales para preservar la disposición espacial para las capas subsiguientes del decisor.

3. Contribuciones Clave

• Identificación de la Afasia Visual: El artículo define y demuestra un modo de fallo específico donde la poda temprana agresiva hace que los LVLM pierdan el anclaje visual, dependiendo en cambio de priores lingüísticos.
• Marco COAST: Un método de poda sin entrenamiento que trata la compresión como enrutamiento semántico adaptativo, utilizando la entropía para equilibrar la evidencia semántica y el contexto espacial.
• Mecanismo de Enrutamiento Contrastivo: Una estrategia de puntuación novedosa que preserva tanto anclas de alta relevancia como contexto complementario de baja saliencia, evitando el "colapso de atención" hacia el objeto más saliente.
• Evaluación Exhaustiva: Experimentos extensos en siete benchmarks (MME, MMBench, AI2D, GQA, VizWiz, POPE, ScienceQA-IMG) y múltiples familias de LVLM (LLaVA-1.5, LLaVA-NeXT, LLaVA-OneVision, Qwen2.5-VL).

4. Resultados Experimentales

En siete benchmarks, COAST demuestra compensaciones superiores entre rendimiento y eficiencia en comparación con bases sólidas (FastV, PDrop, SparseVLM, V2Drop, MMTOK):

• Retención de Rendimiento: COAST reduce los tokens visuales en un 77.8% (reteniendo 128 tokens) mientras mantiene el 98.64% del rendimiento promedio original. Bajo un presupuesto de 192 tokens, incurre en una caída de rendimiento de solo 0.21%, superando significativamente a las bases (por ejemplo, SparseVLM con una caída del 1.61%).
• Aceleración de Latencia: COAST logra una aceleración de latencia de 2.15×. Cabe destacar que logra una latencia menor que las bases con reducciones de FLOPs comparables debido a un enrutamiento eficiente y una recomposición ordenada de tokens.
• Generalización: El método supera consistentemente a las bases en diferentes escalas de modelo (de 0.5B a 13B) y arquitecturas, mostrando robustez tanto en configuraciones de compresión moderada como agresiva.
• Estudios de Ablación:
  • Retención de Dos Colas: Eliminar ya sea la rama alineada con anclas ($n_1$) o la rama de contexto complementario ($n_2$) degrada el rendimiento, confirmando la necesidad de preservar ambos tipos de evidencia.
  • Presupuestación Impulsada por Entropía: La división adaptativa basada en la entropía de atención supera a la división de ratio fijo, particularmente en benchmarks que requieren razonamiento complejo (MME, GQA).
  • Puntuación Contrastiva: La puntuación contrastiva ancla-referencia supera significativamente a la atención escalar o a la puntuación solo MaxSim.

5. Significado y Afirmaciones

El artículo afirma que el enrutamiento semántico adaptativo es una alternativa robusta a la poda escalar de un solo disparo. Al reconocer que la importancia del token es dinámica y dependiente del contexto, COAST mitiga el modo de fallo de "Afasia Visual", permitiendo que los LVLM mantengan un anclaje visual fino incluso bajo reducción agresiva de tokens. Los autores enfatizan que su método no requiere ajuste fino, añade una sobrecarga computacional mínima y es aplicable a diversas arquitecturas de LVLM, ofreciendo una solución práctica para desplegar sistemas de razonamiento multimodal eficientes y de alta fidelidad.