Rethinking Visual Token Reduction in LVLMs Under Cross-Modal Misalignment

El artículo presenta VisionDrop, un marco de poda sin entrenamiento que mejora la eficiencia de los modelos de lenguaje y visión grandes al seleccionar tokens visuales basándose únicamente en la atención intra-modal para evitar las desalineaciones cruzadas que limitan a los métodos anteriores, logrando reducciones significativas en latencia y FLOPs sin sacrificar el rendimiento.

Lo esencial

Imagina que tienes un chef de cocina muy inteligente (el modelo de IA) al que le pides que describa una foto de un paisaje.

El problema es que, antes de que el chef pueda cocinar (pensar), un asistente le entrega la foto cortada en miles de pequeños trozos (llamados "tokens visuales"). Si la foto es grande, el asistente le entrega 2.800 trozos. El chef tiene que leer y procesar cada uno de esos trozos antes de poder escribir su respuesta. Esto es como si tuvieras que leer 2.800 páginas de un libro solo para responder una pregunta simple: ¡es lento, cansado y gasta mucha energía!

Los investigadores de este artículo, VisionDrop, se dieron cuenta de que los métodos actuales para reducir estos trozos tienen un defecto grave. Aquí te explico cómo funciona su solución con analogías sencillas:

1. El Problema: "El Chef distraído"

Antes, los métodos intentaban decidir qué trozos de la foto eran importantes basándose en lo que el chef ya había escrito (el texto).

• La analogía: Imagina que el chef está escribiendo una receta. Si le preguntas: "¿Qué ingredientes son importantes?", el chef podría decir: "Los que mencioné en la última frase".
• El error: A veces, el chef se distrae o se confunde. Si la pregunta es "¿Qué hay en el cielo?", pero el chef acaba de escribir sobre el suelo, podría ignorar las nubes porque su atención está sesgada hacia lo que acaba de escribir. Además, al mezclar la foto y el texto, el chef pierde la noción de dónde están las cosas en la imagen (la ubicación espacial).

Los autores descubrieron que confiar en el texto para decidir qué partes de la foto guardar es como pedirle a un turista que te guíe por un mapa que él mismo está dibujando en tiempo real: a menudo se equivoca.

2. La Solución: "El Ojo que todo lo ve" (VisionDrop)

En lugar de preguntar al chef qué es importante, VisionDrop le dice al asistente: "Mira solo la foto. Tú decides qué trozos son vitales, sin leer lo que el chef está escribiendo."

Lo hacen de dos formas inteligentes:

• Selección de los "Estrellas" (Dominant Token Selection):
  Imagina que tienes un equipo de fútbol (la foto). En lugar de preguntar al entrenador (el texto) quién es el mejor jugador, miras a los jugadores y ves quién recibe más pases (atención visual). Si un jugador recibe muchos pases de sus compañeros, es porque es importante. VisionDrop guarda a esos "jugadores estrella" y descarta a los que nadie está mirando.

• El "Agrupamiento Inteligente" (Contextual Merging):
  A veces, hay trozos de la foto que no son estrellas, pero son útiles para dar contexto (como el césped alrededor de un árbol). En lugar de tirarlos a la basura, VisionDrop los pega con trozos similares.

  • La analogía: Es como hacer un collage. Si tienes 10 trozos de cielo azul muy parecidos, en lugar de guardar los 10, los fusionas en uno solo que representa "el cielo". Así ahorras espacio, pero sigues teniendo la información del color y la textura.

3. El Progreso: "Cortando poco a poco"

No hacen todo el trabajo de una sola vez. Imagina que tienes que reducir una pila de papeles de 1.000 a 100.

• Método antiguo: Tirar 900 papeles al azar al principio.
• Método VisionDrop: Van revisando la pila en varias etapas. Primero quitan lo obvio, luego miran de nuevo y quitan más, y así sucesivamente. Esto asegura que, incluso si tienes que reducir la foto a un 5% de su tamaño original, sigas teniendo los detalles más finos y la estructura correcta.

¿Qué lograron?

Gracias a este método, que no necesita volver a entrenar al chef (es "training-free", o sea, gratis y rápido de aplicar):

• Velocidad: El chef ahora cocina (responde) 2.7 veces más rápido.
• Eficiencia: Gasta 6 veces menos energía (computación).
• Calidad: A pesar de usar solo un puñado de trozos de la foto, el chef sigue siendo 95% tan inteligente como antes.

En resumen: VisionDrop es como un editor de video muy listo que, en lugar de preguntar al director qué escenas cortar, mira la película y sabe exactamente qué planos son esenciales y cuáles se pueden fundir, logrando una película corta que se ve igual de bien que la original, pero que se reproduce instantáneamente.

Resumen técnico

Resumen Técnico: VisionDrop

1. El Problema: Ineficiencia y Desalineación Cross-Modal

Los Modelos Grandes de Lenguaje y Visión (LVLMs) actuales, como LLaVA, codizan las entradas visuales como secuencias densas de tokens a nivel de parche para capturar semántica de grano fino. Sin embargo, esto genera una sobrecarga computacional significativa, ya que los tokens visuales suelen superar en gran número a los tokens de texto, provocando un crecimiento cuadrático en los cálculos de atención.

Para mitigar esto, se han explorado estrategias de reducción de tokens visuales (pruning) antes o dentro del Modelo de Lenguaje (LLM). La mayoría de los enfoques existentes dentro del LLM dependen de señales guiadas por texto (text-guided) para determinar qué tokens visuales son importantes, asumiendo implícitamente que los tokens de texto capturan de manera fiable la relevancia de los visuales.

El hallazgo crítico del artículo: Los autores demuestran que esta asunción es incorrecta debido a la desalineación cross-modal que ocurre dentro de las capas del LLM. Identifican tres formas de desalineación que socavan la eficacia de la reducción guiada por texto:

1. Desalineación Causal: Debido a la naturaleza autoregresiva del LLM, el último token de texto tiende a enfocarse desproporcionadamente en los tokens visuales que aparecen más tarde en la secuencia, introduciendo un sesgo de localización y perdiendo información temprana importante.
2. Desalineación Semántica: A medida que los tokens avanzan por el LLM, las representaciones visuales y textuales se entrelazan profundamente. El token de instrucción final deja de ser un agregador global claro, perdiendo su capacidad para identificar regiones visualmente importantes de manera precisa.
3. Desalineación Espacial: La fusión de tokens visuales y textuales en una sola secuencia plana diluye las priores espaciales. El texto no tiene conciencia espacial inherente, por lo que las señales guiadas por texto pueden descartar regiones visualmente salientes que no están explícitamente mencionadas en la instrucción.

2. Metodología: VisionDrop

Para abordar estos problemas, los autores proponen VisionDrop, un marco de poda sin entrenamiento (training-free) y basado únicamente en visión (visual-only). En lugar de depender de señales textuales, VisionDrop selecciona tokens informativos basándose en la atención intra-modal (de visión a visión).

El marco trata al codificador visual y al LLM como un sistema unificado y ejecuta una tubería de poda progresiva en múltiples etapas:

• Selección Progresiva de Tokens Dominantes:

  • El modelo se divide en varias etapas (incluyendo el codificador visual y capas del LLM).
  • En cada etapa, se calcula la importancia de los tokens visuales utilizando mapas de atención auto-referencial (self-attention) entre tokens visuales, ignorando las señales textuales.
  • Se seleccionan los tokens con mayor puntuación de atención (los más "referenciados" por otros tokens visuales) para propagarse a la siguiente etapa.
  • Nota técnica: En el LLM, donde no hay token [CLS], se utiliza la atención de los tokens de consulta visuales hacia todos los tokens de la secuencia, filtrando solo las interacciones visuales.

• Fusión Contextual de Tokens (Contextual Merging):

  • Para evitar perder detalles sutiles o auxiliares al descartar tokens no dominantes, se aplica un paso de fusión ligero.
  • Los tokens restantes se agrupan según su similitud (calculada mediante vectores Key de la atención) y se fusionan en "tokens contextuales".
  • Esto preserva la información complementaria y de grano fino sin aumentar la carga computacional, manteniendo el presupuesto de tokens bajo control.

3. Contribuciones Clave

1. Análisis Empírico de la Desalineación: Se demuestra experimentalmente que la alineación entre modalidades se deteriora a medida que los tokens atraviesan el LLM, invalidando la eficacia de las estrategias de poda guiadas por texto, especialmente bajo ratios de compresión agresivos.
2. Marco VisionDrop: Propuesta de un método de reducción de tokens que no requiere entrenamiento adicional, operando exclusivamente con señales visuales para evitar el ruido de la desalineación cross-modal.
3. Estrategia Híbrida Progresiva: Integración de selección de tokens dominantes y fusión contextual a lo largo de todo el pipeline (codificador + LLM), logrando un equilibrio entre estabilidad (en el codificador) y expresividad (en el LLM).

4. Resultados Experimentales

Los autores evaluaron VisionDrop en modelos como LLaVA-1.5-7B, LLaVA-NeXT-7B y Video-LLaVA-7B sobre diversos benchmarks (GQA, MMBench, POPE, VQAv2, etc.).

• Rendimiento Superior: VisionDrop supera consistentemente a los métodos más avanzados (SOTA) como FastV, PyramidDrop, SparseVLM y VisionZip.
  • En LLaVA-1.5-7B, con una retención de solo el 5.6% de los tokens (32 tokens), mantiene el 91.46% del rendimiento original, superando al mejor baseline en un 0.96%.
  • En LLaVA-NeXT-7B (entradas de alta resolución), con una retención del 5.6% (160 tokens), logra un rendimiento promedio del 92.06%, superando al segundo mejor método en un 1.71%.
• Eficiencia Computacional:
  • Al integrar VisionDrop con LLaVA-NeXT-7B, se logra una reducción de 2.7x en la latencia de inferencia y una reducción de 6x en los FLOPs (operaciones de punto flotante), manteniendo el 95.71% del rendimiento original.
• Robustez: El método muestra una mayor estabilidad que los enfoques guiados por texto a medida que aumenta la compresión, confirmando que la puntuación basada solo en visión es más fiable en condiciones de tokens limitados.

5. Significado e Impacto

El trabajo de VisionDrop es significativo porque:

• Cuestiona una premisa fundamental: Desafía la suposición generalizada de que el texto puede guiar eficazmente la selección de características visuales dentro de un LLM, revelando limitaciones estructurales en la alineación de modalidades.
• Escalabilidad: Ofrece una solución práctica y eficiente para escalar LVLMs a resoluciones más altas y aplicaciones en tiempo real sin necesidad de reentrenar modelos costosos.
• Generalización: Al depender únicamente de señales visuales, el método es particularmente ventajoso en dominios donde las señales lingüísticas son escasas, ambiguas o mal alineadas con el contenido visual (ej. imágenes médicas de alta resolución o imágenes de teledetección).

En conclusión, VisionDrop demuestra que una poda basada en la coherencia interna de la visión es superior a la dependencia de señales textuales para la reducción de tokens en LVLMs, logrando una eficiencia computacional drástica con una pérdida mínima de capacidad de razonamiento multimodal.