Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding

Resumen Técnico: ¿Por qué y cuándo falla la poda de tokens visuales?

1. El Problema: La Brecha entre Comprensión Visual y Razonamiento

Los Modelos de Lenguaje Grandes Multimodales (MLLMs) dependen de una gran cantidad de tokens visuales generados por codificadores de visión, lo que impone una carga computacional y de memoria prohibitiva. Para mitigar esto, se han desarrollado métodos de poda de tokens visuales (visual token pruning) que eliminan tokens redundantes antes de la fase de decodificación.

Sin embargo, el artículo identifica una falla crítica:

• Éxito en Comprensión Simple: Los métodos existentes funcionan bien en tareas de comprensión visual básica (como VQA - Visual Question Answering), donde la información relevante se concentra en regiones específicas y estáticas de la imagen.
• Fallo en Razonamiento Complejo: Estos mismos métodos sufren un deterioro drástico en tareas de razonamiento visual complejo (como matemáticas visuales, lógica y STEM). En estas tareas, el modelo necesita realizar inferencias paso a paso, lo que requiere acceder a diferentes partes de la imagen a medida que avanza el proceso de generación.

La premisa subyacente de los métodos actuales (poda estática en la etapa de prefill) es incorrecta para el razonamiento: asumen que la información visual necesaria se identifica una sola vez al inicio y permanece suficiente durante toda la generación.

2. Hallazgo Clave: El Desplazamiento de la Información Visual Relevante (RVIS)

A través de un análisis sistemático de los mapas de atención, los autores descubren un fenómeno nuevo denominado Relevant Visual Information Shift (RVIS) o Desplazamiento de la Información Visual Relevante.

• Definición: Durante la etapa de decodificación en tareas de razonamiento, el foco de atención visual del modelo no es estático. A medida que el modelo genera tokens de texto y avanza en pasos lógicos, su atención se desplaza dinámicamente hacia diferentes regiones de la imagen para obtener nueva evidencia visual.
• Contraste: En tareas de VQA simple, la atención permanece estable en las regiones identificadas inicialmente. En tareas de razonamiento (VMR), la atención cambia frecuentemente y drásticamente.
• Causa del Fallo: Los métodos de poda actuales descartan permanentemente los tokens no seleccionados en la etapa de prefill. Cuando ocurre un RVIS y el modelo necesita información de una región que fue podada, el modelo falla porque la información crítica ya no está disponible.

3. Metodología Propuesta: DSTP (Decoding-stage Shift-aware Token Pruning)

Para abordar el RVIS, los autores proponen DSTP, un marco de trabajo sin entrenamiento (training-free) y aditivo que se integra sobre los métodos de poda existentes. DSTP consta de dos módulos principales:

1. Detección de Desplazamiento de Información Relevante (RISD):

   • Monitorea la similitud coseno entre el vector de atención inicial (etapa prefill) y la atención actual en cada paso de decodificación.
   • Si la similitud cae por debajo de un umbral ($\tau$), el sistema detecta que ha ocurrido un RVIS (el foco visual ha cambiado).

2. Intercambio de Tokens Visuales Preservando el Contexto (CPTS):

   • Recuperación: Cuando se detecta un RVIS, el módulo CPTS reevalúa los tokens visuales que fueron descartados previamente (mantenidos en un conjunto de reserva) junto con los tokens retenidos.
   • Selección Dinámica: Selecciona los nuevos tokens más relevantes para el paso de razonamiento actual.
   • Preservación de Contexto: En lugar de reemplazar completamente los tokens actuales (lo que rompería la coherencia semántica), DSTP realiza una unión de los tokens iniciales con los nuevos tokens relevantes. Esto crea un conjunto temporalmente expandido que mantiene el contexto global mientras añade la información local necesaria.
   • Reversión: Después de una duración de contexto definida ($L$), el sistema vuelve al conjunto de tokens inicial para mantener la eficiencia a largo plazo.

4. Resultados Experimentales

Los autores evaluaron DSTP en modelos de última generación (Qwen3-VL, InternVL3.5) y diversos benchmarks:

• Rendimiento en Razonamiento Visual (VMR):

  • Los métodos de poda estática (FastV, DivPrune, VisionZip) mostraron caídas severas de rendimiento (ej. de ~60% a ~30% en MathVerse).
  • DSTP recuperó masivamente el rendimiento, acercándose o superando el rendimiento del modelo sin poda (Vanilla). Por ejemplo, en Qwen3-VL con FastV, DSTP mejoró la precisión de 32.23% a 52.54% en MathVerse.
  • La mejora fue más pronunciada en tareas de alta complejidad visual (MathVerse, MMMU-Pro).

• Rendimiento en Comprensión Visual (VQA):

  • DSTP mantuvo o mejoró ligeramente el rendimiento en benchmarks de comprensión simple (SQA, GQA), demostrando que no degrada las tareas donde la poda estática ya es efectiva.

• Eficiencia Computacional:

  • Bajo Costo: DSTP introduce un sobrecosto computacional mínimo. El análisis de TFLOPs y latencia muestra que DSTP es significativamente más eficiente que el modelo completo (Vanilla) y comparable al método de poda base, pero con una precisión muy superior.
  • Latencia: En algunos casos, DSTP redujo la latencia por ejemplo al evitar que el modelo genere razonamientos redundantes o incorrectos debido a la falta de información visual.

5. Contribuciones Clave

1. Identificación del RVIS: Es el primer trabajo que identifica el "Desplazamiento de la Información Visual Relevante" durante la decodificación como la causa principal del fallo de los métodos de poda en tareas de razonamiento.
2. Marco DSTP: Propone una solución práctica y sin entrenamiento que adapta dinámicamente los tokens visuales durante la generación, alineando la información visual con los requisitos de razonamiento cambiantes.
3. Generalización: Demuestra que DSTP funciona como un módulo "plug-and-play" compatible con diversas arquitecturas de MLLM y estrategias de poda existentes.

6. Significado e Impacto

Este trabajo cambia el paradigma de la compresión de tokens visuales. Sugiere que la poda no puede ser un proceso estático realizado solo al inicio (prefill). Para que los MLLMs sean eficientes y capaces de razonamiento complejo, deben ser adaptativos, permitiendo la recuperación de información visual crítica en tiempo real durante la decodificación. DSTP ofrece una vía para desbloquear el potencial de razonamiento de los MLLMs sin sacrificar la eficiencia computacional, cerrando la brecha entre la velocidad de inferencia y la inteligencia lógica.