Do Vision Language Models Need to Process Image Tokens?

Resumen Técnico: ¿Necesitan los VLMs procesar tokens de imagen?

1. Problema y Motivación

Los Modelos de Lenguaje Visuales (VLMs) actuales integran codificadores visuales potentes con Grandes Modelos de Lenguaje (LLMs). En la arquitectura estándar, una imagen se divide en parches y se procesa para generar una secuencia densa de tokens de imagen, que luego se proyectan en el espacio de incrustaciones del modelo de lenguaje y se procesan a través de todas las capas profundas del transformador.

A pesar de su éxito, existe una incertidumbre fundamental:

• ¿Es realmente necesario procesar los tokens de imagen a través de todas las capas profundas del modelo?
• ¿Las representaciones visuales evolucionan significativamente desde las primeras hasta las últimas capas, o se estabilizan tempranamente?
• La literatura sugiere que las señales visuales podrían estar subutilizadas, con los tokens de texto dominando las predicciones finales, lo que genera un alto costo computacional innecesario.

El objetivo de este trabajo es investigar la función funcional de los tokens de imagen, cuestionando la suposición de que el procesamiento visual profundo es uniformemente esencial.

2. Metodología

Los autores adoptan una perspectiva centrada en la representación en lugar de solo evaluar el rendimiento a nivel de tarea. Analizan la evolución estructural de los tokens de imagen y texto a través de la profundidad del decodificador del VLM.

Modelos y Datos:

• Se evaluaron tres familias de VLMs: LLaVA-1.5, Qwen2.5-VL e InternVL, con escalas de parámetros de 3B a 72B.
• Se utilizaron conjuntos de datos como BLINK, ChartQA, Flickr8k y M3CoT.

Métricas de Análisis Representacional:
Para cuantificar la evolución de las representaciones, se emplearon tres métricas complementarias a nivel de capa:

1. Entropía de Matriz (Matrix Entropy): Mide la concentración espectral. Una entropía baja indica que la energía se concentra en pocas direcciones (estructura comprimida), mientras que una alta indica diversidad espectral.
2. Dimensión Intrínseca (Intrinsic Dimensionality - ID): Estima el número mínimo de direcciones necesarias para describir la variación local en las incrustaciones, reflejando la complejidad de la variedad (manifold) independientemente del tamaño de la incrustación.
3. Curvatura de Trayectoria (Trajectory Curvature - TC): Cuantifica la desviación angular media entre los vectores de desplazamiento sucesivos entre capas. Una curvatura baja indica una evolución suave y consistente, mientras que una alta indica reconfiguraciones direccionales agudas.

Protocolos Experimentales:

• Sustitución de Capas: Reemplazar tokens de imagen de capas profundas con tokens de capas tempranas para probar la intercambibilidad funcional.
• Truncamiento Visual (Depth Truncation): Eliminar el procesamiento de tokens de imagen después de una capa de corte específica ($l_c$) y propagar solo los tokens de texto en las capas restantes.
• Ajuste Fino (Fine-Tuning): Utilizar distillation-based fine-tuning (LoRA) para intentar recuperar el comportamiento del modelo original después del truncamiento.
• Cadenas de Razonamiento: Comparar la generación de respuestas directas (un token) frente a cadenas de razonamiento explícitas (resumen, descripción, razonamiento, conclusión).

3. Contribuciones y Hallazgos Clave

El estudio responde a cinco preguntas de investigación (RQ) principales:

RQ1: ¿Cómo evolucionan las representaciones?

• Hallazgo: Las representaciones de los tokens de imagen se estabilizan tempranamente (en las primeras capas medias). La entropía, la dimensión intrínseca y la curvatura alcanzan un régimen de complejidad acotada y se mantienen casi constantes.
• Contraste: Los tokens de texto continúan reorganizándose dinámicamente a lo largo de toda la profundidad del modelo.
• Conclusión: Existe una asimetría estructural: la información visual se comprime y estabiliza rápidamente, mientras que la textual sigue transformándose.

RQ2: ¿La estabilización estructural implica intercambibilidad funcional?

• Hallazgo: Sí. Dado que las representaciones visuales se estabilizan, los tokens de imagen extraídos de diferentes capas profundas son funcionalmente intercambiables. Sustituir tokens de imagen de capas profundas por los de capas tempranas no degrada significativamente la semántica de salida.
• Contraste: Los tokens de texto no son intercambiables; su papel semántico depende críticamente de la capa específica.

RQ3: ¿Es la utilidad de los tokens de imagen dependiente de la tarea?

• Hallazgo: La necesidad de procesamiento visual profundo varía según la complejidad de la salida:
  • Predicción de un solo token (ej. VQA de opción múltiple): Es robusta al truncamiento temprano. Se pueden formar límites de decisión gruesos con poco procesamiento visual.
  • Generación de múltiples tokens (ej. Descripción/Captioning): Es altamente sensible al truncamiento. Requiere acceso sostenido a representaciones visuales a través de capas profundas para mantener la fidelidad léxica y semántica.
  • Razonamiento: La generación de cadenas de razonamiento estructuradas es incluso más sensible que la predicción simple, ya que requiere un condicionamiento visual repetido en múltiples pasos de decodificación.

RQ4: ¿Puede un modelo truncado recuperar su comportamiento mediante ajuste fino?

• Hallazgo: El ajuste fino (distillation) puede recuperar parcialmente el rendimiento, pero con limitaciones:
  • Funciona bien para tareas descriptivas (captioning) si se retiene suficiente profundidad visual.
  • Es menos efectivo para tareas de alineación visual-textual precisa (como respuestas estructuradas en ChartQA) si el truncamiento es agresivo en capas tempranas.
  • El ajuste fino reduce la variabilidad en diferentes estrategias de decodificación (greedy, sampling, etc.), estabilizando la generación.
  • Eficiencia: El ajuste fino permite alcanzar un rendimiento funcional alto con un presupuesto computacional significativamente menor, desplazando la frontera de eficiencia.

RQ5: ¿Compensa el razonamiento explícito la reducción de profundidad visual?

• Hallazgo: No. Contrariamente a la intuición, generar cadenas de razonamiento explícitas aumenta la dependencia de la profundidad visual.
• Mientras que una respuesta de un solo token requiere una decisión visual condicionada una vez, el razonamiento estructurado requiere un condicionamiento visual repetido a lo largo de varios pasos de decodificación. Por lo tanto, el truncamiento visual degrada más severamente las cadenas de razonamiento que las respuestas directas.

4. Resultados Cuantitativos y Gráficos Clave

• Figura 2: Muestra que la entropía, dimensión intrínseca y curvatura de los tokens de imagen se estabilizan (se aplanan) alrededor de la capa 10-15, mientras que los tokens de texto siguen fluctuando.
• Figura 3: Mapas de calor de similitud semántica que demuestran que la sustitución de tokens de imagen entre capas mantiene una similitud cercana a 1.0, a diferencia de los tokens de texto.
• Figura 4: Curvas de rendimiento vs. capa de corte. La generación de múltiples tokens (captioning) cae drásticamente si se corta el procesamiento visual temprano, mientras que la predicción de un solo token decae suavemente.
• Figura 8: Análisis de costo computacional (GFLOPs). Muestra que el ajuste fino permite recuperar el rendimiento con una reducción masiva en la fase de prefill (donde se procesan las imágenes), manteniendo el costo de decodificación similar.

5. Significado e Impacto

Este trabajo desafía el paradigma actual de las arquitecturas multimodales LLM, que asumen que el procesamiento visual profundo es uniformemente necesario. Sus implicaciones son:

1. Eficiencia Guiada por la Tarea: Permite diseñar estrategias de reducción de tokens adaptativas. Se puede reducir agresivamente el procesamiento visual para tareas de respuesta corta, pero debe preservarse para la generación de texto largo y razonamiento complejo.
2. Diagnóstico de Arquitectura: Introduce la "estabilización de representaciones" como una señal medible para identificar regiones de profundidad donde el cambio representacional es acotado, ofreciendo una herramienta para analizar arquitecturas multimodales.
3. Optimización de Despliegue: Dado que la mayor parte del costo computacional visual ocurre en la fase de prefill, el truncamiento inteligente de profundidad visual ofrece ahorros significativos de latencia y energía sin sacrificar la precisión en tareas específicas.
4. Comprensión de la Inferencia: Revela una desconexión estructural entre la geometría de la representación (que se estabiliza) y la suficiencia inferencial (que requiere profundidad para razonamiento iterativo).

En conclusión, los VLMs no necesitan procesar tokens de imagen en todas las capas para todas las tareas; la profundidad necesaria es dependiente de la tarea y de la complejidad de la generación, y el ajuste fino puede mitigar parcialmente las pérdidas por truncamiento, pero no elimina la necesidad de una base visual suficiente para tareas de alto razonamiento.