What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models

Este trabajo introduce la herramienta EmbedLens para revelar que los tokens visuales en los modelos multimodales presentan una marcada esparsidad semántica, donde solo un subconjunto "vivo" contiene información significativa, lo que demuestra que la mayoría de las computaciones visuales internas son redundantes y que la inyección directa en capas intermedias del LLM es suficiente para tareas complejas, permitiendo así arquitecturas más eficientes mediante la poda selectiva y la reducción de cálculos.

Lo esencial

Imagina que un Modelo de Lenguaje Multimodal (MLLM) es como un traductor muy inteligente que intenta entender una foto y contarte una historia sobre ella. Para hacer esto, el modelo primero convierte la foto en una larga lista de "trozos" digitales (llamados tokens visuales) y luego los pasa a su cerebro de lenguaje para que los lea.

La pregunta que se hacen los autores de este paper es: ¿Qué es lo que realmente están "pensando" esos trozos de la foto antes de entrar al cerebro del modelo?

Aquí tienes la explicación sencilla, usando analogías de la vida real:

1. El Gran Descubrimiento: No todos los trozos son iguales

Imagina que la foto es un mapa del tesoro. Tradicionalmente, pensábamos que cada trozo de la foto (cada "token") era una pieza valiosa del mapa. Pero los autores descubrieron que el 40% de esos trozos son basura.

Dividen los trozos en tres grupos, como si fueran invitados a una fiesta:

• Los "Huecos" (Sink Tokens): Son como los guardias de seguridad en la puerta. Siempre están ahí, siempre hacen lo mismo, sin importar si en la foto hay un perro, un coche o un paisaje. No traen información de la foto, solo sirven para que la fiesta (el modelo) funcione ordenadamente. Si los quitas, la fiesta sigue igual.
• Los "Muertos" (Dead Tokens): Son como los invitados que se quedaron dormidos en el sofá. Están en la foto, pero no dicen nada, no miran nada y no interactúan con nadie. Son puro ruido. De hecho, si los quitas, ¡la fiesta funciona mejor porque hay menos distracciones!
• Los "Vivos" (Alive Tokens): ¡Estos son los únicos que importan! Son como los invitados que realmente están bailando y contando historias. Solo representan el 60% de la foto, pero son los únicos que realmente describen el objeto, el color o el texto de la imagen.

La moraleja: La mayoría de la información visual que entra al modelo es redundante. El modelo está cargando con un equipaje innecesario.

2. El Secreto de los "Vivos": Ya saben hablar

Lo más sorprendente es que los "tokens vivos" ya llegan casi listos para hablar.

Imagina que tienes un traductor que recibe notas escritas en un idioma extraño. Normalmente, pensabas que el traductor tenía que trabajar duro para descifrar cada nota. Pero los autores descubrieron que, para la mayoría de las tareas, la nota ya está escrita en un idioma que el traductor entiende perfectamente.

• Si la foto tiene un "gato rojo", el token "vivo" ya trae la idea de "gato" y "rojo" empaquetada.
• El cerebro del modelo (el LLM) no necesita "pensar" mucho para entenderlo; solo necesita leerlo.

3. El Viaje Innecesario: ¿Por qué dar tantas vueltas?

Aquí viene la parte más divertida. El modelo suele hacer que estos trozos de la foto pasen por muchas capas de procesamiento (como pasar por varios filtros de seguridad o salas de espera) antes de que el cerebro de lenguaje los lea.

Los autores descubrieron que esto es una pérdida de tiempo.

• La analogía: Es como si fueras a un restaurante y el camarero te pidiera que te sentaras en la sala de espera, luego en la cocina, luego en el baño, y solo después te llevaran a tu mesa para comer.
• El hallazgo: Los "tokens vivos" ya están listos para ser leídos en la mitad del camino. Si los metes directamente en la mitad del cerebro del modelo (saltándose las primeras capas), el modelo funciona igual de bien, e incluso a veces mejor, porque evita que se "ensucien" con información innecesaria.

4. El Error de Color: La trampa del contexto

El estudio también encontró un defecto curioso. A veces, el modelo confunde el color de un objeto con el color de lo que lo rodea.

• Ejemplo: Si ves una letra "A" negra sobre un fondo verde, el modelo a veces piensa que la letra es verde.
• ¿Por qué? Porque el modelo es un poco "perezoso" y mira el color dominante de toda la zona (el fondo) en lugar de enfocarse solo en el objeto. Es como si alguien te preguntara "¿De qué color es tu camisa?" y tú respondieras "Verde" porque estás sentado en un sofá verde, olvidándote de tu camisa roja.

¿Qué significa todo esto para el futuro?

Los autores nos dicen que podemos hacer estos modelos más rápidos, más baratos y más inteligentes haciendo tres cosas simples:

1. Podar el jardín: Eliminar los "Huecos" y los "Muertos" (el 40% de la basura) antes de que entren al cerebro.
2. Cortar el camino: No hacer que la información visual pase por todas las capas del modelo; inyectarla directamente en la mitad, donde es más útil.
3. Entender mejor: Saber que el modelo no necesita "pensar" tanto sobre la imagen porque la imagen ya le llega casi lista.

En resumen: Los modelos actuales están cargando con mucho equipaje innecesario y dando vueltas de más. Si les quitamos la basura y les damos un atajo directo, seguirán siendo genios, pero serán mucho más eficientes.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "What Do Visual Tokens Really Encode? Uncovering Sparsity and Redundancy in Multimodal Large Language Models" (¿Qué codifican realmente los tokens visuales? Desvelando la escasez y la redundancia en Modelos de Lenguaje Grandes Multimodales), traducido y adaptado al español.

---

1. Problema y Motivación

Los Modelos de Lenguaje Grandes Multimodales (MLLMs) actuales proyectan características visuales (obtenidas de un codificador de visión como CLIP) en el espacio de incrustaciones de un modelo de lenguaje (LLM). Sin embargo, existe una tensión estructural fundamental:

• Desalineación: Los codificadores visuales se entrenan para alinear la imagen globalmente con el texto, mientras que los MLLMs procesan la información como una secuencia de "parches" (tokens) locales.
• Desconocimiento: No se comprende bien cómo se distribuye la semántica visual global entre estos tokens locales. ¿Todos los parches contienen información significativa? ¿O los tokens visuales requieren un procesamiento extenso por parte del LLM para ser entendidos, o ya llegan "pre-lingüísticos"?

El objetivo del trabajo es diseccionar la estructura interna de los tokens visuales en la entrada del LLM para entender su organización, redundancia y papel en el razonamiento multimodal.

2. Metodología

Los autores proponen un marco analítico de dos niveles, centrado en un nuevo herramienta de sondeo llamada EmbedLens:

• EmbedLens: Una herramienta de sondeo semántico que opera directamente en el espacio de incrustaciones de entrada. En lugar de usar la matriz de desencriptado (unembedding) para convertir representaciones suaves en texto, EmbedLens mide la similitud (coseno) entre un token visual proyectado y todas las incrustaciones del vocabulario del modelo. Esto permite identificar qué conceptos textuales están intrínsecamente codificados en un token visual específico.
• Análisis de Agrupamiento (Clustering): Se aplica un agrupamiento basado en similitud a las incrustaciones visuales post-proyección para identificar patrones macroestructurales.
• Benchmarks de Compresión y Pruning: Se diseñan experimentos para eliminar selectivamente tokens (agrupados en categorías) o capas del modelo (skipping) y medir el impacto en el rendimiento en tareas de VQA, OCR y detección de alucinaciones.

3. Hallazgos Clave y Contribuciones

El estudio revela una escasez semántica pronunciada y una redundancia masiva en los tokens visuales, clasificándolos en tres categorías funcionales distintas:

A. Tripartición de Tokens Visuales

1. Tokens "Sink" (Sumidero):

   • Características: Son agnósticos a la imagen (sus incrustaciones son casi idénticas independientemente de la entrada).
   • Origen: Se originan tanto en el codificador visual (ViT sinks) como en el LLM (LLM sinks).
   • Función: Actúan como marcadores estructurales para estabilizar la distribución de la atención, pero no transportan semántica específica de la imagen.
   • Hallazgo: Pueden eliminarse sin pérdida de rendimiento; de hecho, la atención que recibían se redistribuye a otros tokens de texto sin afectar la tarea.

2. Tokens "Dead" (Muertos):

   • Características: También son independientes de la imagen y altamente repetitivos, pero a diferencia de los "sink", reciben atención mínima y no influyen en el cálculo.
   • Función: Son residuos computacionales inertes. Representan aproximadamente el 30% de los tokens de entrada.
   • Hallazgo: Su eliminación mejora ligeramente el rendimiento al reducir el ruido.

3. Tokens "Alive" (Vivos):

   • Características: Agrupados cerca del centroide semántico del texto. Son los únicos que transportan significado específico de la imagen.
   • Proporción: Constituyen solo alrededor del 60% de los tokens de entrada.
   • Hallazgo: Estos tokens ya codifican información rica y de grano fino (objetos, colores, OCR) antes de entrar al LLM. Son unidades de información densas y "pre-lingüísticas".

B. Redundancia en el Procesamiento Interno

• Computation Redundancy: Para la mayoría de las tareas estándar (VQA general, OCR, mitigación de alucinaciones), las capas internas de procesamiento visual exclusivo (Self-Attention visual y FFN visual) dentro del LLM son innecesarias.
• Efecto Contraproducente: Procesar estos tokens a través de las primeras capas del LLM puede introducir sesgos (ej. predecir el color de un objeto basándose en el fondo en lugar del objeto mismo).
• Alineación de Capas: Los tokens "vivos" ya están alineados con las representaciones de las capas medias del LLM, no con el espacio de incrustaciones inicial. Las capas superficiales apenas transforman estos tokens y pueden degradar el rendimiento si se fuerzan a pasar por ellas.

C. Benchmark de Multi-Trajectoria

Los autores demostraron que un solo token visual puede codificar múltiples atributos semánticos simultáneamente (identidad del objeto, color, conteo). Sin embargo, los modelos sufren de sesgo contextual de color, donde a menudo asocian el color con el fondo dominante en lugar del objeto, debido a estadísticas superficiales en lugar de una comprensión arraigada.

4. Resultados Experimentales

• Eliminación de Tokens: Eliminar los tokens "Sink" y "Dead" (aprox. 40% del total) no reduce el rendimiento y, en algunos casos, lo mejora.
• Salto de Capas (Layer Skipping): Saltar las primeras 6 capas visuales del LLM mantiene o mejora el rendimiento en tareas generales, confirmando que el procesamiento temprano es redundante.
• Inyección Media: Para tareas que sí requieren procesamiento visual interno (como razonamiento espacial centrado en visión), la inyección directa de tokens visuales en las capas medias del LLM es suficiente y más eficiente que pasarlos por todo el modelo desde la entrada.
• Robustez: Los resultados se validaron en múltiples familias de modelos (LLaVA, Qwen-VL, InternVL).

5. Significado e Impacto

Este trabajo proporciona una visión mecanicista unificada del procesamiento de tokens visuales, desafiando la suposición de que todos los tokens visuales son igualmente importantes o que requieren un procesamiento profundo del LLM.

Implicaciones prácticas:

1. Arquitecturas Eficientes: Se pueden diseñar MLLMs más ligeros mediante la poda selectiva de tokens (eliminando "sink" y "dead") y la reducción de la computación visual interna.
2. Inyección Tardía/Media: Sugiere que los proyectores deben mapear visualmente las incrustaciones directamente a las capas medias del LLM, evitando las capas superficiales redundantes.
3. Interpretabilidad: Ofrece herramientas (EmbedLens) para entender y depurar el comportamiento semántico de los modelos multimodales, identificando fuentes de alucinaciones y sesgos.

En resumen, el paper demuestra que la mayoría de la "inteligencia" visual ya está presente en la proyección inicial (en los tokens "vivos"), y que gran parte de la arquitectura actual de los MLLMs es redundante para la mayoría de las tareas, abriendo la puerta a sistemas más rápidos, eficientes y comprensibles.