Not All Redundant Tokens Are Alike: Analyzing Visual Token Pruning through Token Roles

Imagina que estás intentando enseñarle a un robot superinteligente cómo entender el mundo mostrándole imágenes. Para hacer esto, el robot no solo "ve" la imagen como un humano; la descompone en miles de diminutas piezas de rompecabezas digitales llamadas "tokens". Piensa en estos tokens como notas individuales en una orquesta masiva y caótica. El robot tiene que escuchar cada una de las notas para entender la canción. Pero aquí está el problema: para imágenes de alta resolución, esa orquesta es tan grande que ralentiza al robot, volviéndolo lento y hambriento de memoria informática.

Los científicos han estado tratando de solucionar esto enseñándole al robot a ignorar las notas "aburridas", aquellas que parecen repetirse o que no aportan mucho significado. Esto se llama "poda de tokens" (token pruning). Es como un director diciéndole a la orquesta que deje de tocar las notas que suenan igual, con la esperanza de que la música siga sonando perfecta pero se ejecute mucho más rápido. Recientemente, una nueva herramienta llamada "EmbedLens" ayudó a los investigadores a darse cuenta de que estos tokens no son todos iguales. Algunos están "vivos" (portando la verdadera historia de la imagen), algunos son "sumideros" (patrones repetitivos que simplemente están ahí sentados) y otros están "muertos" (ruido completamente redundante). La gran pregunta era: si sabemos cuáles son los tokens "muertos", ¿podemos simplemente tirarlos todos para acelerar las cosas?

Este artículo, titulado "No todos los tokens redundantes son iguales", profundiza en esa misma cuestión. Los investigadores analizaron de cerca cómo los diferentes métodos de poda deciden qué tokens eliminar. Descubrieron algo sorprendente: los métodos que intentan cortar los tokens "muertos" no siempre funcionan mejor que los que no lo hacen. De hecho, sus experimentos sugieren que incluso los tokens "muertos" podrían estar haciendo algo importante tras bambalinas, como mantener unida a la orquesta. Al proteger estos tokens "muertos" de ser eliminados, el robot a veces incluso se volvió mejor respondiendo preguntas, no peor. Resulta que, aunque un token parezca inútil por sí solo, no significa que sea seguro desecharlo; a veces, el grupo entero debe permanecer unido para que la música suene bien.

La historia de la orquesta digital

Para entender por qué esto es importante, veamos cómo funcionan estos Modelos de Visión-Lenguaje (VLM). Imagina que tienes un robot que puede leer y ver. Cuando le muestras la foto de un gato, el "ojo" del robot (un codificador de visión) descompone esa foto en una larga lista de pequeños fragmentos de datos. Estos fragmentos se entregan luego al "cerebro" del robot (un modelo de lenguaje grande) para que este comprenda qué está haciendo el gato.

El problema es que una sola foto puede generar cientos de estos fragmentos. Si tienes un video o una imagen muy detallada, la lista se vuelve tan larga que el robot se siente abrumado. Tarda demasiado en procesar la primera parte de la imagen (llamada "latencia de prellenado"), consume demasiada memoria y gasta mucha energía. Para solucionar esto, los investigadores desarrollaron la "poda de tokens". Esto es como un editor inteligente que mira la lista de fragmentos y dice: "Está bien, no necesitamos estas 500 copias del mismo cielo azul; dejemos solo 50".

Durante un tiempo, todos asumieron que la regla era simple: "Mantén lo interesante, desecha lo aburrido". Recientemente, una herramienta llamada EmbedLens cambió las reglas del juego. Miró dentro del cerebro del robot y descubrió que los tokens se dividen en tres grupos distintos:

1. Tokens Vivos: Estos son las estrellas. Portan los detalles específicos de la imagen, como "pelaje suave" o "hierba verde".
2. Tokens Sumidero: Estos son como el zumbido de fondo. Son repetitivos y no hablan realmente de la imagen específica, pero son estables y siempre están ahí.
3. Tokens Muertos: Este es el ruido definitivo. Parecen no tener conexión alguna con la imagen o con las palabras.

La suposición lógica era: "¡Si tenemos Tokens Muertos, eliminémoslos! ¡Son inútiles!".

El gran experimento de poda

Los autores de este artículo decidieron probar esa suposición. Tomaron tres métodos de poda populares (FastV, DART y DivPrune) y preguntaron: "¿Cuando recortas el número de tokens, cuáles estás cortando realmente?".

Realizaron estos métodos en diez conjuntos de prueba diferentes, que iban desde preguntas simples como "¿De qué color es el coche?" hasta complejas preguntas científicas. Rastrearon exactamente cuántos tokens "Vivos", "Sumidero" y "Muertos" se eliminaban en diferentes niveles de recorte (desde el 12.5% hasta el 87.5% de los tokens eliminados).

Lo que encontraron fue un poco caótico.
Los diferentes métodos de poda no se ponían de acuerdo sobre qué era "inútil".

• DivPrune era muy agresivo al cortar los tokens "Muertos". Parecía seguir la regla: "Elimina el ruido".
• FastV y DART, sin embargo, eran extrañamente protectores con los tokens "Sumidero". Mantenían el repetitivo zumbido de fondo aunque pareciera redundante.

Aquí está el giro: Que un método cortara más tokens "Muertos" no significaba que funcionara mejor. De hecho, DivPrune (que cortó la mayor cantidad de tokens muertos) era a veces el mejor, pero a veces FastV (que mantuvo los tokens muertos) era mejor. No había una coincidencia perfecta entre "cortar lo inútil" y "obtener una buena puntuación".

La sorpresa de "Proteger lo Muerto"

Para entender por qué estaba sucediendo esto, los investigadores realizaron un experimento ingenioso. En lugar de dejar que los métodos de poda decidieran, obligaron al robot a mantener tipos específicos de tokens. Dijeron: "Está bien, FastV, puedes cortar lo que quieras, pero debes mantener todos los Tokens Muertos".

Esperaban que el rendimiento cayera. Después de todo, si los Tokens Muertos son inútiles, mantenerlos debería simplemente desperdiciar espacio y confundir al robot.

El resultado: No cayó. En muchos casos, subió.

• Cuando protegieron los tokens Vivos, el rendimiento mejoró (lo cual tiene sentido).
• Pero cuando protegieron los tokens Muertos, el rendimiento del robot en realidad mejoró aproximadamente un 0.93% en promedio para el método DivPrune.

Esto fue un shock. Sugirió que, aunque un solo token "Muerto" pueda parecer basura, eliminar todos de golpe podría romper algo más.

El director de la orquesta oculto

¿Por qué mantener tokens "inútiles" ayudaría? Los autores analizaron cómo los tokens se comunicaban entre sí mediante algo llamado atención. Imagina que los tokens son músicos pasándose notas unos a otros.

Descubrieron que, aunque un solo token "Muerto" no recibe mucha atención (no es un solista), hay tantos de ellos que, como grupo, ocupan una enorme parte del "presupuesto de atención". Son como un enorme coro de cantantes de apoyo. Si los cortas a todos, los músicos restantes (los tokens Vivos) pierden su contexto. Los tokens "Muertos" podrían no estar cantando la melodía, pero están manteniendo el ritmo y la estructura de la canción.

Cuando los investigadores protegieron los tokens Muertos, los patrones de atención entre los tokens restantes se mantuvieron más equilibrados. Los tokens "Vivos" aún podían interactuar correctamente porque los tokens "Muertos" seguían allí para dar soporte a la estructura.

La conclusión

El artículo sugiere que no podemos simplemente mirar un token y decir: "Eres muerto, vete". No es tan sencillo. Los tokens "Muertos" pueden ser débiles por sí solos, pero son fuertes como grupo.

Los autores concluyen que una poda efectiva no debería tratar solo de encontrar los tokens más importantes. Debe tratarse de la composición. Debemos asegurarnos de no despojar accidentalmente a un sistema de toda una categoría de tokens que, aunque individualmente aburridos, son esenciales para que el grupo funcione. Es un recordatorio de que, en un sistema complejo como una IA, incluso las partes "redundantes" podrían estar haciendo un trabajo que aún no comprendemos del todo.

Así que la próxima vez que pienses en limpiar una habitación desordenada, recuerda: a veces, las cosas que piensas que son solo desorden son en realidad las que sostienen el estante.