TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models

Imagina a una computadora intentando comprender una fotografía. Para hacer esto, la máquina descompone la imagen en miles de piezas diminutas, tratando cada pieza como una unidad distinta de información. A medida que estos modelos se han vuelto más sofisticados, han aprendido a procesar estas piezas con un detalle increíble, pero esto tiene un costo elevado. Cuanto más detallada es la imagen, más piezas debe retener la computadora en su memoria a corto plazo para darles sentido. Esto crea un cuello de botella: la computadora se queda sin espacio o tarda demasiado en pensar, especialmente cuando la imagen es de alta resolución o cuando la conversación requiere una respuesta larga y detallada. Durante años, los investigadores han intentado resolver esto enseñándole a la computadora a ignorar las piezas menos importantes de la imagen, con la esperanza de conservar las inteligentes y descartar el resto.

Sin embargo, un nuevo estudio sugiere que la forma en que los científicos han estado probando estas estrategias de "ignorar" ha sido fundamentalmente errónea. Durante mucho tiempo, el campo se ha basado en pruebas donde la computadora solo necesitaba dar una respuesta de una sola palabra, como elegir una letra de una lista de opción múltiple o decir "sí" o "no". Los investigadores detrás de este nuevo trabajo, llamado TwinPrune, descubrieron que estas pruebas simples solo miden qué tan bien entiende la computadora la imagen al puro principio del proceso. No logran detectar lo que sucede cuando la computadora tiene que seguir hablando, utilizando su memoria para generar oraciones largas. De hecho, el estudio muestra que un método podría parecer perfecto en estas pruebas simples mientras falla completamente cuando se le pide que escriba una descripción más larga, porque las pruebas simples nunca llegan a verificar realmente la parte de la memoria del proceso.

Para solucionar esto, el equipo desarrolló una nueva forma de decidir qué piezas de una imagen valen la pena conservar. En lugar de observar cuánto destaca una pieza de la imagen respecto a una pregunta específica, observaron qué tan única es una pieza en comparación con sus vecinos inmediatos. Si un parche de la imagen se ve muy similar a los parches que lo rodean, es probable que sea redundante y pueda ser eliminado de forma segura. Si se ve diferente, es probable que contenga información importante. Esta puntuación de "densidad" se calcula una vez al principio y luego se utiliza para dos tareas diferentes. Primero, ayuda a la computadora a fusionar piezas similares de la imagen antes de que comience a pensar, lo que ahorra potencia de cómputo. Segundo, ayuda a la computadora a decidir qué piezas de información debe desechar de su memoria mientras escribe una respuesta larga, asegurando que conserve los detalles más únicos y útiles.

Los investigadores probaron este enfoque en varios tipos de modelos de visión y lenguaje, que van desde sistemas pequeños hasta sistemas masivos con miles de millones de parámetros. Compararon su método contra las técnicas existentes más fuertes, utilizando tanto las pruebas viejas y simples como las nuevas y más exigentes pruebas que requieren respuestas largas. En las pruebas simples, su método funcionó tan bien como los mejores competidores. Pero en las pruebas exigentes, donde la computadora tenía que generar oraciones completas, la diferencia fue drástica. Mientras que otros métodos causaban que la precisión de la computadora colapsara cuando se le pedía ser concisa, el nuevo método mantenía una alta precisión incluso al conservar solo una fracción mínima de los datos originales de la imagen. Por ejemplo, en un benchmark específico que involucraba texto en imágenes, el nuevo método superó a la siguiente mejor técnica por casi diez puntos porcentuales cuando la memoria estaba severamente restringida.

Quizás lo más importante es que el estudio reveló que la vieja forma de probar había estado ocultando un problema mayor. Cuando los investigadores eliminaron toda la memoria visual de la computadora durante la fase de escritura, las pruebas simples mostraron casi ningún cambio en el rendimiento, mientras que las pruebas de respuestas largas mostraron una caída masiva en la calidad. Esto demostró que las pruebas simples eran ciegas ante lo que más importa para el uso en el mundo real: la capacidad de recordar y recuperar información durante una conversación larga. El nuevo método, al utilizar una regla única y consistente para gestionar tanto el pensamiento inicial como la memoria a largo plazo, logró acelerar el procesamiento inicial de la computadora en más de tres veces, además de reducir significamente la huella de memoria.

Los hallazgos sugieren que el campo ha estado optimizando la métrica equivocada. Al cambiar el enfoque hacia pruebas que requieren respuestas completas y de formato largo, los investigadores han demostrado que es posible hacer que estas computadoras poderosas sean mucho más rápidas y eficientes sin sacrificar su capacidad para comprender escenas complejas. El enfoque funciona de manera consistente a través de diferentes tamaños de modelos, desde dispositivos pequeños hasta las supercomputadoras más grandes, y no requiere que la computadora sea reentrenada. Ofrece un camino práctico hacia adelante para el despliegue de estos sistemas avanzados en dispositivos cotidianos, asegurando que puedan manejar imágenes de alta resolución y conversaciones largas sin quedarse sin aliento.