Los sistemas modernos de inteligencia artificial que pueden ver y hablar se están volviendo notablemente capaces, pero conllevan una pesada carga computacional. Estos modelos de visión y lenguaje funcionan convirtiendo primero una imagen en una larga secuencia de pequeñas piezas digitales, a menudo llamadas tokens, que representan diferentes partes de la imagen. Una fotografía estándar podría descomponerse en cientos de estas piezas. El sistema luego procesa toda esta secuencia junto con el texto, de forma muy similar a como un humano lee una oración mientras observa un diagrama. El problema es que las operaciones matemáticas necesarias para conectar estas piezas crecen exponencialmente a medida que aumenta el número de piezas. Si una imagen genera 576 tokens, la computadora debe realizar una cantidad masiva de trabajo para entender cómo se relacionan entre sí, incluso cuando muchos de esos tokens representan detalles de fondo poco importantes, como una pared en blanco o un parche de cielo. Esta ineficiencia hace que sea difícil ejecutar estos poderosos sistemas en hardware estándar o utilizarlos para tareas en tiempo real, como el análisis de video.

Los investigadores han intentado resolver esto durante mucho tiempo eliminando las piezas innecesarias antes de que el sistema comience a trabajar. Algunos métodos actúan como un filtro al principio, descartando tokens basándose únicamente en cómo se ve la imagen. Otros esperan hasta que el sistema ha comenzado a procesar el texto y la imagen juntos, eliminando las piezas que parecen irrelevantes para la pregunta específica planteada. Sin embargo, ambos enfoques tienen un punto ciego. Los filtros tempranos a menudo desechan detalles importantes porque no saben qué es lo que el usuario está preguntando, mientras que los filtros tardíos desperdician energía procesando la imagen completa antes de siquiera llegar a eliminar algo. Un nuevo estudio introduce un enfoque unificado que combina las fortalezas de ambos métodos, creando un camino más eficiente para que estos sistemas inteligentes sigan.

Los investigadores, liderados por Jianhua Cui y Meizhou Ding, desarrollaron un marco llamado UniPrune, que trata la reducción de tokens como un viaje de dos pasos en lugar de un evento único. Imagine intentar empacar una maleta para un viaje donde aún no conoce el clima exacto. No simplemente echaría todo dentro y esperaría lo mejor, ni intentaría decidir qué conservar después de haber empacado toda la maleta. En su lugar, primero podría agrupar artículos similares y conservar los más representativos, y luego, una vez que conozca su destino, realizaría una selección final más precisa. Esto es esencialmente lo que hace UniPrle. Primero realiza una limpieza amplia de los datos de la imagen utilizando patrones visuales y, luego, a medida que el sistema comienza a comprender el contexto de una pregunta, realiza una segunda limpieza más aguda.

El primer paso de este proceso ocurre justo después de que la imagen es escaneada y antes de que el modelo de lenguaje se involucre. El sistema agrupa los tokens visuales en grupos basados en su similitud, de forma muy parecida a clasificar una pila de fotos mixtas según su tema general. De cada grupo, conserva el token más importante y descarta el resto. Esto elimina las redundancias obvias, como múltiples tokens que representan el mismo parche de cielo azul. Sin embargo, los investigadores se dieron cuenta de que simplemente reducir el número de tokens a la mitad en esta etapa podría ser arriesgado. Si el sistema corta de forma demasiado agresiva demasiado pronto, podría perder un token que sea crucial para responder una pregunta específica más adelante. Para resolver esto, introdujeron una estrategia de presupuesto dinámico. En lugar de usar una regla fija para cuántos tokens mantener en este primer estadio, el sistema mide qué tan compleja es la imagen. Una imagen simple con un sujeto claro recibe un presupuesto más ajustado, mientras que una escena compleja y concurrida tiene permitido conservar más tokens. Esto asegura que el sistema retenga suficiente detalle para manejar preguntas difíciles sin desperdiciar energía en las simples.

Una vez realizada esta selección inicial, los tokens restantes se pasan al gran modelo de lenguaje, que comienza a procesarlos junto con el texto. Aquí, el sistema emplea una segunda estrategia de poda que funciona como una pirámide. A medida que los datos se mueven a través de las capas más profundas del modelo, el sistema elimina gradualmente más tokens. La lógica es que, a medida que el modelo comprende mejor la imagen en el contexto de la pregunta, resulta más claro qué piezas de información ya no son necesarias. Los investigadores descubrieron que la forma más efectiva de dividir el trabajo entre estos dos estadios no es dividir los tokens de manera uniforme, sino seguir un equilibrio matemático específico. Descubrieron que el número ideal de tokens a mantener después del primer estadio es aproximadamente la raíz cuadrada del producto del número inicial y el número objetivo final. Esta regla de oro, que llaman presupuesto consciente de la información, permite que el sistema encuentre un punto óptimo donde ahorra suficiente potencia de cómputo sin sacrificar la capacidad de responder preguntas con precisión.

Para asegurar que la primera etapa no elimine accidentalmente tokens que la segunda etapa habría encontrado útiles, los investigadores añadieron una tercera capa de inteligencia. Analizaron cómo los tokens visuales interactúan entre sí dentro del propio codificador de imagen. Descubrieron que algunos tokens actúan como integradores globales, conectando la información a través de toda la imagen, mientras que otros son solo detectores locales. Al dar un peso extra a estos integradores globales durante el primer corte, el sistema asegura que los tokens pasados al modelo de lenguaje formen una base de alta calidad. Esta "continuidad entre etapas" significa que la segunda etapa tiene un mejor punto de partida, lo que le permite tomar decisiones más inteligentes sobre qué eliminar más tarde.

Los resultados de las pruebas de este marco de trabajo en dos familias principales de modelos de visión y lenguaje fueron sorprendentes. Cuando los investigadores llevaron los sistemas a límites extremos, manteniendo solo una fracción mínima de los tokens originales —a veces tan pocos como 24 de 576—, el nuevo método superó significativamente a las técnicas existentes. Los métodos de una sola etapa, que intentan realizar todo el recorte a la vez, vieron caer su precisión drásticamente bajo estas condiciones. En contraste, el enfoque de dos etapas de UniPrune mantuvo un alto rendimiento, respondiendo correctamente preguntas sobre objetos y escenas que otros métodos pasaron por alto. Por ejemplo, en una prueba estándar de comprensión visual, el nuevo método retuvo más del 90% del rendimiento del modelo completo, sin compresión, mientras utilizaba solo una fracción de la potencia de cómputo.

Más allá de la precisión, el estudio también midió los beneficios prácticos para ejecutar estos modelos en hardware real. Al reducir el número de tokens temprano en el proceso, el sistema redujo drásticamente la memoria pico requerida para ejecutar el modelo. Este es un factor crítico para desplegar estas tecnologías en dispositivos con recursos limitados. Los investigadores calcularon que el nuevo método redujo el trabajo computacional total en más de la mitad en comparación con la ejecución del modelo sin ninguna poda, e incluso más en comparación con los métodos que esperan hasta el final para cortar los tokens. La sobrecarga añadida por los nuevos mecanismos de puntuación y presupuesto inteligente fue insignificante, ocupando menos del uno por ciento del tiempo total, lo que significa que las ganancias de eficiencia son casi puramente netas.

El estudio sugiere que la clave para una inteligencia artificial eficiente no es solo recortar esquinas, sino entender dónde y cuándo recortar. Al reconocer que la redundancia visual viene en dos formas diferentes —una basada en la propia imagen y otra basada en la tarea en cuestión—, los investigadores crearon un sistema que gestiona ambas. Los hallazgos indican que un enfoque unificado de múltiples etapas es superior a intentar resolver el problema en un solo paso. Este trabajo proporciona un camino claro hacia la creación de modelos de visión y lenguaje más rápidos y accesibles, demostando que con la estrategia adecuada, podemos despojarnos del exceso sin perder la esencia de lo que hace inteligentes a estos sistemas.