💻 computer science

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

CRISP es un marco de poda de tokens visuales impulsado por texto y previo a los LLM que utiliza un pipeline de dos etapas para identificar tokens relevantes para la instrucción y mejorar la diversidad semántica, logrando retener más del 99.5% de la precisión mientras reduce la latencia de inferencia en más de 2x para los Grandes Modelos de Lenguaje-Visión.

Autores originales: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Publicado 2026-07-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un misterio, pero en lugar de unos pocos pistas, te entregan una biblioteca que contiene millones de libros, todos abiertos a la vez. Así es esencialmente como funcionan los modernos "Modelos de Lenguaje y Visión de Gran Escala" (LVLM, por sus siglas en inglés). Estos son programas informáticos superinteligentes que pueden mirar una imagen y responder preguntas sobre ella, como un detective digital. Para hacer esto, descomponen la imagen en miles de diminutas piezas digitales llamadas "tokens". Piensa en estos tokens como piezas individuales de un rompecabezas. El problema es que la computadora intenta leer cada una de las piezas del rompecabezas, incluso las que son solo cielo azul o un suelo vacío, antes siquiera de mirar tu pregunta. Esto hace que el proceso sea increíblemente lento y hambriento de potencia de cómputo, como intentar leer una enciclopedia entera solo para averiguar de qué color es el collar del gato.

Durante mucho tiempo, los científicos intentaron acelerar esto ya sea descartando piezas del rompecabezas al azar (lo que a veces borraba el collar del gato) o esperando hasta que la computadora ya hubiera comenzado a leer todo el libro antes de decidir qué omitir (lo cual era demasiado tarde para ahorrar tiempo). La gran pregunta era: ¿Podríamos enseñarle a la computadora a mirar primero la pregunta, y luego elegir solo las piezas específicas necesarias para responderla, sin ralentizar todo el sistema?

Aquí es donde entra un nuevo método llamado CRISP. Piensa en CRISP como un bibliotecario supereficiente que trabaja antes de que el detective comience a leer. En lugar de volcar toda la biblioteca sobre la mesa, CRISP escucha primero tu pregunta. Si preguntas "¿De qué color es el bolso?", CRISP escanea instantáneamente la imagen y toma solo las piezas del rompecabezas que muestran el bolso y el área inmediata a su alrededor. Pero no se detiene ahí; también toma algunas piezas extra para asegurarse de que el contexto del fondo (como la calle o la persona que lo sostiene) no se pierda.

Los investigadores detrás de CRISP descubrieron que este enfoque de "preguntar primero, luego mirar" es mucho más inteligente que los antiguos métodos de "mirar primero, luego preguntar". En sus pruebas, demostraron que CRISP podía descartar hasta el 88.9% de las piezas visuales del rompecabezas (reduciendo la imagen de cientos de tokens a solo 64 o 128) manteniendo la precisión de la computadora casi exactamente igual a si hubiera mirado la imagen completa. De hecho, en algunas pruebas, fue tan bueno encontrando las pistas correctas que incluso redujo las "alucinaciones", esos momentos en los que una IA inventa cosas que no están ahí.

El artículo argumenta explícitamente en contra de dos formas comunes de hacer esto hoy en día. Una forma es simplemente elegir las piezas de una imagen que parezcan más "importantes" independientemente de la pregunta (agnóstica al texto), lo cual los autores dicen que es como quedarse mirando fijamente una pintura antes de saber qué es lo que se está buscando. La otra forma es esperar hasta que la computadora esté en lo profundo de su proceso de pensamiento para empezar a eliminar piezas, lo cual los autores dicen que desperdicia demasiada energía porque la computadora ya ha hecho el trabajo duro de leer todo. CRISP rechaza ambos, demostrando que puedes ser rápido y listo al mismo tiempo al realizar la poda antes de que comience el pensamiento pesado.

Los resultados son medidos y bastante específicos. En un modelo popular llamado LLaVA-1.5, CRISP mantuvo el 99.5% del rendimiento original utilizando solo 128 tokens en lugar de los 576 habituales. En un modelo más nuevo, LLaVA-NeXT, mantuvo el 96.9% del rendimiento con solo 320 tokens. Quizás lo más impresionante es que esta aceleración no solo ahorró precisión; redujo el tiempo para obtener una respuesta en más de la mitad. Los autores sugieren que este método es una solución práctica y lista para usar para hacer que estas computadoras inteligentes de lectura de imágenes sean mucho más rápidas y baratas de ejecutar, especialmente en dispositivos que no tienen una gran cantidad de potencia.

Resumen Técnico: CRISP – Poda de Tokens Visuales Basada en Texto y Pre-LLM

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje-Visión (LVLMs) sufren una carga computacional de inferencia sustancial porque codifican imágenes en secuencias largas de tokens visuales (a menudo cientos o miles) que son procesados íntegramente por el Gran Modelo de Lenguaje (LLM). Esto crea un cuello de botella para el despliegue en escenarios sensibles a la latencia o con recursos limitados.

Los métodos existentes de poda de tokens visuales enfrentan un compromiso fundamental:

Poda Pre-LLM: Opera antes del LLM utilizando heurísticas ajenas al texto (por ejemplo, atención CLS o similitud de características). Aunque es eficiente, estos métodos son "ajenos al texto", lo que significa que podan los mismos tokens independientemente de la consulta textual específica. Esto imita una estrategia cognitiva de "mirar primero y luego preguntar", la cual es menos eficiente que el proceso natural de "leer y luego ver" y a menudo descarta detalles relevantes para la consulta.
Poda Intra-LLM: Opera dentro del LLM utilizando puntuaciones de atención transmodal para podar tokens basados en el texto actual. Aunque es impulsada por el texto, la poda en capas superficiales sufre de sesgo posicional y dispersión de la atención, degradando la precisión. La poda en capas más profundas preserva la precisión pero requiere que los tokens visuales atraviesen muchos bloques del LLM, lo que disminuye el ahorro computacional. Además, la extracción de pesos de atención interrumpe FlashAttention, perjudicando la eficiencia.

Existe la necesidad de un método que realice la poda antes del LLM (para maximizar la eficiencia) pero que siga siendo impulsado por el texto (para preservar la información relevante para la tarea) sin acceder a los mecanismos de atención internos del LLM.

2. Metodología: CRISP

Los autores proponen CRISP (CRItical-first and Semantically-covered Pre-LLM token pruning), un marco de trabajo libre de entrenamiento que opera entre el proyector de visión y el LLM. Utiliza un flujo de trabajo de dos etapas para seleccionar un subconjunto compacto de tokens visuales ( $K$ ) que equilibra la relevancia de la instrucción con el contexto de la escena.

Etapa 1: Selección de Tokens de Prioridad Crítica (Critical-First)

Esta etapa identifica los tokens visuales más relevantes para la consulta textual.

Extracción de Palabras Clave: El sistema extrae sustantivos de la consulta (por ejemplo, "esquiador", "guantes") utilizando procesamiento de lenguaje natural ligero, ya que los sustantivos suelen corresponder a regiones concretas de la imagen.
Cálculo de Relevancia Transmodal: Los tokens visuales proyectados y los embeddings de las palabras (promediados de los tokens de subpalabras) existen en el mismo espacio semántico. El sistema calcula una matriz de similitud de coseno entre los tokens visuales y los embeddings de las palabras.
Asignación de Cuota por Palabra: No todas las palabras están igualmente ancladas en la imagen. El sistema utiliza la atención CLS del codificador de visión para determinar la importancia de las regiones asociadas con cada palabra. Las palabras con puntuaciones de atención CLS más altas reciben un presupuesto de tokens mayor.
Selección: Los $K$ mejores tokens visuales se seleccionan basándose en la relevancia para las palabras específicas y sus cuotas asignadas. Si no se detectan sustantivos, el sistema recurre a la selección basada puramente en la atención CLS global.

Etapa 2: Completado de Tokens con Cobertura Semántica (Semantically-Covered)

Confiar únicamente en tokens alineados con el texto conlleva el riesgo de perder el contexto esencial (por ejemplo, la disposición espacial, el fondo).

El sistema selecciona iterativamente tokens adicionales del grupo restante para alcanzar el presupuesto total $K$ .
Selecciona tokens que son semánticamente complementarios al conjunto ya seleccionado. Específicamente, elige el token con la menor similitud máxima respecto al conjunto actual, maximizando así la diversidad semántica y asegurando la preservación del contexto esencial de la escena.

3. Contribuciones Clave

Poda Pre-LLM Impulsada por el Texto: CRISP cierra la brecha entre eficiencia y relevancia al realizar la poda antes del LLM mientras se adapta dinámicamente a la consulta de texto, evitando la limitación de los métodos pre-LLM anteriores que son "ajenos al texto".
Flujo de Trabajo de Dos Etapas: La combinación de selección "Critical-First" (asegurando la alineación con la consulta) y completado "Semantically-Covered" (asegurando la diversidad contextual) permite al modelo retener evidencia crítica sin sacrificar la comprensión de la escena.
Libre de Entrenamiento y Eficiente: El método no requiere entrenamiento adicional, no accede a los pesos de atención del LLM (preservando la compatibilidad con FlashAttention) y opera enteramente entre el proyector y el LLM.

4. Resultados Experimentales

Los autores evaluaron CRISP en LLaVA-1.5-7B y LLaVA-NeXT-7B a través de nueve evaluaciones (incluyendo MME, GQA, SQA, POPE y VQA-v2).

Retención de Rendimiento:
- En LLaVA-1.5-7B, con una tasa de poda del 77.8% (reteniendo solo 128 tokens), CRISP alcanzó el 99.5% del rendimiento del modelo de tokens completos, superando al siguiente mejor método (97.9%).
- En LLaVA-1.5-7B, incluso bajo una tasa de poda agresiva del 88.9% (64 tokens), mantuvo un 97.7% de rendimiento.
- En LLaVA-NeXT-7B, con una tasa de poda del 88.9% (320 tokens), CRISP retuvo el 96.9% del rendimiento, superando a todos los modelos base.
- Notablemente, CRISP superó al modelo base de tokens completos en la evaluación POPE (detección de alucinaciones de objetos), lo que sugiere que su selección enfocada efectivamente suprime las correlaciones espurias.
Ganancias de Eficiencia:
- CRISP redujo los FLOPs de inferencia y el uso de memoria del KV-cache de manera casi lineal con la reducción del recuento de tokens.
- Logró una aceleración de >2× en la velocidad de decodificación y redujo significativamente el tiempo total de evaluación de extremo a extremo en ambos modelos.

5. Significado y Reivindicaciones

El artículo afirma que CRISP ofrece una solución práctica y generalizable para la inferencia eficiente de LVLM. Al desacoplar la relevancia impulsada por el texto del procesamiento interno del LLM, CRISP logra un compromiso superior entre precisión y eficiencia en comparación con los métodos existentes. Los autores destacan que este enfoque es particularmente valioso para escenarios con recursos limitados y despliegues sensibles a la latencia, permitiendo el uso de LVLMs de alto rendimiento sin el costo computacional prohibitivo de procesar secuencias completas de tokens visuales. Los resultados sugieren que solo se necesita un número modesto de tokens relevantes para el texto para preservar la evidencia crítica, siempre que el presupuesto restante se utilice para mantener un anclaje contextual diverso.