💻 computer science

CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference

CRISP est un cadre de l'élagage de jetons visuels piloté par le texte et pré-LLM qui utilise un pipeline à deux étapes pour identifier les jetons pertinents par rapport à l'instruction et améliorer la diversité sémantique, atteignant plus de 99,5 % de rétention de précision tout en réduisant la latence d'inférence de plus de 2x pour les grands modèles de langage-vision.

Auteurs originaux : Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Publié 2026-07-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xu Li, Yi Zheng, Mengyang Zhao, Yuxuan Liang, Zhe Liu, Rui Zhu, Xiaolei Chen, Wei Zhou, Baoquan Zhao, Juncen Guo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère, mais qu'au lieu de quelques indices, on vous remet une bibliothèque contenant des millions de livres, tous ouverts en même temps. C'est essentiellement ainsi que fonctionnent les modernes « Grands Modèles de Vision-Langage » (LVLM). Ce sont des programmes informatiques super intelligents capables de regarder une image et de répondre à des questions à son sujet, comme un détective numérique. Pour ce faire, ils décomposent l'image en des milliers de minuscules morceaux numériques appelés « tokens ». Voyez ces tokens comme des pièces de puzzle individuelles. Le problème est que l'ordinateur essaie de lire chaque pièce du puzzle, même celles qui ne sont que du ciel bleu ou un sol vide, avant même d'avoir regardé votre question. Cela rend le processus incroyablement lent et gourmand en puissance informatique, comme essayer de lire une encyclopédie entière juste pour savoir de quelle couleur est le collier du chat.

Pendant longtemps, les scientifiques ont tenté d'accélérer cela soit en jetant des pièces de puzzle de manière aléatoire (ce qui supprimait parfois le collier du chat), soit en attendant que l'ordinateur ait déjà commencé à lire tout le livre avant de décider quoi ignorer (ce qui était trop tard pour gagner du temps). La grande question était : pourrions-nous apprendre à l'ordinateur à regarder la question d'abord, puis à ne choisir que les pièces de puzzle spécifiques nécessaires pour y répondre, sans ralentir tout le système ?

C'est ici qu'intervient une nouvelle méthode appelée CRISP. Voyez CRISP comme un bibliothécaire super efficace qui travaille avant même que le détective ne commence sa lecture. Au lieu de déverser toute la bibliothèque sur la table, CRISP écoute d'abord votre question. Si vous demandez : « De quelle couleur est le sac à main ? », CRISP scanne instantanément l'image et ne saisit que les pièces du puzzle qui montrent le sac à main et la zone immédiate autour de celui-ci. Il ne s'arrête pas là, cependant ; il saisit également quelques pièces supplémentaires pour s'assurer que le contexte de l'arrière-plan (comme la rue ou la personne qui le tient) ne soit pas perdu.

Les chercheurs derrière CRISP ont découvert que cette approche « demander d'abord, puis regarder » est bien plus intelligente que les anciennes méthodes « regarder d'abord, puis demander ». Dans leurs tests, ils ont montré que CRISP pouvait éliminer jusqu'à 88,9 % des pièces de puzzle visuelles (réduisant l'image de centaines de tokens à seulement 64 ou 128) tout en conservant la précision de l'ordinateur presque exactement la même que s'il avait regardé l'image entière. En fait, sur certains tests, il était si doué pour trouver les bons indices qu'il a même réduit les « hallucinations » — ces moments où une IA invente des choses qui n'existent pas.

L'article argumente explicitement contre deux façons courantes de procéder aujourd'hui. Une façon consiste à choisir simplement les pièces les plus « importantes » d'une image, quel que soit le sujet (text-agnostic), ce que les auteurs considèrent comme le fait de fixer un tableau avant de savoir ce que l'on cherche. L'autre façon consiste à attendre que l'ordinateur soit profondément engagé dans son processus de réflexion pour commencer à supprimer des pièces, ce que les auteurs disent gaspiller de l'énergie car l'ordinateur a déjà fait le travail difficile de tout lire. CRISP rejette les deux, prouvant que l'on peut être rapide et intelligent à la fois en effectuant l'élagage avant que la réflexion intense ne commence.

Les résultats sont mesurés et très précis. Sur un modèle populaire appelé LLaVA-1.5, CRISP a conservé 99,5 % de la performance originale en utilisant seulement 128 tokens au lieu des 576 habituels. Sur un modèle plus récent, LLaVA-NeXT, il a conservé 96,9 % de la performance avec seulement 320 tokens. Peut-être plus impressionnant encore, ce gain de vitesse n'a pas seulement préservé la précision ; il a réduit de plus de moitié le temps nécessaire pour obtenir une réponse. Les auteurs suggèrent que cette méthode est une solution pratique et prête à l'emploi pour rendre ces ordinateurs de lecture d'images intelligents beaucoup plus rapides et moins coûteux à exploiter, en particulier sur des appareils qui ne disposent pas de quantités massives d'énergie.

Résumé Technique : CRISP – Élaguement de jetons visuels piloté par le texte et pré-LLM

1. Énoncé du problème

Les grands modèles vision-langage (LVLM) souffrent d'une surcharge d'inférence substantielle car ils encodent les images en de longues séquences de jetons visuels (souvent des centaines à des milliers) qui sont entièrement traités par le grand modèle de langage (LLM). Cela crée un goulot d'étranglement pour le déploiement dans des scénarios sensibles à la latence ou aux ressources limitées.

Les méthodes existantes d'élagage de jetons visuels font face à un compromis fondamental :

Élagage Pré-LLM : Opère avant le LLM en utilisant des heuristiques indépendantes du texte (ex: attention CLS ou similitude de caractéristiques). Bien qu'efficaces, ces méthodes sont « agnostiques au texte », ce qui signifie qu'elles élaguent les mêmes jetons quel que soit l'interrogatif textuel spécifique. Cela imite une stratégie cognitive de type « regarder d'abord, puis demander », ce qui est moins efficace que le processus naturel « lire, puis voir » et élimine souvent des détails pertinents pour la requête.
Élagage Intra-LLM : Opère à l'intérieur du LLM en utilisant les scores d'attention croisée pour élaguer les jetons en fonction du texte actuel. Bien que pilotées par le texte, l'élagage dans les couches peu profondes souffre d'un biais de position et d'une dispersion de l'attention, dégradant la précision. L'élagage dans les couches plus profondes préserve la précision mais nécessite que les jetons visuels traversent de nombreux blocs du LLM, diminuant ainsi les économies de calcul. De plus, l'extraction des poids d'attention perturbe FlashAttention, nuisant à l'efficacité.

Il existe un besoin pour une méthode capable d'effectuer l'élagage avant le LLM (pour maximiser l'efficacité) tout en restant pilotée par le texte (pour préserver les informations pertinentes à la tâche) sans accéder aux mécanismes d'attention internes du LLM.

2. Méthodologie : CRISP

Les auteurs proposent CRISP (CRItical-first and Semantically-covered Pre-LLM token pruning), un cadre sans entraînement qui opère entre le projecteur visuel et le LLM. Il utilise un pipeline en deux étapes pour sélectionner un sous-ensemble compact de jetons visuels ( $K$ ) qui équilibre la pertinence de l'instruction et le contexte de la scène.

Étape 1 : Sélection de jetons prioritaires (Critical-First)

Cette étape identifie les jetons visuels les plus pertinents pour la requête textuelle.

Extraction de mots-clés : Le système extrait les noms du texte (ex : « skieur », « gants ») via un traitement NLP léger, car les noms correspondent généralement à des régions concrètes de l'image.
Calcul de la pertinence intermodale : Les jetons visuels projetés et les plongements de mots (moyennés à partir des sous-mots) existent dans le même espace sémantique. Le système calcule une matrice de similitude cosinus entre les jetons visuels et les plongements de mots.
Allocation de quota par mot : Tous les mots ne sont pas également ancrés dans l'image. Le système utilise l'attention CLS de l'encodeur de vision pour déterminer l'importance des régions associées à chaque mot. Les mots ayant des scores d'attention CLS plus élevés reçoivent un budget de jetons plus important.
Sélection : Les $K$ meilleurs jetons visuels sont sélectionnés sur la base de la pertinence par rapport aux mots spécifiques et de leurs quotas alloués. Si aucun nom n'est détecté, le système revient à une sélection basée uniquement sur l'attention CLS globale.

Étape 2 : Complétion de jetons par couverture sémantique (Semantically-Covered)

Se fier uniquement aux jetons alignés sur le texte risque de manquer des éléments de contexte essentiels (ex : disposition spatiale, arrière-plan).

Le système sélectionne de manière itérative des jetons supplémentaires à partir du pool restant pour atteindre le budget total $K$ .
Il choisit des jetons qui sont sémantiquement complémentaires à l'ensemble déjà sélectionné. Plus précisément, il choisit le jeton ayant la plus faible similitude maximale avec l'ensemble actuel, maximisant ainsi la diversité sémantique et garantissant la préservation du contexte essentiel de la scène.

3. Contributions clés

Élagage pré-LLM piloté par le texte : CRISP comble l'écart entre efficacité et pertinence en effectuant l'élagage avant le LLM tout en s'adaptant dynamiquement à la requête textuelle, évitant ainsi la limitation « agnostique au texte » des méthodes pré-LLM précédentes.
Pipeline en deux étapes : La combinaison de la sélection « Critical-First » (garantissant l'alignement avec la requête) et de la complétion « Semantically-Covered » (garantissant la diversité contextuelle) permet au modèle de conserver les preuves critiques sans sacrifier la compréhension de la scène.
Sans entraînement et efficace : La méthode ne nécessite aucun entraînement supplémentaire, n'accède pas aux poids d'attention du LLM (préservant la compatibilité FlashAttention) et opère entièrement entre le projecteur et le LLM.

4. Résultats expérimentaux

Les auteurs ont évalué CRISP sur LLaVA-1.5-7B et LLaVA-NeXT-7B à travers neuf benchmarks (incluant MME, GQA, SQA, POPE et VQA-v2).

Rétention de la performance :
- Sur LLaVA-1.5-7B, avec un ratio d'élagage de 77,8 % (ne conservant que 128 jetons), CRISP a atteint 99,5 % de la performance du modèle à jetons complets, surpassant la deuxième meilleure méthode (97,9 %).
- Sur LLaVA-1.5-7B, même sous un ratio d'élagage agressif de 88,9 % (64 jetons), il a maintenu 97,7 % de performance.
- Sur LLaVA-NeXT-7B, avec un ratio d'élagage de 88,9 % (320 jetons), CRISP a conservé 96,9 % de la performance, surpassant tous les modèles de référence.
- Notamment, CRISP a surpassé la référence à jetons complets sur le benchmark POPE (détection d'hallucinations d'objets), suggérant que sa sélection ciblée supprime efficacement les corrélations spécieuses.
Gains d'efficacité :
- CRISP a réduit les FLOPs d'inférence et l'utilisation de la mémoire du cache KV de manière presque linéaire avec la réduction du nombre de jetons.
- Il a obtenu une accélération de la vitesse de décodage de >2× et a considérablement réduit le temps total d'évaluation de bout en bout sur les deux modèles.

5. Signification et affirmations

L'article affirme que CRISP offre une solution pratique et généralisable pour l'inférence efficace des LVLM. En découplant la pertinence pilotée par le texte du traitement interne du LLM, CRISP atteint un compromis précision-efficacité supérieur par rapport aux méthodes existantes. Les auteurs soulignent que cette approche est particulièrement précieuse pour les scénarios à ressources limitées et les déploiements sensibles à la latence, permettant l'utilisation de LVLM performants sans le coût de calcul prohibitif du traitement de séquences complètes de jetons visuels. Les résultats suggèrent qu'un nombre modeste de jetons pertinents pour le texte suffit pour préserver les preuves critiques, à condition que le budget restant soit utilisé pour maintenir un ancrage contextuel diversifié.