💻 computer science

Decoupled Similarity for Task-Aware Token Pruning in Large Vision-Language Models

L'article propose DeSAP, une nouvelle méthode d'élagage de jetons pour les grands modèles vision-langage qui utilise la similitude découplée pour capturer la pertinence intermodale à grain fin, permettant un élagage sensible aux tâches qui réduit considérablement les coûts de calcul tout en maintenant des performances élevées.

Auteurs originaux : Kexin Ma, Jing Xiao, Chaofeng Chen, Geyong Min, Guibo Zhu, Jinqiao Wang, Liang Liao

Publié 2026-08-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kexin Ma, Jing Xiao, Chaofeng Chen, Geyong Min, Guibo Zhu, Jinqiao Wang, Liang Liao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à voir et à parler en même temps. Vous lui donnez une image et posez une question, du type « Que fait le chat ? ». Pour comprendre l'image, le robot la décompose en des milliers de minuscules pièces de puzzle appelées « tokens ». Considérez ces tokens comme des pixels individuels, mais au lieu d'être seulement des couleurs, chacun porte un petit fragment de sens. Le problème, c'est que pour une photo haute résolution, le robot pourrait devoir traiter des milliers de ces tokens juste pour répondre à une question simple. C'est comme essayer de lire une encyclopédie entière pour savoir s'il pleut dehors ; le robot s'enlise, devient lent et consomme une quantité massive d'énergie. C'est le monde des Grands Modèles de Vision-Langage (LVLM), où l'objectif est de rendre ces cerveaux géants plus rapides et moins coûteux à faire fonctionner sans qu'ils ne deviennent amnésiques. La grande question que se posent les scientifiques est la suivante : comment pouvons-nous jeter les pièces de puzzle ennuyeuses et inutiles avant même que le robot ne commence à réfléchir, afin qu'il ne se concentre que sur l'essentiel ?

Entrez en scène une nouvelle méthode appelée DeSAP (Decoupled Similarity-Aware Pruning), qui agit comme un éditeur super efficace pour ces cerveaux de robots. Les chercheurs ont découvert que les anciennes manières de décider quels morceaux de puzzle conserver étaient un peu maladroites. Certaines méthodes ne regardaient que l'image elle-même, conservant les parties « voyantes » comme les couleurs vives ou les formes imposantes, mais elles passaient souvent à côté des détails spécifiques demandés par l'utilisateur. D'autres méthodes attendaient que le robot commence à parler pour décider de ce qui était important, mais à ce moment-là, le robot avait déjà gaspillé du temps à traiter les éléments ennuyeux.

DeSAP résout cela en faisant deux choses astucieuses à la fois, dès le départ. Premièrement, il examine l'image pour trouver les parties « saillantes » — les choses qui se démarquent naturellement, comme une balle rouge vif dans un champ vert. Mais il ne s'arrête pas là. Il écoute également la question avant que le robot ne commence son processus de réflexion complet. Il utilise un tour spécial appelé « similitude découplée » pour faire correspondre les mots spécifiques de la question avec les détails minuscules de l'image. Imaginez que vous cherchiez un « sac en cuir » dans une photo. Les anciennes méthodes pourraient simplement garder toute la moitié inférieure de l'image parce que c'est là que se trouve habituellement le sac, ou garder tout l'arrière-plan parce qu'il est « important ». DeSAP, cependant, agit comme un détective qui sait exactement ce qu'il doit chercher. Il ignore l'arrière-plan et les gens, et zoome spécifiquement sur le sac en cuir, même si celui-ci est petit ou situé dans un endroit insolite.

L'article suggère qu'en combinant ces deux indices — l'aspect « voyant » visuel et le « guidage par la tâche » spécifique provenant de la question — le robot peut jeter jusqu'à 88,9 % des pièces du puzzle (n'en gardant qu'environ 11 %) et répondre aux questions presque aussi bien que s'il avait vu l'image entière. Dans des tests sur des modèles comme LLaVA-1.5, cette méthode n'a pas seulement permis de gagner du temps ; elle a réellement rendu le robot plus rapide (accélérant le traitement initial de 2,3 fois) et a utilisé 9 fois moins de puissance de calcul, tout en maintenant la précision des réponses. Les chercheurs soutiennent que les méthodes précédentes ont échoué car elles reposaient sur une seule source d'information, ce qui entraînait souvent des biais ou des oublis de détails. DeSAP, au contraire, utilise une stratégie à double source qui maintient la concentration du robot sur ce qui compte le plus, prouvant que parfois, voir moins permet de voir plus clairement.

Résumé Technique : Découplage de la Similitude pour l'Élagage de Tokens Sensible aux Tâches dans les Grands Modèles Vision-Langage

1. Énoncé du Problème

Les grands modèles vision-langage (LVLM) ont réalisé des progrès significatifs pour combler le fossé entre les modalités visuelles et linguistiques, mais ils souffrent d'une surcharge de calcul substantielle. Cette inefficacité provient principalement du traitement d'un grand nombre de tokens visuels, qui dépassent souvent largement les tokens textuels, en particulier pour les images à haute résolution et les vidéos multi-images.

Les méthodes existantes d'élagage de tokens sans entraînement (training-free) visent à atténuer ce problème en éliminant les tokens les moins informatifs. Cependant, les approches actuelles se répartissent généralement en deux paradigmes qui souffrent de limitations intrinsèques :

Élagage centré sur la vision : Repose sur les signaux d'attention du codeur visuel (par exemple, l'attention [CLS]). Ces méthodes ont tendance à se concentrer sur la sémantique globale et les régions saillantes, négligeant souvent les détails locaux fins et échouant à s'aligner sur les exigences spécifiques des tâches.
Élagage centré sur la tâche : Repose sur l'attention cross-modale du décodeur du grand modèle de langage (LLM). Ces méthodes introduisent souvent l'orientation de la tâche trop tardivement (pendant l'étape de prefill) et présentent des biais spatiaux (par exemple, favorisant les régions inférieures de l'image en raison de l'ordonnancement des séquences) ou des biais sémantiques globaux qui ne reflètent pas fidèlement l'importance des tokens.

Le problème central identifié est que les méthodes existantes reposent sur des sources d'attention individuelles qui sont biaisées et incomplètes, menant à des décisions d'élagage sous-optimales qui soit perdent des détails visuels critiques, soit ne parviennent pas à préserver les informations pertinentes pour la tâche sous des ratios d'élagage agressifs.

2. Méthodologie : DeSAP

Les auteurs proposent DeSAP (Decoupled Similarity-Aware Pruning), une nouvelle méthode conçue pour effectuer un élagage de tokens visuels précis et sensible aux tâches avant le décodage par le LLM. La méthodologie repose sur trois composantes clés :

A. Analyse Empirique et Décomposition

Par une étude empirique, les auteurs observent que :

Le biais sémantique global dans les codeurs visuels corrompt l'estimation de la similitude par token classique, entraînant un désalignement entre les tokens visuels et textuels.
La décomposition de l'état caché du codeur visuel en composantes résiduelle et d'attention révèle que la composante d'attention déconnectée préserve mieux les détails locaux et la sémantique fine que la composante résiduelle (globale).

Sur cette base, DeSAP décompose l'état caché visuel de la dernière couche ( $S^l_v$ ) en :

Résidu Découplé ( $S^d$ ) : Capture les motifs sémantiques globaux.
Attention Découplée ( $A^d$ ) : Capture les détails sémantiques localisés et fins.

B. Alignement Cross-Modal Fin

Au lieu d'utiliser la similitude cosinus standard entre les états cachés et les plongements textuels (qui hérite du biais global), DeSAP calcule une Similitude Découplée. Cela implique de calculer la similitude cosinus entre la composante d'attention déconnectée ( $A^d$ ) et les plongements textuels ( $S_q$ ).
Pour affiner davantage cela, la méthode emploie une stratégie d'Alignement Cross-Modal Fin (FCMA). Elle pondère les similitudes de paires de tokens en fonction de la pertinence de chaque token par rapport à la représentation globale de la modalité complémentaire (en utilisant [EOS] pour le texte et les tokens visuels globaux pour la vision). Cela crée une carte d'attention fiable et pertinente pour la tâche ( $A_t$ ) qui met en évidence les régions spécifiques alignées avec la requête textuelle.

C. Élagage de Tokens Guidé par Double Source

DeSAP intègre deux sources d'information pour évaluer l'importance des tokens :

Attention Pertinente à la Tâche ( $A_t$ ) : Dérivée de la similitude découplée, guidant la sélection des tokens pertinents pour la requête spécifique.
Attention Sémantique Saillante ( $A_s$ ) : Dérivée de l'auto-attention du codeur visuel (par exemple, l'attention [CLS]), fournissant des indices visuels holistiques.

Le processus d'élagage suit une stratégie Rank & Prune (Classer et Élague) :

Sélectionner les $k_1$ meilleurs tokens basés sur $A_t$ (pertinence de la tâche).
Sélectionner les $k_2$ meilleurs tokens basés sur $A_s$ (saillance visuelle) parmi l'ensemble restant.
L'ensemble final combine les indices visuels spécifiques à la tâche et les indices visuels globaux.
Fusion de Tokens (Token Merging) : Les tokens éliminés sont fusionnés avec les tokens conservés les plus similaires via un clustering afin d'atténuer la perte d'information sans augmenter le nombre de tokens.

3. Contributions Clés

Analyse Empirique : L'article fournit une analyse approfondie des paradigmes d'élagage existants, révélant que l'attention du codeur visuel est biaisée vers la sémantique globale et que la similitude classique est insuffisante pour un alignement fin. Il introduit la perspective de la décomposition des caractéristiques visuelles en composantes résiduelles et d'attention pour préserver les détails locaux.
Cadre DeSAP : La proposition d'une nouvelle méthode d'élagage qui exploite l'attention découplée pour dériver des indices de tâche précis via un alignement cross-modal fin. Elle intègre de manière unique ces indices de tâche avec des signaux de saillance visuelle pour permettre un élagage robuste avant le décodage par le LLM.
Performance : Des expériences approfondies démontrent que DeSAP surpasse systématiquement les méthodes de l'état de l'art (SOTA) sur divers benchmarks et architectures de modèles.

4. Résultats Expérimentaux

Les auteurs ont évalué DeSAP sur trois LVLM (LLaVA-1.5-7B, LLaVA-NeXT-7B et Qwen2.5-VL-7B) à travers huit benchmarks (incluant GQA, MME, POPE, VQAv2, etc.).

Précision : Sur LLaVA-1.5-7B avec un ratio d'élagage agressif de 88,9 % (ne conservant que 11,1 % des tokens, soit 64 tokens), DeSAP a atteint 98,1 % de la performance du modèle original. Notamment, avec un budget de 192 tokens, il a légèrement surpassé la performance du modèle complet de 0,3 %.
Comparaison : DeSAP a surpassé les méthodes SOTA telles que HoloV, FlowCut et VisionZip. Sur le ratio d'élagage de 88,9 %, il a dépassé la deuxième meilleure méthode (HoloV) de 2,3 % en moyenne sur LLaVA-1.5-7B.
Efficacité : Sur le benchmark POPE, DeSAP a obtenu une réduction de 9,1× des FLOPs et une accélération du prefill de 2,3× par rapport au modèle complet, avec seulement une baisse de 0,1 % de la précision. Il a également démontré un meilleur compromis efficacité-précision par rapport à SparseVLM et HoloV pour un nombre équivalent de FLOPs.
Généralisabilité : La méthode a maintenu des performances robustes sur LLaVA-NeXT-7B (haute résolution) et Qwen2.5-VL-7B, surpassant systématiquement les bases sur divers ratios d'élagage.

5. Signification et Revendications

L'article affirme que DeSAP répond à la limitation critique des méthodes d'élagage existantes en introduisant une conscience de la tâche plus tôt dans le pipeline (au niveau du côté encodeur) sans dépendre de distributions d'attention biaisées. En découplant les caractéristiques visuelles et en exploitant l'alignement cross-modal fin, DeSAP atténue l'effondrement de la représentation tant du point de vue visuel que de celui de la tâche.

Les auteurs soutiennent que leur approche guidée par double source permet un élagage de tokens robuste même sous des ratios agressifs, préservant les informations clés que les autres méthodes éliminent. Ce travail démontre que l'intégration de l'orientation de la tâche avec la saillance visuelle est plus efficace que de compter sur la correction de biais au sein d'une seule source d'attention, offrant ainsi une étape significative vers l'efficacité et l'extensibilité des LVLM pour des applications pratiques.