🤖 AI

TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

Cet article introduit TOPS, une méthode d'élagage de jetons visuels sans entraînement et agnostique au modèle qui construit des ensembles de préservation optimaux basés sur la pertinence à la tâche, la couverture d'information et la diversité sémantique afin d'améliorer significativement l'efficacité de l'inférence des MLLM tout en maintenant ou en améliorant même les performances.

Auteurs originaux : Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

Publié 2026-06-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une bibliothèque géante de livres (les jetons visuels) qu'un robot super intelligent (le Modèle de Langage Multimodal de Grande Taille) doit lire pour répondre à une question. Le problème est que la bibliothèque est si vaste que le robot est submergé, met un temps infini à lire et épuise toute son énergie rien qu'en tournant les pages.

Pendant longtemps, on a essayé d'aider le robot en lui disant : « Saute simplement les pages ennuyeuses ! » Mais les anciennes méthodes étaient un peu maladroites :

La méthode de l'« Attention » était comme un robot qui ne regardait que les pages avec les polices les plus grandes et les plus grasses. Elle oubliait souvent des détails importants simplement parce qu'ils étaient écrits en petits caractères, ou elle continuait à lire le même paragraphe cinq fois parce qu'il se ressemblait.
La méthode de la « Diversité » était comme un robot essayant de choisir des pages qui se ressemblaient peu. Il pouvait choisir une page sur un chat et une page sur une voiture, mais il pouvait accidentellement jeter la page qui répondait réellement à la question spécifique de l'utilisateur.

Entrez en scène : TOPS, le Bibliothécaire Intelligent

Le papier présente une nouvelle méthode appelée TOPS (Token Optimal Preservation Sets). Au lieu de simplement deviner quelles pages garder, TOPS agit comme un bibliothécaire hautement organisé, fondé sur des principes fondamentaux, qui pose trois questions spécifiques avant de décider ce qui reste sur l'étagère :

« Cette page est-elle pertinente pour la question ? » (Pertinence de la tâche)
- Analogie : Si l'utilisateur demande : « De quelle couleur est la voiture ? », le bibliothécaire sait immédiatement qu'il doit garder la page avec la voiture et jeter la page sur le ciel.
« Cette page apporte-t-elle de nouvelles informations ? » (Couverture de l'information)
- Analogie : Si nous avons déjà une page décrivant la peinture rouge de la voiture, nous n'avons pas besoin d'une seconde page qui dit exactement la même chose. Nous avons besoin d'une page qui nous dit quelque chose de nouveau, comme le numéro de plaque d'immatriculation de la voiture.
« Cette page est-elle unique par rapport aux autres que nous avons choisies ? » (Diversité sémantique)
- Analogie : Nous ne voulons pas une pile de cinq pages qui disent toutes « La voiture est rouge ». Nous voulons une page qui dit « Rouge », une qui dit « Rapide » et une qui dit « Vieille ». Cela garantit que nous obtenons une image complète sans répétition.

Comment cela fonctionne dans la réalité

Le papier montre que TOPS n'a pas besoin d'être enseigné (il est « sans entraînement »). Il peut être branché sur différents cerveaux de robots (comme LLaVA, Qwen ou InternVL) et fonctionne instantanément.

Le « Nettoyage en deux étapes » : Imaginez que le robot lit une longue vidéo.
- Étape 1 : TOPS effectue un balayage rapide, jetant les déchets évidents (comme les images vides ou floues) avant même que le robot ne commence à réfléchir profondément.
- Étape 2 : Pendant que le robot lit, TOPS garde un œil attentif sur la conversation. Si le robot commence à parler d'un détail spécifique, TOPS s'assure que les pages visuelles les plus pertinentes sont toujours présentes, affinant la sélection pour qu'elle soit parfaite pour cette question spécifique.

Les résultats : Moins, c'est plus

Le papier affirme qu'en utilisant cette approche intelligente à trois questions, TOPS peut jeter jusqu'à 90 % des pages visuelles (jetons) et le robot répondra aux questions aussi bien que s'il avait tout lu.

La statistique magique : Sur un modèle spécifique (LLaVA-NeXT), TOPS a supprimé 77,8 % des données visuelles mais a en fait amélioré légèrement les performances du robot (100,6 %).
Pourquoi ? Le papier suggère qu'en forçant le robot à ignorer le « superflu » et les pages redondantes, il l'empêche en réalité de s'embrouiller ou d'inventer des faits (hallucinations). C'est comme nettoyer un bureau encombré ; parfois, avoir moins de papiers aide à trouver le bon plus rapidement et à réfléchir plus clairement.

En résumé

TOPS est une nouvelle façon de rendre les modèles d'IA plus rapides et plus intelligents en étant un éditeur plus strict et plus intelligent. Au lieu de simplement choisir les indices visuels les plus « bruyants » ou les plus « différents », il construit un ensemble compact et parfait d'indices qui sont pertinents pour la question, couvrent toutes les informations nécessaires et ne se répètent pas. Le résultat est un robot qui pense plus vite, utilise moins de mémoire et donne de meilleures réponses.

Résumé Technique : TOPS - Élagage de Jetons Visuels Fondé sur les Premiers Principes

1. Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) ont réalisé des progrès significatifs en matière de raisonnement et de compréhension, mais souffrent d'une surcharge de calcul et de mémoire élevée. Cette inefficacité provient du grand nombre de jetons visuels générés lors de la tokenisation, qui sont traités à travers toutes les couches du transformer. Comme les mécanismes d'auto-attention (self-attention) évoluent de manière quadratique avec la longueur de la séquence, les entrées d'images et de vidéos à haute résolution créent des goulots d'étranglement substantiels.

Les méthodes existantes d'élagage de jetons visuels tentent d'atténuer ce problème en supprimant les jetons redondants, mais elles reposent sur des schémas de notation heuristiques plutôt que sur un objectif fondé sur des principes. Les approches actuelles se divisent généralement en trois catégories, chacune présentant des limitations spécifiques :

Méthodes basées sur l'attention : Conservent les jetons ayant des scores d'attention élevés, mais préservent souvent des jetons sémantiquement redondants.
Méthodes basées sur la diversité : Encouragent la dispersion sémantique mais sont souvent agnostiques aux instructions de l'utilisateur, risquant ainsi de supprimer des preuves critiques pour la tâche.
Méthodes combinées : Bien qu'elles intègrent plusieurs critères, elles manquent d'une formulation fondamentale de l'objectif intrinsèque de l'élagage de jetons, le traitant simplement comme un problème de classement sans justification théorique de la suffisance de critères spécifiques.

2. Méthodologie : Formulation par les Premiers Principes

Les auteurs proposent TOPS (Token Optimal Preservation Sets), un module d'élagage sans entraînement et agnostique au modèle, dérivé d'une perspective de premiers principes utilisant la théorie de l'information.

2.1 Fondement Théorique

L'objectif central de l'élagage de jetons est défini comme la recherche d'un sous-ensemble $S \subseteq V$ (où $V$ est l'ensemble complet des jetons visuels) qui maximise l'information mutuelle entre le sous-ensemble et la distribution jointe des jetons visuels et de la requête textuelle $Q$ :
$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$

En appliquant la règle de la chaîne de l'information mutuelle, les auteurs décomposent cet objectif en trois principes fondamentaux :

Pertinence de la Tâche ( $I(S; Q)$ ) : Le sous-ensemble doit être informatif concernant la requête de l'utilisateur.
Couverture de l'Information ( $I(S; V | Q)$ ) : Le sous-ensemble doit préserver une information suffisante sur l'ensemble visuel original $V$ étant donné la requête, minimisant l'entropie conditionnelle $H(V | S, Q)$ .
Diversité Sémantique : Dérivée de la borne supérieure de l'information mutuelle conditionnelle, ce principe dicte que, pour un budget fixe, les jetons doivent être sémantiquement distincts des jetons déjà sélectionnés afin de maximiser le gain d'information.

2.2 L'Algorithme TOPS

TOPS construit le sous-ensemble de jetons optimal de manière gloutonne à chaque point d'élagage. Le processus comprend :

Notation (Scoring) : Pour chaque jeton candidat $i$ $i$ , l'algorithme calcule :
- Pertinence de la Tâche ( $r_i$ ) : Estimée via l'attention texte-évaluateur (ou l'attention CLS dans les premières étapes).
- Couverture de l'Information ( $c_i$ ) : Calculée sur la base de la similitude maximale entre le candidat et les jetons non sélectionnés restants, ajustée par la similitude avec les jetons déjà sélectionnés.
- Diversité Sémantique ( $d_i$ ) : Mesurée comme $1 - \max_{j \in S} \text{sim}(h_i, h_j)$ , garantissant que le nouveau jeton est distinct de l'ensemble actuel.
Sélection : L'algorithme combine ces scores en un score de préservation de l'information :
$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$
où $\alpha$ et $\lambda$ sont des facteurs d'équilibre. Le jeton maximisant ce score est ajouté au sous-ensemble $S$ .
Pipeline Multi-étapes : Pour gérer une réduction fine, TOPS est implémenté en deux étapes :
- Étape I : Appliquée après le projecteur multimodal mais avant le LLM. Elle utilise l'attention CLS pour la pertinence afin de supprimer la redondance grossière.
- Étape II : Appliquée à l'intérieur du LLM à des couches désignées. Elle exploite l'attention texte-visuelle du LLM pour un raffinement sensible au texte.

3. Contributions Clés

Perspective des Premiers Principes : Le papier redéfinit l'élagage de jetons non pas comme un problème de classement heuristique, mais comme un problème de sélection de sous-ensemble optimal ancré dans la théorie de l'information.
Trois Principes Fondamentaux : L'identification et la formalisation de la Pertinence de la Tâche, de la Couverture de l'Information et de la Diversité Sémantique comme conditions nécessaires pour un élagage efficace.
Module TOPS : Un algorithme d'élagage "plug-and-play", sans entraînement et agnostique au modèle, qui construit dynamiquement des ensembles de préservation de jetons optimaux.
Validation Extensive : Expérimentations complètes sur 7 backbones de MLLM (incluant LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3 et LLaVA-Video) et 14 benchmarks divers.

4. Résultats Expérimentaux

Les auteurs rapportent que TOPS surpasse systématiquement les méthodes de l'état de l'art (ex: FastV, VisionZip, DivPrune, SCOPE) à travers divers ratios de compression et architectures de modèles.

LLaVA-NeXT : Sur le modèle 7B, TOPS supprime 77,8 % des jetons visuels tout en préservant 100,0 % de la performance originale. À une compression plus élevée (réduction de 88,9 % et 94,4 %), il conserve respectivement 99,1 % et 96,4 % de la performance.
LLaVA-1.5 : À 77,8 % de compression, TOPS conserve 98,3 % de la performance, surpassant la méthode suivante la plus performante (SCOPE) de 0,5 %. Même à une compression extrême (réduction de 94,4 %, 32 jetons restants), il maintient 94,6 % de la performance.
Architectures Avancées : Sur Qwen2.5-VL-7B et InternVL3-8B, TOPS atteint la précision la plus élevée sur tous les ratios d'élagage testés, démontrant une efficacité agnostique à l'architecture.
Compréhension Vidéo : Sur LLaVA-Video avec 64 images, TOPS conserve 98,4 % de la performance avec une réduction de 62,1 % des jetons et 92,3 % avec une réduction de 90,5 %, surpassant nettement les bases comme FastV.
Efficacité : TOPS atteint une réduction de près de 10 fois des FLOPs et réduit l'utilisation de la mémoire GPU de 1,9 Go par rapport au modèle de base, avec des améliorations significatives de la latence de pré-remplissage (prefill).
Atténuation des Hallucinations : Notamment, sur le HallusionBench, TOPS montre une plus grande résistance aux hallucinations, suggérant que la suppression des jetons redondants peut parfois améliorer la fidélité du raisonnement.

5. Signification et Revendications

Le papier affirme qu'un élagage de jetons efficace ne doit pas reposer uniquement sur des scores d'importance heuristiques, mais doit conjointement préserver des informations visuelles pertinentes pour la tâche, représentatives et non redondantes. En formulant l'élagage comme un problème d'optimisation de l'information, TOPS fournit un fondement rigoureux pour une inférence multimodale efficace.

Les auteurs suggèrent que leur travail offre des orientations pour la conception future de MLLM légers, notant qu'un élagage agressif peut parfois atténuer les hallucinations. Cependant, ils reconnaissent des limitations, notamment la surcharge de calcul de la boucle de construction gloutonne ($O(KN)$), la dépendance aux mécanismes d'attention pour les signaux de pertinence, et l'utilisation d'hyperparamètres fixes à travers les couches et les tâches. Ils notent également que le cadre n'a pas encore été évalué systématiquement dans des domaines hautement spécialisés comme l'imagerie médicale ou le captioning dense.