🤖 AI

Combating Textual Noise and Redundancy: Entropy-Aware Dense Visual Token Pruning

Cet article propose l'EADP (Entropy-Aware Dense Pruning), un nouveau cadre qui améliore l'efficacité des modèles de langage visuel en filtrant le bruit textuel via l'entropie statistique et en optimisant la sélection des jetons visuels par maximisation submodulaire afin de préserver les indices fins sous des instructions denses.

Auteurs originaux : Xuehui Wang, Xuankun Yang, Wei Shen

Publié 2026-07-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuehui Wang, Xuankun Yang, Wei Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant très intelligent mais légèrement débordé (un modèle de langage-vision) qui essaie de répondre à une question sur une image. L'image est composée de milliers de minuscules pièces de puzzle (tokens). L'assistant regarde chaque pièce pour trouver la réponse.

Le problème ? Regarder chaque pièce prend un temps infini, et l'assistant se fatigue. C'est pourquoi nous essayons généralement de jeter les pièces « ennuyeuses » pour ne garder que les importantes. C'est ce qu'on appelle l'Élagage de Tokens (Token Pruning).

Cependant, les auteurs de ce papier ont découvert que les méthodes actuelles d'élagage sont cassées de deux manières spécifiques et amusantes. Ils ont construit un nouveau système appelé EADP (Élagage Dense Sensible à l'Entropie) pour y remédier.

Voici comment ils ont résolu cela, en utilisant des analogies simples :

Les deux grands problèmes

1. Le problème du « Bruit Statique » (Bruit Textuel)
Imaginez que vous essayez de trouver une personne spécifique dans une pièce bondée en vous basant sur une description comme : « Y a-t-il un chien dans l'image ? »

L'ancienne méthode : L'assistant écoute toute la phrase comme un gros bloc. Il entend « chien », mais il entend aussi « y », « a », « un », et « dans ». Comme il traite toute la phrase comme un seul bloc, les mots ennuyeux (« y », « a », « un », « dans ») créent beaucoup de bruit de fond statique. Ce bruit étouffe le mot important (« chien »), ce qui fait que l'assistant regarde les mauvaises parties de la pièce (comme le sol vide) au lieu du chien.
La solution du papier : Ils ont réalisé que certains mots (comme « est » ou la ponctuation) sont « bruyants » car ils ne pointent vers rien de spécifique dans l'image. Ils ont utilisé une astuce mathématique appelée Entropie (qui mesure le chaos ou l'aléa) pour détecter ces mots bruyants. Si l'attention d'un mot est éparpillée partout dans la pièce comme du bruit statique, ils l'éliminent. Si un mot est concentré (comme « chien »), ils le gardent. Cela nettoie les instructions pour que l'assistant sache exactement quoi chercher.

2. Le problème de la « Focalisation sur un Seul Point » (Redondance)
Imaginez que l'assistant sache enfin qu'il doit chercher le chien.

L'ancienne méthode : Elle utilise une règle « Top-K ». Elle trouve la pièce du puzzle qui ressemble le plus au nez d'un chien et la garde. Ensuite, elle trouve la pièce qui ressemble encore au nez, et la garde aussi. Elle finit avec un tas de 10 pièces de puzzle qui sont toutes juste le nez du chien, et elle jette les oreilles, la queue et le corps. L'assistant a un excellent nez, mais n'a aucune idée de ce à quoi ressemble le reste du chien.
La solution du papier : Ils ont réalisé que nous avons besoin d'une vue équilibrée, pas seulement d'une vue « optimale ». Ils ont changé le processus de sélection pour en faire un jeu appelé « Localisation de Facilité » (Facility Location).
- L'analogie : Imaginez que vous placez des casernes de pompiers dans une ville. Vous ne placez pas les 10 casernes dans le seul quartier où il y a le plus d'incendies (c'est l'erreur du « Top-K »). Au lieu de cela, vous les placez de manière à ce que chaque partie de la ville soit proche d'une caserne.
- EADP fait cela avec l'image. Il choisit des tokens qui couvrent l'ensemble du chien (nez, oreilles, queue) sans gaspiller d'espace avec des doublons. Cela garantit que l'ensemble réduit de tokens raconte toute l'histoire, et non pas seulement un minuscule détail.

Comment fonctionne EADP (étape par étape)

Nettoyer les instructions : Il scanne la consigne textuelle, identifie les mots « bruyants » (comme « est » ou « ? ») et les supprime. Il garde les mots « forts » (comme « four » ou « éléphant ») qui pointent réellement vers des choses dans l'image.
Créer une carte : Il crée une carte thermique de l'image montrant où se trouvent les éléments importants, mais il l'adoucit pour ne pas simplement mettre en évidence un minuscule pixel.
La Sélection Intelligente : Au lieu de simplement choisir les points les plus chauds sur la carte, il joue au jeu des « Casernes de Pompiers ». Il choisit un petit groupe de tokens qui sont suffisamment répartis pour couvrir toute l'image, garantissant qu'aucune partie importante n'est laissée de côté.

Les Résultats

Les auteurs ont testé cela sur de nombreux modèles d'IA et des questions difficiles (comme trouver du texte minuscule dans des images ou répondre à des questions complexes sur des vidéos).

Vitesse : En jetant 80 à 90 % des pièces inutiles de l'image, l'IA s'exécute 2 à 5 fois plus vite.
Intelligence : Contrairement aux autres méthodes qui perdent la tête quand l'image est complexe ou la question difficile, EADP maintient l'intelligence de l'IA. Il a même obtenu de meilleurs scores que l'IA originale (non élaguée) dans certains cas, car il a empêché l'IA d'être distraite par le bruit.

En bref : EADP est comme un éditeur intelligent pour la vision de l'IA. Il coupe les mots ennuyeux dans les instructions et garantit que l'IA conserve un ensemble diversifié et complet de pièces d'image, ce qui permet de l'exécuter plus rapidement sans perdre sa capacité à voir les détails.

Résumé Technique : Élagage de Jetons Visuels Denses Sensible à l'Entropie (EADP)

Énoncé du Problème

Les modèles vision-langage (VLM) sont confrontés à des goulots d'étranglement computationnels significatifs dus aux coûts d'auto-attention quadratiques associés au traitement de grilles denses de jetons de patchs visuels. Bien que l'élagage de jetons visuels soit une stratégie standard pour atténuer cela en ne conservant qu'un sous-ensemble de jetons informatifs, les méthodes existantes échouent souvent sous des contraintes de déploiement strictes. Les auteurs identifient deux modes de défaillance critiques dans les paradigmes actuels :

Dispersion du Bruit Textuel : Les stratégies de guidage dense standard, qui calculent la similitude cross-modale entre chaque jeton textuel et le jeton visuel, sont corrompues par les mots fonctionnels et la ponctuation. Ces éléments produisent des réponses de similitude largement dispersées et quasi uniformes qui créent un « plancher de bruit » indiscriminé, noyant les pics localisés d'entités sémantiques significatives.
Fragmentation et Redondance des Caractéristiques : Les stratégies de sélection Top-K standard ont tendance à se concentrer excessivement sur quelques régions locales hautement discriminantes (par exemple, échantillonner de manière répétée la tête d'un objet) tout en ignorant des parties sémantiques intégrales. Cela conduit à une fragmentation des caractéristiques et à un gaspillage du budget limité de jetons sur des maxima locaux redondants, échouant à fournir une représentation visuelle holistique.

Méthodologie : Élagage de Jetons Denses Sensible à l'Entropie (EADP)

L'EADP reformule l'élagage de jetons visuels comme un problème de compression structuré composé de deux étapes principales : un scoring de pertinence d'instruction robuste et une sélection de jetons non redondante.

1. Scoring Dense Sensible à la Dispersion

Pour traiter le bruit textuel, l'EADP introduit un mécanisme de débruitage guidé par l'entropie pour le scoring de la pertinence de l'instruction :

Calcul de Similitude Dense : Il calcule les similitudes de cosinus cross-modales entre les jetons de texte CLIP non-EOS et les jetons visuels projetés.
Filtrage Guidé par l'Entropie : La distribution de similitude spatiale de chaque jeton textuel est convertie en une distribution de probabilité. L'entropie de l'information de cette distribution est calculée pour quantifier la dispersion. Les jetons à haute entropie (indiquant une attention dispersée, typique des mots fonctionnels) sont filtrés, tandis que les jetons à faible entropie (indiquant une attention concentrée sur des entités spécifiques) sont conservés.
Agrégation Pondérée : Les jetons textuels conservés sont pondérés en fonction de leur entropie (une entropie plus faible reçoit un poids plus élevé) et agrégés pour former un score de guidage dense ( $S_D$ ).
Fusion de Scores : Ce score dense est fusionné avec un score de guidage global ( $S_G$ ) dérivé du jeton CLIP EOS pour équilibrer le détail fin et le contexte sémantique macroscopique, produisant un score de pertinence d'instruction ( $S_I$ ) robuste.

2. Lissage Spatial et Sélection Submodulaire

Pour traiter la fragmentation et la redondance des caractéristiques, l'EADP remplace la sélection Top-K naïve par une approche structurée :

Continuité Spatiale et Polarisation : La carte de scores de pertinence est remodelée en 2D et lissée à l'aide d'un noyau gaussien pour propager les activations vers les parties structurelles adjacentes. Une étape de polarisation non linéaire des scores (accentuation exponentielle) est ensuite appliquée pour ré-amplifier les régions saillantes et supprimer le bruit de fond lissé.
Maximisation Submodulaire : La sélection de jetons est formulée comme un problème de Maximisation Submodulaire de Localisation de Facilités. La fonction objectif maximise la somme des similitudes pondérées, garantissant que chaque jeton de l'image originale est bien représenté par son homologue le plus similaire dans le sous-ensemble sélectionné.
Optimisation Gloutonne : Cet objectif est submodulaire, permettant un algorithme glouton efficace avec une garantie d'approximation théorique de $(1 - 1/e)$ . Cela garantit que le sous-ensemble sélectionné couvre toutes les parties sémantiques de l'image tout en pénalisant la redondance locale.

Contributions Clés

Identification des Goulots d'Étranglement de l'Élagage : Le papier analyse et identifie systématiquement la dispersion du bruit textuel dans le guidage dense et la fragmentation des caractéristiques inhérente à la sélection Top-K standard comme les causes primaires de la dégradation des performances des méthodes d'élagage existantes.
Scoring Dense Sensible à l'Entropie : Un nouveau mécanisme est proposé pour quantifier et filtrer le bruit textuel en utilisant l'entropie statistique sans dépendre de parseurs NLP externes. Cela produit un score de pertinence d'instruction à grain fin et robuste au bruit.
Sélection de Jetons Submodulaire avec Priors Spatiaux : Les auteurs reformulent la sélection de jetons comme un problème de maximisation submodulaire de localisation de facilités. Couplée au lissage spatial et à la polarisation des scores, cette méthode garantit une représentativité des caractéristiques holistique et pénalise explicitement la redondance, surmontant les limites de la recherche de pics gloutonne.

Résultats Expérimentaux

L'EADP a été évalué sur plusieurs architectures de VLM (LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, Qwen2.5-VL, et Qwen3-VL) et divers benchmarks (VQAv2, GQA, MME, MMBench, MM-Vet, DocVQA, etc.).

Performance : L'EADP atteint systématiquement des performances de pointe (SoTA) sur tous les budgets de jetons testés. Par exemple, sur LLaVA-1.5-7B avec 128 jetons conservés (77,8 % d'élagage), l'EADP atteint une précision moyenne de 63,5, surpassant des bases solides comme CDPruner (63,2) et DivPrune (62,5).
Robustesse : La méthode démontre une robustesse supérieure sous compression extrême (par exemple, en ne conservant que 32 jetons) et pour les entrées à haute résolution (LLaVA-NeXT avec 2880 jetons), où elle maintient une performance quasi sans perte par rapport aux bases de référence à jetons complets.
Efficacité : Bien que l'EADP introduise un surcoût computationnel marginal dû au scoring dense et à l'optimisation submodulaire, il offre une accélération significative de la latence d'inférence de bout en bout (par exemple, un gain de vitesse de 1,5x à 2,0x) et réduit les FLOPs jusqu'à 66 % par rapport aux modèles non élagués.
Généralisation : L'approche se généralise efficacement à travers différentes échelles de modèles (de 3B à 13B paramètres) et modalités (images statiques et vidéo), excellant particulièrement dans les tâches nécessitant un raisonnement fin et la compréhension de documents.

Signification et Revendications

Le papier affirme que l'élagage de jetons visuels n'est pas simplement une tâche de scoring, mais un problème de compression structuré nécessitant à la fois une saillance sensible au bruit et une couverture visuelle holistique. En abordant les goulots d'étranglement spécifiques de la dispersion du bruit textuel et de la fragmentation des caractéristiques, l'EADP fait progresser considérablement le compromis précision-efficacité pour les VLM. Les auteurs affirment que leur cadre fournit une solution mathématiquement fondée qui préserve de manière robuste les indices visuels fins sous des budgets de jetons stricts, ce qui le rend hautement adapté aux applications multimodales en temps réel et à ressources limitées. Le travail suggère que les futures stratégies d'élagage doivent aller au-delà des simples heuristiques Top-K pour incorporer des priors structurels et des mécanismes de scoring sensibles au bruit.