🤖 machine learning

AsymVLM: Asymmetric Token Pruning for Efficient Vision-Language Model Inference

AsymVLM est un cadre d'inférence efficace pour les modèles vision-langage qui exploite les propriétés distinctes des modalités visuelle et textuelle en appliquant une élagage agressif et adaptatif aux tokens visuels redondants spatialement et une éviction basée sur un seuil temporel aux tokens textuels, permettant d'économiser jusqu'à 54 % des FLOPs tout en surpassant les méthodes de l'état de l'art dans les tâches de compréhension de documents et de graphiques.

Auteurs originaux : Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yilin Feng, Ahmed Burak Gulhan, Mahmut Taylan Kandemir

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un Modèle Vision-Langage (VLM) comme un assistant hautement intelligent mais légèrement débordé. Vous lui montrez une image (comme un document complexe ou un graphique) et lui posez une question. Pour comprendre l'image, l'assistant la décompose en milliers de minuscules pièces de puzzle appelées « tokens visuels ». Pour comprendre votre question et formuler une réponse, il utilise un ensemble plus restreint de « tokens textuels ».

Le problème est que la « mémoire de travail » de l'assistant (sa mémoire GPU) s'encombre. Il tente de retenir chaque pièce de puzzle et chaque mot qu'il génère, ce qui le rend lent et coûteux à exécuter.

Les méthodes existantes tentent de résoudre ce problème en traitant les pièces de l'image et les mots exactement de la même manière : elles éliminent simplement un pourcentage fixe de tout (par exemple, « supprimer 50 % des pièces de puzzle et 50 % des mots »). Les auteurs de cet article, AsymVLM, soutiennent que c'est comme essayer d'organiser une bibliothèque en jetant la moitié des livres et la moitié des signets sans réfléchir à ce qu'ils font réellement.

Voici comment AsymVLM fonctionne, en utilisant des analogies simples :

1. Les Deux Problèmes Différents

L'article souligne que les pièces d'image et les mots sont fondamentalement différents :

Tokens Visuels (Les Pièces de Puzzle) : Ils sont tous indépendants. Si vous retirez un morceau de ciel d'une photo, le morceau d'arbre à côté ne s'en soucie pas. Ils sont « redondants spatialement », ce qui signifie que de nombreuses pièces ne sont que du bruit de fond.
Tokens Textuels (L'Histoire) : Ils forment une réaction en chaîne. Le mot 2 dépend du mot 1, et le mot 3 dépend du mot 2. Si vous supprimez un mot au milieu d'une phrase, le reste de l'histoire peut ne plus avoir de sens.

2. La Solution : Une Stratégie à Deux Volets

Au lieu d'utiliser une seule règle pour tout, AsymVLM utilise deux stratégies différentes adaptées à chaque type de token.

Stratégie A : Le « Éditeur Intelligent » pour les Images (Élagage des Tokens Visuels)

Avant même que l'assistant ne commence à réfléchir, AsymVLM agit comme un éditeur intelligent examinant la photo.

L'Ancienne Façon : « Supprimer 50 % des pixels au hasard » ou « Supprimer ceux qui semblent les moins importants pour la question ».
La Façon AsymVLM : Il utilise un Système de Notation Apprenti. Imaginez un entraîneur qui a regardé des milliers de matchs et sait exactement quels joueurs (tokens) aident réellement à gagner le match. Ce système de notation ne regarde pas seulement l'image ; il examine comment l'image se connecte à la question spécifique que vous avez posée.
Le « Budget Adaptatif » : C'est la partie la plus ingénieuse. L'article note que certaines questions nécessitent un balayage complet de l'image (par exemple, « Combien de pommes y a-t-il dans ce verger ? »), tandis que d'autres n'ont besoin que d'un tout petit endroit (par exemple, « Quel est le prix de la pomme rouge ? »).
- Si la question est spécifique à une petite zone, l'écart entre les pièces importantes et non importantes est énorme. Le système dit : « Super, nous pouvons être agressifs et jeter 75 % de l'image ! »
- Si la question nécessite l'image entière, l'écart est faible. Le système dit : « D'accord, gardez 90 % de l'image juste pour être sûr. »
- Analogie : C'est comme faire une valise. Si vous partez à la plage pour une journée, vous faites une valise légère. Si vous partez pour un voyage d'un mois, vous faites une valise plus remplie. AsymVLM ajuste le « remplissage » en fonction du voyage spécifique, plutôt que d'utiliser la même taille de valise pour tout le monde.

Stratégie B : Le « Concierge Mémoire » pour le Texte (Éviction des Tokens Textuels)

Une fois que l'assistant commence à générer une réponse, il écrit les mots un par un. Si la conversation devient longue, la mémoire se remplit.

L'Ancienne Façon : Les méthodes standard pour l'IA uniquement textuelle (comme H2O ou StreamingLLM) tentent de supprimer les mots les plus anciens ou les moins « importants » pour faire de la place pour les nouveaux.
La Façon AsymVLM : Les auteurs ont réalisé que dans ces assistants visuels, la conversation est généralement courte, et c'est l'image qui constitue le contexte le plus important.
- Ils définissent un budget fixe. L'assistant continue d'écrire jusqu'à atteindre une limite (par exemple, 500 mots).
- Une fois la limite atteinte, il commence à supprimer les mots générés les plus anciens (ceux qui ne sont plus nécessaires pour la phrase suivante immédiate), mais il ne supprime jamais l'image originale ni la question originale.
- Analogie : Imaginez que vous racontez une histoire à un ami. Vous n'avez pas besoin de vous souvenir de la première phrase que vous avez dite il y a 10 minutes pour terminer la phrase actuelle. AsymVLM agit comme un concierge qui nettoie les vieux brouillons non pertinents du tableau blanc pour faire de la place pour la nouvelle phrase, mais il laisse l'invite originale et la photo épinglés au mur pour toujours.

3. Les Résultats : Plus Rapide et Plus Intelligent

L'article affirme qu'en traitant ces deux types de données différemment, AsymVLM atteint :

Des Accélérations Massives : Il économise jusqu'à 54 % de la puissance de calcul (FLOPs) nécessaire pour exécuter le modèle. C'est parce qu'il retire physiquement les pièces d'image inutiles avant que les lourds calculs mathématiques ne commencent, plutôt que de simplement les ignorer pendant les calculs.
Une Meilleure Précision : Sur des tâches comme la lecture de documents ou la compréhension de graphiques, il obtient en réalité 2 à 3 % de meilleurs résultats que les méthodes précédentes. C'est parce qu'il conserve les pièces d'image spécifiques qui répondent à la question et rejette le reste, alors que d'autres méthodes pourraient accidentellement supprimer la pièce cruciale.
Efficacité Mémoire : Il réduit la mémoire nécessaire pour exécuter le modèle, permettant ainsi de l'installer sur des puces informatiques plus petites et moins chères qui ne pouvaient pas gérer le modèle complet non élagué.

Résumé

AsymVLM est un système qui réalise que « l'unique taille ne convient pas à tous ». Il utilise un filtre intelligent et adaptatif pour éliminer le superflu des images en fonction de la question spécifique, et un concierge attentif pour gérer la mémoire textuelle sans perdre le contexte original. Le résultat est un Modèle Vision-Langage plus rapide, utilisant moins de mémoire et étonnamment plus précis pour lire des documents et des graphiques.

Résumé Technique : AsymVLM

Énoncé du Problème

Les modèles vision-langage (VLM) font face à des goulots d'étranglement computationnels et mémoire significatifs lors de l'inférence. Bien que les méthodes de compression existantes traitent souvent les tokens visuels et textuels de manière uniforme, cet article soutient qu'une telle approche est sous-optimale en raison d'asymétries fondamentales entre les deux modalités :

Différences Structurelles et Causales : Les tokens visuels sont des patches spatialement redondants générés en un seul passage avant avec aucune dépendance causale, permettant leur suppression indépendante. En revanche, les tokens textuels sont générés de manière autoregressive avec un ordre causal strict ; l'éviction d'un token textuel risque de corrompre toutes les représentations subséquentes.
Déplacement des Goulots d'Étranglement : Dans les configurations VLM typiques à tour unique, les tokens visuels dominent l'entrée (par exemple, 2 500 tokens visuels contre ~30 tokens textuels), ce qui en fait le goulot d'étranglement principal lors de la phase de préremplissage (prefill). Cependant, lors d'une génération libre ou d'un dialogue multi-tours, les tokens textuels s'accumulent rapidement, déplaçant le goulot d'étranglement vers la phase de décodage.
Difficulté Variable des Entrées : Le ratio de pruning optimal n'est pas uniforme sur tous les échantillons. Certaines requêtes ne nécessitent que des informations visuelles localisées (permettant un pruning agressif), tandis que d'autres exigent un balayage global (nécessitant une rétention conservatrice). Les méthodes existantes utilisant des ratios de pruning fixes échouent à s'adapter à ce spectre.

Méthodologie : AsymVLM

Les auteurs proposent AsymVLM, un cadre de pruning asymétrique de tokens qui découple les stratégies de compression pour les tokens visuels et textuels basées sur les observations ci-dessus. Le cadre opère en deux étapes distinctes :

1. Pruning des Tokens Visuels (Avant le Préremplissage)

Appliqué avant les couches du transformateur pour adresser le goulot d'étranglement du préremplissage, cette étape se compose de deux composants :

Sélecteur d'Importance Appris : Contrairement aux méthodes antérieures s'appuyant sur la saillance visuelle ou la similarité croisée brute, AsymVLM emploie un sélecteur léger et apprenable. Ce sélecteur rééchelonne les dimensions d'embedding en utilisant un vecteur de poids apprenable ( $w$ ) pour mieux aligner le classement des tokens avec la préservation de la sortie finale du modèle. Il est entraîné pour minimiser l'écart entre les états cachés des modèles prunés et non prunés.
Allocation Adaptative par Échantillon : Reconnaissant que les écarts d'importance varient selon les entrées, le système calcule un « écart d'importance » (la différence entre les scores d'importance aux percentiles 75 et 25) pour chaque échantillon. Sur la base de cet écart, un ratio de rétention dynamique est assigné : les échantillons avec un grand écart (distinction claire entre tokens importants et non importants) reçoivent un ratio de pruning agressif, tandis que les échantillons avec un petit écart (importance uniforme) reçoivent un ratio conservateur.

2. Éviction des Tokens Textuels (Pendant le Décodage)

Appliqué uniquement lorsque la séquence générée dépasse un budget fixe, cette étape adresse le goulot d'étranglement du décodage :

Éviction Basée sur un Seuil : Les tokens textuels sont conservés jusqu'à ce que la longueur de la séquence dépasse un seuil prédéfini. Une fois déclenché, le système évict les tokens générés d'importance la plus faible.
Notation Spécifique aux VLM : Contrairement aux méthodes de compression de cache LLM standard qui suivent l'attention cumulative sur de longs contextes, AsymVLM exploite la nature à court contexte des VLM. Il note les tokens en fonction de l'attention reçue à la dernière couche du transformateur de l'étape de décodage actuelle. Crucialement, il protège tous les tokens de préremplissage (images et invites) de l'éviction, car ils portent un contexte irremplaçable pour les tours suivants.

Contributions Clés

Analyse Systématique : L'article fournit une analyse structurelle révélant l'asymétrie fondamentale entre les tokens visuels et textuels dans les VLM, arguant que la compression consciente de la modalité est essentielle pour l'efficacité.
Cadre à Double Stratégie : AsymVLM introduit un cadre combinant le pruning de tokens visuels conscient de la requête (avant le transformateur) avec l'éviction de tokens textuels contrainte par un budget (pendant le décodage).
Sélecteur Appris avec Allocation Adaptative : Les auteurs introduisent un sélecteur qui optimise la préservation de la sortie plutôt que la simple similarité sémantique, couplé à un mécanisme qui ajuste dynamiquement les ratios de pruning en fonction de la distribution d'importance de l'entrée.
Évaluation Complète : Des expériences extensives démontrent que l'approche atteint une efficacité et une précision supérieures par rapport aux bases de référence de l'état de l'art.

Résultats Expérimentaux

Le cadre a été évalué sur Phi-3.5-Vision (dominé par la vision) et Gemma 3 (dominé par le texte dans les scénarios de génération longue) sur sept benchmarks (DocVQA, ChartQA, MME, TextVQA, OCRVQA, LLaVA-Bench, MMDU).

Efficacité : AsymVLM réalise les économies de FLOPs les plus élevées parmi les méthodes comparées, atteignant jusqu'à 54% à 50% de rétention des tokens visuels. C'est la seule méthode qui réduit physiquement la longueur de la séquence avant le transformateur, entraînant des réductions proportionnelles de la mémoire de pointe et de la taille du cache KV (jusqu'à 75% de réduction de la mémoire de pointe).
Précision sur les Tâches Localisées : Sur les tâches de compréhension de documents et de graphiques (DocVQA, ChartQA), où l'information visuelle est spatialement localisée, AsymVLM surpasse les méthodes existantes (FastV, SparseVLM) de 2–3% à des ratios de rétention de 65–75%. Par exemple, sur DocVQA à 65% de rétention, il atteint 85,07% d'ANLS contre 81,74% pour FastV.
Tâches Holistiques : Sur les benchmarks holistiques (MME, TextVQA), où l'importance des tokens est plus uniforme, AsymVLM maintient une précision compétitive, surpassant souvent légèrement les bases de référence.
Performance d'Éviction Textuelle : Dans les scénarios dominés par le texte (Gemma 3), la stratégie d'éviction basée sur un seuil surpasse considérablement les méthodes de cache LLM standard (H2O, StreamingLLM). Sur MMDU (dialogue multi-tours), AsymVLM atteint un score de 7,03 à 90% de rétention, nettement supérieur aux 5,61 atteints par les bases de référence. Les bases de référence se dégradent sévèrement car elles traitent les tokens visuels et d'invite comme des candidats à l'éviction, whereas AsymVLM les protège.

Signification et Revendications

L'article revendique que AsymVLM représente un passage d'une compression uniforme à des stratégies conscientes de la modalité. En reconnaissant que les tokens visuels constituent un problème de sélection d'entrée et que les tokens textuels constituent un problème de gestion de cache, le cadre réalise les gains d'efficacité les plus élevés (jusqu'à 54% de réduction des FLOPs) tout en maintenant ou en améliorant la précision sur des tâches complexes et spécifiques à la requête. Les auteurs soulignent que leur sélecteur appris se généralise efficacement à travers différentes mises en page visuelles et types de questions sans ajustement spécifique à la tâche, et que leur stratégie d'éviction textuelle est spécifiquement adaptée à la nature à court contexte et ancrée sur l'image de l'inférence VLM, évitant les pièges de l'application directe des techniques de compression LLM à long contexte aux VLM.

Limites : Les auteurs notent que l'évaluation est actuellement limitée à Phi-3.5-Vision et Gemma 3, et que la généralisation à d'autres architectures (par exemple, les VLM basés sur LLaMA, Qwen-VL) nécessite une validation supplémentaire. De plus, la stratégie d'éviction textuelle utilise un seuil fixe et n'a pas été testée sur des dialogues multi-tours très longs (50+ tours).