💻 computer science

HAWK: Head Importance-Aware Visual Token Pruning in Multimodal Models

Le papier présente HAWK, une méthode sans entraînement pour l'élagage des tokens visuels dans les modèles multimodaux qui, en tenant compte de l'importance variable des têtes d'attention, permet de réduire considérablement la latence et l'usage mémoire tout en préservant une précision quasi optimale.

Auteurs originaux : Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

Publié 2026-04-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Qihui Zhu, Tao Zhang, Yuchen Wang, Zijian Wen, Mengjie Zhang, Shuangwu Chen, Xiaobin Tan, Jian Yang, Yang Liu, Zhenhua Dong, Xianzhi Yu, Yinfei Pan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🦅 HAWK : Le "Faucon" qui nettoie le cerveau des IA

Imaginez que vous demandez à un expert (une intelligence artificielle) de décrire une photo de vacances. Pour répondre, l'IA ne regarde pas la photo d'un seul coup d'œil. Elle la découpe mentalement en des centaines de petits morceaux (appelés "tokens visuels").

Le problème ? C'est comme si l'IA devait lire 100 pages de détails pour répondre à une question simple comme "Où est la table de pique-nique ?". La plupart de ces pages parlent du ciel, des arbres en arrière-plan ou de l'herbe, alors que la réponse se trouve sur un seul petit coin de la photo. Cela rend l'IA lente, gourmande en énergie et coûteuse à faire tourner.

C'est là qu'intervient HAWK (Head Importance-Aware Visual Token Pruning).

1. Le problème : Tout le monde ne pense pas pareil

Jusqu'à présent, les chercheurs pensaient que tous les "cerveaux" (les têtes d'attention) de l'IA fonctionnaient de la même façon. Ils pensaient : "Si on enlève 50% des détails de l'image, on garde les plus importants, peu importe qui les regarde."

Mais HAWK a découvert une vérité surprenante : ce n'est pas vrai !
Dans le cerveau de l'IA, chaque "tête" est un spécialiste différent.

L'une est experte pour voir les visages.
L'autre est bonne pour lire le texte sur un panneau.
Une troisième s'intéresse aux couleurs, une autre aux formes géométriques.

Si vous demandez à l'IA de lire un panneau, et que vous enlevez les détails que la "tête experte en texte" regarde, l'IA devient aveugle. Les méthodes anciennes enlevaient les détails au hasard ou de manière uniforme, risquant de jeter les informations cruciales.

2. La solution HAWK : Le chef d'orchestre intelligent

HAWK agit comme un chef d'orchestre très intelligent qui sait exactement qui faire jouer et qui mettre en pause.

Voici comment il procède, étape par étape :

Étape 1 : Écouter la question (L'attention guidée par le texte)
Avant de regarder l'image, HAWK écoute votre question. Si vous demandez "Où est le chat ?", il dit aux spécialistes de l'IA : "Hé, concentrez-vous sur les zones où il y a des poils ! Ignorez le ciel bleu."
C'est comme si vous disiez à un détective : "Cherche les empreintes, ne perds pas de temps à regarder les fleurs."
Étape 2 : Connaître les forces de chacun (L'importance des têtes)
HAWK sait déjà, grâce à une petite analyse préalable (sans réapprendre tout le modèle), quelle "tête" est la plus importante pour telle tâche.
- Analogie : Imaginez une équipe de pompiers. Si le feu est dans la cuisine, vous envoyez le pompier spécialiste des gaz, pas celui qui est expert en sauvetage en montagne. HAWK identifie qui est le "spécialiste gaz" pour votre question précise.
Étape 3 : Le grand tri (L'élagage)
HAWK combine ces deux informations :
1. Ce que la question demande.
2. Qui est le meilleur spécialiste pour répondre.
Il garde seulement les morceaux de l'image que les spécialistes pertinents ont besoin de voir. Il jette le reste (les 80% de détails inutiles).

3. Les résultats magiques

Grâce à cette méthode, HAWK réalise des prouesses incroyables :

Vitesse : L'IA est beaucoup plus rapide (jusqu'à 25% plus rapide) car elle n'a plus à lire des centaines de pages inutiles.
Mémoire : Elle consomme moins d'énergie et de mémoire (comme un téléphone qui chauffe moins).
Précision : Le plus étonnant, c'est que l'IA ne perd presque rien en intelligence. Même en jetant 80% des détails de l'image, elle garde 96% de sa capacité à répondre correctement.

En résumé

Avant, pour faire une IA rapide, on devait la rendre "bête" en lui enlevant des informations.
Avec HAWK, on rend l'IA plus efficace en lui apprenant à ignorer le bruit et à se concentrer uniquement sur ce qui compte vraiment pour la question posée, en utilisant les bons "spécialistes" de son cerveau.

C'est comme passer d'un lecteur qui lit tout un livre mot à mot pour trouver un nom, à un expert qui ouvre le livre directement à la page 42, lit le paragraphe clé, et vous donne la réponse instantanément.

1. Problématique

Les modèles de langage multimodaux (MLLM) actuels, tels que Qwen2.5-VL ou LLaVA, convertissent les entrées visuelles (images, vidéos) en séquences de "tokens visuels". Le nombre de ces tokens est souvent très élevé (des centaines pour une image, des dizaines de milliers pour une vidéo), dépassant largement celui des tokens textuels.

Coût computationnel : La complexité de l'attention dans les modèles transformeurs croît de manière quadratique par rapport à la longueur de la séquence. Cette explosion du nombre de tokens visuels entraîne une latence d'inférence élevée et une consommation mémoire importante, rendant ces modèles peu pratiques pour des applications en temps réel ou sur des ressources limitées.
Limites des méthodes existantes : Les approches d'élagage (pruning) de tokens visuels actuelles se divisent en trois catégories : basées sur la similarité, le fine-tuning ou l'attention. Cependant, elles partagent une hypothèse simplificatrice erronée : elles supposent que toutes les têtes d'attention contribuent de manière égale à l'interprétation visuelle. En réalité, les différentes têtes capturent des sémantiques visuelles distinctes et jouent des rôles hétérogènes. Les méthodes actuelles, en traitant toutes les têtes de manière égale (souvent par une moyenne arithmétique), risquent de supprimer des tokens sémantiquement cruciaux tout en conservant des tokens redondants.

2. Méthodologie : HAWK

Les auteurs proposent HAWK, une méthode d'élagage de tokens visuels sans entraînement (training-free) qui intègre la conscience de l'importance des têtes d'attention.

A. Observation Fondamentale

L'étude initiale révèle que l'ablation (désactivation) de différentes têtes d'attention entraîne des baisses de performance très variables selon les jeux de données. Cela confirme que chaque tête a un rôle unique et une importance spécifique dans le traitement visuel.

B. Architecture de HAWK

Le processus d'élagage de HAWK combine deux composantes pour calculer un score d'importance pour chaque token visuel :

Poids d'importance statique des têtes (Static Visual Head Importance Weights) :
- Une analyse hors ligne (one-time offline analysis) est réalisée sur plusieurs jeux de données de référence.
- Pour chaque tête $i$ , on mesure la chute de performance ( $\Delta S_{i,j}$ ) lorsqu'elle est masquée sur un jeu de données $j$ .
- Un vecteur de poids $W = \{w_1, ..., w_{N_h}\}$ est calculé en moyennant ces chutes de performance normalisées sur tous les jeux de données. Cela quantifie l'importance intrinsèque de chaque tête pour la compréhension visuelle globale.
Scores d'attention guidés par le texte (Dynamic Text-Guided Attention Scores) :
- L'importance d'un token visuel dépend du contexte de la requête textuelle.
- HAWK utilise un mécanisme d'attention où les requêtes ( $Q$ ) proviennent des tokens textuels et les clés ( $K$ ) des tokens visuels.
- Point clé : Pour éviter les biais positionnels et se concentrer uniquement sur la correspondance sémantique, l'opération d'embedding de position (RoPE) est omise à cette étape.
- On calcule une matrice d'attention $A$ et on en dérive un score d'agrégation $C$ pour chaque token visuel, représentant sa pertinence par rapport à l'instruction textuelle.
Calcul du Score d'Importance Final :
- Le score d'importance $I_k$ du $k$ -ième token visuel est obtenu en combinant les scores d'attention guidés par le texte avec les poids d'importance des têtes :
  $I_k = \sum_{i=1}^{N_h} w_i \cdot c_{i,k}$
- Les tokens visuels sont ensuite triés selon ce score $I_k$ , et seuls les $M$ tokens les plus importants sont conservés pour l'inférence.

3. Contributions Clés

Découverte : Identification et quantification du fait que les différentes têtes d'attention dans les MLLM jouent des rôles distincts et inégaux dans le traitement visuel.
Innovation : Proposition de HAWK, une méthode d'élagage qui intègre dynamiquement l'importance des têtes d'attention avec la pertinence sémantique guidée par le texte.
Efficacité : Une méthode entièrement sans entraînement (training-free) qui ne nécessite qu'un calcul hors ligne unique, applicable à diverses architectures MLLM (LLaVA-NeXT, Qwen2.5-VL, etc.) sans recalibrage coûteux.
Performance : Démonstration d'une précision supérieure (SOTA) par rapport aux méthodes existantes (FastV, DivPrune, CDPruner) sur de multiples benchmarks.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles de pointe comme Qwen2.5-VL-7B et InternVL3-8B, sur des tâches de VQA (Visual Question Answering) en image et en vidéo.

Précision :
- Sur Qwen2.5-VL, HAWK conserve 96,0 % de la précision originale après avoir élagué 80,2 % des tokens visuels.
- À un taux d'élagage extrême de 90,1 %, il maintient encore 90,0 % de la performance, surpassant les meilleures méthodes de base de 4,1 points de pourcentage.
- Sur InternVL3-8B, HAWK maintient 94,1 % de la performance avec 80 % d'élagage, surpassant les concurrents de 7 points.
Efficacité et Latence :
- La latence de bout en bout (E2E) est réduite à 74,4 % de la latence originale (soit un gain de vitesse d'environ 1,34x).
- L'utilisation de la mémoire GPU (KV Cache) est significativement réduite (par exemple, de 668 Mo à 148 Mo pour un ratio d'élagage de 0,8).
Robustesse : HAWK fonctionne efficacement aussi bien sur des entrées à résolution fixe que sur des entrées à résolution native (variable), ainsi que sur des tâches de compréhension vidéo.

5. Signification et Impact

HAWK représente une avancée significative pour le déploiement pratique des MLLM. En remettant en cause l'hypothèse d'égalité des têtes d'attention, il propose une stratégie d'optimisation plus intelligente et plus efficace.

Accessibilité : En étant sans entraînement, il permet d'accélérer n'importe quel modèle multimodal existant sans nécessiter de ressources de calcul supplémentaires pour le fine-tuning.
Applications temps réel : La réduction drastique de la latence et de la mémoire ouvre la voie à l'utilisation de MLLM complexes sur des appareils aux ressources limitées ou pour des applications nécessitant une réponse rapide.
Perspective future : Cette approche suggère que l'analyse fine de l'architecture interne des transformeurs (rôle des têtes) est une voie prometteuse pour l'optimisation des modèles multimodaux au-delà de la simple compression de données.

En résumé, HAWK offre une solution élégante et performante pour résoudre le goulot d'étranglement computationnel des modèles multimodaux, en préservant l'information critique tout en éliminant le bruit visuel de manière adaptative.