🤖 AI

How Many Visual Tokens Do Multimodal Language Models Need? Scaling Visual Token Pruning with F^3A

Ce papier présente F^3A, un routeur d'élagage de tokens visuels sans entraînement qui alloue dynamiquement un budget de tokens fixe en traitant l'élagage comme une recherche de preuves conditionnée par la tâche, réduisant ainsi les coûts d'inférence dans les modèles multimodaux sans nécessiter d'entraînement supplémentaire ni perturber le pipeline de décodage original.

Auteurs originaux : YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : YiJie Huang, Yiqun Zhang, Zhuoyue Jia, Xiaocui Yang, Junzhao Huang, Zihan Wang, Shi Feng, Daling Wang, Yifei Zhang, Yongkang Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Question : Quelle partie de l'image avons-nous réellement besoin de voir ?

Imaginez que vous essayez de résoudre une énigme, et que quelqu'un vous remet une photo gigantesque et haute définition pour vous aider à trouver la réponse. La photo est si détaillée qu'elle contient des millions de minuscules pixels.

Dans le monde de l'IA, ces « pixels » sont appelés des tokens visuels. Les modèles d'IA actuels (Grands Modèles de Langage Multimodaux) sont comme des détectives brillants qui veulent examiner chaque pixel individuel de cette photo pour s'assurer de ne manquer aucun indice. Mais examiner des millions de pixels prend beaucoup de temps et consomme énormément d'énergie (ressources informatiques).

Les chercheurs ont posé une question simple : Si nous avons une quantité limitée de temps et d'énergie, combien de ces pixels devons-nous réellement conserver pour obtenir la bonne réponse ?

Le Problème des Méthodes Actuelles : Le Pari « En Un Coup »

Actuellement, la plupart des systèmes d'IA tentent de réduire le nombre de pixels en utilisant une règle « en un coup ». Ils regardent la photo une fois et disent : « Oh, cette partie est lumineuse, donc elle est importante », ou « Cette partie est floue, alors jetons-la ».

Les auteurs soutiennent que cela revient à essayer de trouver une aiguille spécifique dans une botte de foin en ne regardant que la couche supérieure de foin. Si l'aiguille est cachée profondément ou est d'une couleur terne, un simple contrôle de « luminosité » la manquera. Ils appellent cela un classement statique. Cela ne se soucie pas de la question spécifique ; cela se contente de deviner sur la base de règles générales.

La Solution : F3A (La Stratégie de la Mouche à Fruit)

Le document présente une nouvelle méthode appelée F3A (Algorithme de Fourrage de la Mouche à Fruit). Pour la comprendre, imaginez une mouche à fruit cherchant un morceau de fruit pourri.

L'Odeur (Champ Olfactif) : Une mouche à fruit ne regarde pas seulement le fruit ; elle sent l'air. Elle crée une « carte » de l'endroit où l'odeur est la plus forte.
- Dans l'IA : Au lieu de simplement regarder l'image, l'IA lit d'abord la question. Elle crée une « carte olfactive » basée sur ce que la question demande. Si la question est « De quelle couleur est le chapeau ? », l'IA sait « sentir » les chapeaux, et pas seulement les zones lumineuses.
La Chasse en Trois Étapes : La mouche à fruit ne se pose pas au hasard. Elle utilise une stratégie intelligente :
- Étape 1 : Recherche Grossière (Le Grand Filet) : La mouche vole haut et cherche la zone générale où l'odeur est forte. Elle ne choisit pas encore une seule feuille ; elle choisit toute une branche.
  - Dans l'IA : Le système examine de gros morceaux de l'image pour trouver les zones générales pertinentes par rapport à la question.
- Étape 2 : Verrouillage Visuel (Le Zoom) : Une fois qu'elle a trouvé une branche prometteuse, elle se pose et regarde de près pour confirmer que le fruit est réellement là et pas juste une feuille qui sent le fruit. Elle évite de choisir deux feuilles l'une à côté de l'autre (rédundance).
  - Dans l'IA : Le système zoome sur ces zones spécifiques pour sélectionner les meilleurs tokens exacts, en s'assurant de ne pas choisir la même chose deux fois.
- Étape 3 : Saut de Sauvetage (Le Filet de Sécurité) : Parfois, le fruit est caché dans un endroit étrange que la mouche a manqué. La mouche a une règle : « Si je n'ai pas trouvé assez de fruit, je saute vers un endroit au hasard, au cas où. »
  - Dans l'IA : Si le système réalise qu'il a manqué un détail petit mais crucial (comme une étiquette de texte minuscule ou un petit objet), il « sauve » ces tokens pour qu'ils ne soient pas perdus.

Pourquoi Cela Compte : Les Résultats

Les chercheurs ont testé cette stratégie de « Mouche à Fruit » sur de nombreux modèles d'IA différents, allant des petits (2 milliards de paramètres) aux massifs (235 milliards de paramètres).

Le Test « Budget Fixe » : Ils ont dit à l'IA : « Tu ne peux regarder que 20 % de l'image. »
- Résultat : L'IA Mouche à Fruit (F3A) a donné la bonne réponse 93,86 % du temps par rapport à l'examen de l'image entière. Les autres méthodes (comme les « parieurs en un coup ») ont eu raison beaucoup moins souvent.
Le Test « Objectif Fixe » : Ils ont dit à l'IA : « Tu dois avoir 97 % de bonnes réponses, mais utilise le moins de pixels possible. »
- Résultat : L'IA Mouche à Fruit n'avait besoin que de 39,9 % des pixels pour atteindre cet objectif. La méthode suivante la plus performante avait besoin de 50,1 % des pixels.

La Conclusion

Le document affirme que la façon dont vous allouez votre attention compte plus que la simple taille de votre modèle.

Au lieu de réduire aveuglément l'image selon des règles générales, F3A traite l'image comme une carte au trésor. Elle utilise la question pour guider une recherche intelligente en trois étapes (Odeur, Verrouillage, Sauvetage) afin de trouver les indices exacts nécessaires. Cela permet à l'IA d'être beaucoup plus rapide et d'utiliser moins de mémoire sans perdre sa capacité à comprendre le monde.

En bref : Ne jetez pas simplement la moitié de l'image parce qu'elle semble « redondante ». Utilisez la question pour chasser les preuves spécifiques dont vous avez besoin, tout comme une mouche à fruit chasse le fruit.

Résumé technique : Combien de jetons visuels les modèles de langage multimodaux ont-ils besoin ? Mise à l'échelle de l'élagage de jetons visuels avec F3A

1. Énoncé du problème

À mesure que les modèles vision-langage (VLM) augmentent en taille et en capacité, ils reposent de plus en plus sur de longues séquences de jetons visuels pour atteindre une perception fine (par exemple, OCR, compréhension de graphiques, analyse vidéo). Cependant, ces séquences étendues imposent des coûts computationnels significatifs, dominent le calcul de préremplissage, élargissent les caches KV et augmentent la latence de bout en bout.

La question centrale abordée par ce travail est : À mesure que les modèles multimodaux grandissent, combien de jetons visuels sont réellement nécessaires, et comment devraient-ils être alloués sous un budget fixe de jetons visuels ?

Les méthodes existantes d'élagage sans entraînement (par exemple, FastV, VisionZip, DivPrune, CDPruner) traitent généralement l'élagage de jetons comme un problème de classement statique ou de sélection de sous-ensemble basé sur des signaux proxy ponctuels tels que l'attention du décodeur, la similarité visuelle ou la diversité conditionnelle. Les auteurs soutiennent que ces approches sont incomplètes, en particulier sous une compression agressive. La valeur d'un jeton n'est pas simplement une fonction de sa saillance ou de sa redondance, mais dépend de ses preuves pour la requête actuelle. Les méthodes standard échouent souvent à allouer dynamiquement des jetons à travers une image en fonction de la tâche spécifique, conduisant à des performances sous-optimales lorsque les budgets de jetons sont serrés.

2. Méthodologie : Algorithme de fourrage de mouche à fruits (F3A)

L'article propose F3A, un routeur sans entraînement qui reformule l'élagage de jetons visuels comme une recherche de preuves conditionnée par la tâche. Inspiré par les algorithmes d'optimisation de mouche à fruits, F3A opère après la tour de vision mais avant que le modèle de langage ne consomme les jetons d'image. Il ne nécessite pas d'entraînement du modèle, de passes avant supplémentaires de LLM, ni de modifications du pipeline de décodage.

La méthode se compose de trois étapes séquentielles :

A. Construction du champ d'odeur de la tâche

F3A construit une carte de preuves globale à faible coût (le "champ d'odeur") sur les jetons visuels.

Indices d'odeur : Au lieu d'une attention apprise, F3A utilise des modèles déterministes et la couche de tokenizer/incrustation figée du MLLM de base pour générer des requêtes de preuves légères. Ceux-ci incluent un indice global (contexte complet de la question), un indice cible (entité interrogée) et un indice de tâche (par exemple, OCR, comptage, relations spatiales).
Détection éparsse : Les indices sont appariés aux jetons de grille visuelle à l'aide de têtes de détection éparses figées (projections aléatoires). Cela génère un score de preuve scalaire ( $a_i$ ) pour chaque jeton, représentant des preuves pertinentes pour l'invite sans nécessiter de mises à jour de gradient.

B. Processus de fourrage en trois étapes

F3A alloue un budget de jetons fixe ( $K$ ) à travers trois opérateurs :

Recherche grossière (Exploration) :
La grille visuelle est partitionnée en fenêtres non chevauchantes. Les fenêtres sont notées selon leur valeur moyenne d'odeur. Les meilleures fenêtres sont sélectionnées pour former un pool de candidats ( $P_1$ ), et un sous-ensemble "échafaudage" ( $S_1$ ) est conservé pour assurer une couverture spatiale. Cela évite de s'engager trop tôt sur des jetons isolés à haute note.
Verrouillage visuel (Exploitation locale) :
Au sein du pool grossier, F3A affine la sélection pour confirmer les preuves locales et supprimer la redondance.
- Soutien local : Les jetons sont notés en fonction du soutien du voisinage et de l'accord avec les indices de tâche.
- Inhibition du retour : Une pénalité de redondance est appliquée en fonction de la similarité visuelle et de la proximité spatiale avec les jetons déjà sélectionnés. Cela encourage la sélection de preuves diverses et localement soutenues plutôt que de patches redondants regroupés.
Saut de sauvetage (Exploration/Récupération) :
Pour éviter de manquer de petits objets, de texte périphérique ou de contre-preuves en dehors des fenêtres sélectionnées, une fraction du budget ( $\alpha_{jump}$ ) est réservée.
- Incertitude/Couverture : Les jetons sont sélectionnés en fonction d'une forte incertitude (par exemple, de faibles marges entre les scores d'options dans des tâches à choix multiples) ou d'une faible couverture par le sous-ensemble actuel.
- Cette étape garantit que les régions sous-couvertes sont récupérées, empêchant le modèle de s'effondrer sur des zones étroites à haute note.

C. Reconstruction de la séquence

L'ensemble final de jetons sélectionnés remplace le bloc visuel complet avant le préremplissage du LLM. Le préfixe texte original, le modèle d'invite et les poids du modèle restent inchangés. Pour les modèles sensibles à la grille, les indices de jetons sont mappés aux coordonnées de grille originales pour préserver l'information positionnelle.

3. Contributions clés

Reformulation de l'élagage : Les auteurs reformulent l'élagage de jetons visuels sans entraînement comme un problème d'allocation de jetons à plusieurs échelles plutôt que comme une simple compression. Ils évaluent la demande en jetons à travers des modèles multimodaux denses et MoE pour déterminer combien de jetons sont nécessaires pour préserver le comportement des jetons complets.
Routeur F3A : Ils introduisent F3A, un routeur à passage unique et sans entraînement qui effectue une recherche de preuves conditionnée par la tâche en utilisant des indices conditionnés par la question, une détection éparsse et un processus de fourrage en trois étapes inspiré (recherche grossière, verrouillage, sauvetage).
Évaluation à grande échelle : La méthode est évaluée sur les modèles Qwen3-VL allant de 2B à 235B paramètres (couvrant à la fois les architectures denses et MoE) sur 11 benchmarks multimodaux. Elle est également testée sur les architectures de base Qwen2.5-VL et InternVL3.5 pour démontrer la transférabilité.

4. Résultats expérimentaux

L'évaluation couvre 10 modèles et 3 ratios de rétention (60 %, 40 %, 20 %).

Rétention des performances : À toutes les échelles de modèles, F3A surpasse constamment les bases de référence (FastV, VisionZip, DivPrune, CDPruner).
- À 20 % de rétention de jetons visuels, F3A conserve en moyenne 93,86 % des performances des jetons complets.
- Sur le plus grand modèle (Qwen3-VL-235B-A22B), F3A conserve 93,86 % des performances même après avoir supprimé 80 % des jetons visuels.
Demande de jetons à fidélité fixe : Lorsqu'on vise 97 % des performances des jetons complets, F3A ne nécessite en moyenne que 39,9 % de jetons visuels, contre 50,1 % pour la base de référence concurrente la plus forte. Sur le modèle 235B, F3A atteint cela avec 41,2 % de jetons.
Comportement de mise à l'échelle : Contrairement à d'autres méthodes, l'avantage de F3A persiste et augmente souvent à mesure que le modèle s'agrandit. Le gain moyen de précision par rapport à la base de référence la plus forte est positif sur tous les 18 paramètres modèle-rétention testés.
Efficacité : F3A améliore le compromis précision-latence. Sur Qwen3-VL-8B à 20 % de rétention, il réduit la latence de bout en bout de 354,7 ms à 274,3 ms et l'empreinte du cache KV de 117,7 Mo à 29,0 Mo, tout en maintenant la précision la plus élevée parmi les méthodes d'élagage.
Signification statistique : Un test de signe apparié sur 30 paramètres modèle-rétention donne une valeur p de $1,9 \times 10^{-9}$ , confirmant que F3A surpasse constamment la base de référence non-F3A la plus forte.

5. Signification et revendications

L'article affirme que l'inférence multimodale évolutive dépend non seulement de la taille du modèle, mais aussi de l'allocation structurée par recherche de preuves visuelles pertinentes pour la tâche.

Conditionné par la tâche vs Statique : Les résultats suggèrent que traiter l'élagage comme un problème de classement statique est insuffisant pour une compression agressive. L'approche de "fourrage", qui localise, affine et récupère dynamiquement les preuves en fonction de la requête spécifique, est nécessaire pour préserver la capacité des modèles plus grands sous des budgets de jetons serrés.
Perspective de fidélité fixe : Le travail soutient que la réponse à "combien de jetons sont nécessaires" n'est pas un ratio de rétention universel, mais un problème d'allocation dépendant de l'échelle. F3A démontre qu'un élagage efficace permet aux modèles plus grands de réaliser leur pleine capacité avec significativement moins de jetons que ce qui était précédemment considéré comme possible.
Généralisabilité : La méthode s'avère robuste à travers différentes familles de modèles (Qwen3, Qwen2.5, InternVL) et architectures (Dense vs MoE), suggérant que le principe de recherche de preuves conditionnée par la tâche est une solution générale pour l'élagage de jetons multimodaux.

Les auteurs concluent que F3A offre une voie pratique pour réduire les coûts d'inférence des modèles multimodaux sans sacrifier les capacités de perception fine qui entraînent leurs performances.