🤖 AI

Not All Visual Tokens Are Equally Safe to Remove:Consequence-Sensitive Visual Token Compression

Cet article introduit une méthode de compression de jetons visuels sensible aux conséquences pour les modèles de vision-langage qui alloue dynamiquement les ressources de calcul en fonction du coût potentiel des erreurs, réduisant de manière significative les fautes à enjeux élevés et les taux d'erreur pondérés par le coût par rapport aux stratégies traditionnelles basées sur le contenu ou sur une allocation uniforme.

Auteurs originaux : Jingbo Wen, Liang He, Mingyu Cao, Haoyu Wang, Minxuan Hu, Kangning Cui, Xilu Wang

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jingbo Wen, Liang He, Mingyu Cao, Haoyu Wang, Minxuan Hu, Kangning Cui, Xilu Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes le chef exécutif d'un restaurant très fréquenté, mais que vous avez une règle stricète : vous ne pouvez utiliser qu'une quantité fixe d'ingrédients pour chaque plat que vous cuisinez, peu importe ce que c'est. Habituellement, les chefs essaient de rendre le repas « moyen » aussi bon que possible en répartissant ces ingrédients de manière uniforme. Mais et si un plat était une simple portion de frites, tandis qu'un autre était un médicament vital pour un patient ? Si vous ratez les frites, c'est agaçant. Si vous ratez le médicament, c'est une catastrophe. La plupart des programmes informatiques qui regardent des images et répondent à des questions (appelés Modèles Vision-Langage) agissent comme ce vieux chef de cuisine. Ils essaient d'économiser la puissance de calcul en ignorant les parties « ennuyeuses » d'une image, supposant que chaque erreur qu'ils commettent coûte la même quantité d'énergie. Mais dans le monde réel, une erreur n'est pas seulement une erreur ; elle a un prix. Cet article pose une question simple et révolutionnaire : et si nous arrêtions d'essayer de rendre le repas moyen parfait, et que nous nous concentrions plutôt sur l'utilisation de nos ingrédients limités pour les plats où une erreur serait la plus coûteuse ?

Les chercheurs derrière cette étude, dirigés par Jingbo Wen et Liang He, proposent une nouvelle façon de gérer ces modèles informatiques appelée « compression de jetons visuels sensible aux conséquences ». Pour comprendre leur astuce, ne voyez pas une image comme une simple photo, mais comme une mosaïque composée de milliers de minuscules carreaux appelés « jetons » (tokens). Lorsqu'un ordinateur regarde une photo, il traite tous ces carreaux. Pour gagner du temps et de l'argent, les méthodes actuelles essaient de jeter les carreaux qui semblent les moins importants, comme le ciel bleu dans une photo de voiture. Ils font cela en regardant l'image elle-même pour décider quoi garder. Les auteurs soutiennent que cela revient à juger un livre par sa couverture ; parfois, les carreaux d'arrière-plan « ennuyeux » sont en réalité cruciaux pour la question spécifique qui est posée.

Au lieu de simplement regarder l'image, les auteurs suggèrent de regarder d'abord la question ou la tâche. Ils ont réalisé que certaines questions sont à « enjeux élevés » (comme « Quel est le montant total sur cette facture ? ») et que d'autres sont à « enjeux faibles » (comme « De quelle couleur est l'arrière-plan ? »). Leur méthode fonctionne en deux étapes. D'abord, ils exécutent une phase de « calibration » hors ligne, où ils testent le modèle pour voir exactement combien de carreaux (jetons) il lui faut pour répondre correctement aux questions à enjeux élevés par rapport aux questions à enjeux faibles. Ensuite, lorsqu'un utilisateur réel pose une question, le système vérifie la « conséquence » de l'erreur. Si la question est à enjeux élevés, le système alloue un énorme budget de carreaux à cette image, garantissant que l'ordinateur voit chaque détail. Si la question est à enjeux faibles, il reçoit un budget beaucoup plus petit, économisant ainsi les ressources pour les choses importantes.

L'équipe a testé cela sur une configuration délicate où des questions à enjeux élevés et à enjeux faibles étaient posées sur les mêmes images exactes. Cela était crucial car cela a prouvé que l'amélioration ne provenait pas de la différence entre les images, mais purement de la façon dont l'ordinateur décidait de dépenser son énergie. Ils ont découvert qu'en déplaçant le budget, ils pouvaient réduire de plus de moitié les erreurs coûteuses à enjeux élevés (passant de 0,300 à 0,133) sans utiliser plus de puissance de calcul totale qu'auparavant. En fait, parce qu'ils passaient moins de temps sur les questions faciles, l'ensemble du système fonctionnait en fait environ 21 % plus vite.

L'article a également découvert un « point de bascule ». Lorsque le coût d'une erreur est le même pour chaque question, la meilleure stratégie est encore de traiter tout le monde de la même manière. Mais dès que le coût d'une erreur commence à varier (par exemple, si une mauvaise réponse sur un rapport médical est 5 fois pire qu'une mauvaise réponse sur un rapport météo), le système doit commencer à déplacer massivement ses ressources vers les questions dangereuses. Les chercheurs ont montré que cela fonctionne à travers différents types de documents, de graphiques et même différents modèles informatiques. Ils ont conclu que nous ne devrions pas seulement mesurer à quel point un modèle est « précis » en moyenne ; nous devrions mesurer à quel point il prévient les erreurs spécifiques et coûteuses qui comptent le plus dans le monde réel.

Résumé technique : Compression de jetons visuels sensible aux conséquences

1. Énoncé du problème

Les modèles vision-langage (VLM) engendrent des coûts d'inférence importants, dominés par les jetons visuels. Les méthodes existantes de compression de jetons visuels (ex: FastV, SparseVLM) visent à maximiser la précision moyenne sous un budget de calcul fixe en élagant les jetons sur la base de signaux dérivés de l'entrée, tels que l'attention, la redondance ou l'incertitude.

Cependant, ces méthodes supposent implicitement que tous les erreurs de prédiction entraînent un coût égal. Dans les applications réelles (ex: analyse de documents, imagerie médicale), les conséquences des erreurs sont hautement asymétriques. Mal lire un montant de facture ou un identifiant de transaction est bien plus coûteux que de mal classer une couleur de fond ou un élément décoratif. Les stratégies d'allocation actuelles ne peuvent pas exploiter cette asymétrie car elles reposent uniquement sur les propriétés du contenu visuel, ignorant les signaux observables au moment de l'inférence concernant la conséquence de l'erreur (ex: type de question, identité de la tâche).

Le papier pose un nouveau problème d'optimisation : étant donné un budget total de jetons visuels fixe et un ensemble de requêtes ayant des coûts d'erreur variables ( $c_i$ ), comment le budget doit-il être alloué entre les échantillons pour minimiser l'Erreur Pondérée par le Coût (CWE - Cost-Weighted Error) plutôt que la précision moyenne ?

2. Méthodologie

Les auteurs proposent un cadre de Compression de jetons visuels sensible aux conséquences qui suit une procédure de calibration puis d'allocation.

2.1 Aperçu du cadre

La méthode opère en deux étapes :

Calibration hors ligne : En utilisant un ensemble de validation, le système estime les courbes erreur-budget ( $e_t(b)$ ) spécifiques à chaque palier. Les échantillons sont regroupés en paliers (ex: haute conséquence vs basse conséquence) basés sur des signaux observables (mots-clés dans les questions ou métadonnées de la tâche). Le système évalue diverses allocations de budget pour trouver la politique qui minimise l'objectif pondéré par le coût estimé.
Inférence en ligne : Pour chaque requête entrante, le système assigne un palier de conséquence en utilisant le signal observable (ex: une règle de mot-clé figée ou un ID de tâche). Le budget pré-calibré pour ce palier est appliqué à l'entrée avant l'inférence VLM.

2.2 Formulation de l'optimisation

L'objectif est de minimiser l'erreur pondérée par le coût $J$ :
$\min_{\{b_t\}} \sum_{t} n_t c_t e_t(b_t)$
Sous contrainte de :
$\sum_{t} n_t b_t \le B, \quad b_t \ge b_{min}$
Où $n_t$ est le nombre d'échantillons dans le palier $t$ , $c_t$ est le poids de la conséquence, et $e_t(b)$ est le taux d'erreur au budget $b$ .

En raison de la nature discrète des budgets de jetons (une grille de 13 points) et des courbes d'erreur non convexes, les auteurs emploient une recherche exhaustive sur les paires de budgets réalisables plutôt que de s'appuyer sur des dérivées lagrangiennes continues.

2.3 Mécanismes de réalisation du budget

Le papier évalue deux mécanismes pour réaliser les budgets de jetons alloués :

Suppression réelle de jetons (True Token Deletion) : Encodage à pleine résolution, classement des jetons via un sélecteur fixe (ex: redondance), et suppression stricte des jetons non sélectionnés tout en préservant les coordonnées spatiales et les identifiants de position pour maintenir l'intégrité de l'encodage positionnel multimodal.
Réallocation de la résolution : Redimensionnement de l'image d'entrée afin que l'encodeur émette naturellement environ le nombre de jetons cible. Ce mécanisme ne nécessite aucun code spécifique au modèle et est utilisé comme méthode de déploiement principale.

2.4 Protocole d'évaluation

Pour isoler l'effet des informations de conséquence des signaux basés sur le contenu, les auteurs introduisent un benchmark intra-tâche. Les questions à haute et basse conséquence sont tirées de la même distribution d'images de documents denses (ex: DocVQA). Cela garantit que le contenu visuel est identique entre les paliers, empêchant les allocateurs basés sur le contenu d'exploiter les différences de sensibilité visuelle.

3. Contributions clés

Nouvelle formulation : Introduction de la compression de jetons visuels sensible aux conséquences qui alloue la puissance de calcul pour minimiser l'erreur pondérée par le coût, en utilisant des signaux de conséquence observables lors de l'inférence plutôt que simplement le contenu de l'entrée.
Évaluation contrôlée : Conception d'un benchmark intra-tâche où les questions à haute et basse conséquence partagent des distributions d'images identiques. Cela élimine les raccourcis basés sur le contenu, prouvant que les gains proviennent uniquement de la conscience des conséquences.
Caractérisation de la frontière d'allocation : Les auteurs dérivent une frontière d'allocation montrant que :
- Lorsque les coûts d'erreur sont symétriques ( $r=1$ ), l'allocation uniforme est optimale.
- À mesure que l'asymétrie des coûts croît, la stratégie optimale déplace les jetons vers les échantillons à haute conséquence.
- Un régime de transition existe où le bénéfice du transfert de jetons augmente avec l'écart de coût.
Généralisation et invariance : Le principe est montré comme étant orthogonal aux mécanismes de sélection de jetons (redondance, attention, saillance) et robuste à travers différentes architectures VLM (Qwen2.5-VL, LLaVA-OneVision) et méthodes de réalisation de budget.

4. Résultats expérimentaux

4.1 Attribution et performance intra-tâche

Sur le benchmark contrôlé intra-tâche (DocVQA) :

Les allocateurs pilotés par le contenu (utilisant la redondance de caractéristiques) n'ont pas performé mieux que l'allocation uniforme car les entrées visuelles étaient identiques entre les paliers.
L'allocation sensible aux conséquences a réduit les erreurs à enjeux élevés de 0,300 à 0,133 (une réduction de 2,25×) sous le même budget total de jetons.
Cela s'est fait au prix d'une augmentation de la précision moyenne non pondérée (0,488 contre 0,337), confirmant que la méthode optimise l'objectif spécifique pondéré par le coût.
La stratégie d'anti-allocation (donner plus de jetons aux questions à faible conséquence) a significativement augmenté la CWE, validant la directionnalité de l'approche.

4.2 La frontière d'allocation

L'analyse des courbes erreur-budget a révélé que les questions à haute et basse conséquence ont des sensibilités de jetons statistiquement indiscernables (pentes de 0,00173 contre 0,00171). L'amélioration est purement due à la pondération par le coût.

Ratios de point mort (Break-even Ratios) : L'allocation optimale passe de l'uniforme à la biaisée par la conséquence à mesure que le ratio de conséquence ( $r$ ) augmente. Pour DocVQA, la transition se produit à $r \approx 2,8$ .
Généralisation : La méthode se généralise à ChartQA et InfographicVQA. Dans InfographicVQA, la méthode a réduit la CWE même lorsque le ratio de coût était faible ( $r=0,7$ ), suggérant que les tâches à informations denses bénéficient davantage de l'allocation sensible aux conséquences.

4.3 Invariance et mécanisme

Mécanisme : Les gains persistent que l'on utilise la suppression réelle de jetons ou la réallocation de la résolution. La réallocation de la résolution (qui s'aligne sur l'entraînement de Qwen2.5-VL) a obtenu des performances absolues encore meilleures tout en maintenant le gain relatif de l'allocation sensible aux conséquences.
Modèle : Le principe tient pour LLaVA-OneVision, malgré les différences architecturales.
Sélecteurs : La stratégie d'allocation est orthogonale au sélecteur de jetons. Elle améliore les performances quel que soit le sélecteur de jetons utilisé (redondance, aléatoire, saillance, FastV, SparseVLM ou VisionZip).

4.4 Charge de travail mixte et efficacité

Sur une charge de travail mixte réaliste (DocVQA, TextVQA, VQAv2) :

L'allocation sensible aux conséquences a réduit l'erreur pondérée par le coût de 38 % par rapport à l'allocation uniforme.
Comparée à l'inférence à pleine résolution, l'allocation à deux paliers déployée (utilisant la réallocation de résolution) a atteint une latence environ 21 % plus faible tout en réduisant la CWE.

5. Signification et affirmations

L'article affirme que la compression de jetons visuels doit être évaluée non seulement par la quantité de précision moyenne préservée, mais aussi par les erreurs qui sont évitées.

Orthogonalité : L'allocation sensible aux conséquences est un axe orthogonal à l'élagage actuel basé sur le contenu. Elle ne remplace pas les méthodes de sélection de jetons mais les complète en déterminant combien de jetons allouer à un échantillon en fonction de son risque en aval.
Praticité : Le cadre est léger et orienté vers le déploiement. Il nécessite uniquement des signaux observables lors de l'inférence (ID de tâche ou mots-clés de la question) et une calibration hors ligne, évitant ainsi une optimisation en ligne complexe ou l'apprentissage par renforcement.
Intuition fondamentale : Ce travail étabète que lorsque les coûts d'erreur sont asymétriques, la stratégie optimale d'allocation des ressources change fondamentalement pour passer de la préservation de la performance moyenne à la priorité donnée aux échantillons à enjeux élevés, même lorsque ces derniers sont visuellement indiscernables des échantillons à faibles enjeux.

Les auteurs concluent que dans les scénarios où les décisions en aval comportent des risques inégaux, l'allocation sensible aux conséquences fournit une méthode principled et efficace pour optimiser l'efficacité des VLM sans sacrifier l'exactitude critique.