💻 computer science

Hybrid Token Compression for Vision-Language Models

Cet article introduit HTC-VLM, un cadre hybride de compression de jetons visuels qui équilibre efficacement la préservation des détails d'apparence à grain fin et des sémantiques de haut niveau en fusionnant des caractéristiques de patch continues avec des ancres sémantiques discrètes, atteignant une rétention de performance et une efficacité supérieures par rapport aux bases de référence continues existantes.

Auteurs originaux : Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

Publié 2026-08-12

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jusheng Zhang, Xiaoyang Guo, Tongyu Mo, Qinhan Lv, Wenhao Chai, Jian Wang, Keze Wang, Liang Lin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La surcharge visuelle : Pourquoi l'IA a besoin d'un meilleur résumé

Imaginez que vous essayiez d'enseigner à un étudiant brillant mais très affamé comment comprendre une image. Dans le monde de l'intelligence artificielle, cet étudiant est appelé un « modèle de vision-langage » (VLM - Vision-Language Model). C'est un type de cerveau informatique capable de regarder une image et de répondre à des questions à son sujet, comme « Que porte le chien ? » ou « Pourquoi le ciel est-il bleu ? ». Pour ce faire, l'ordinateur décompose l'image en des centaines de petits carrés, appelés « patchs », et transforme chacun d'eux en une longue liste de nombres (un jeton ou token) qu'il peut lire.

Le problème est que l'ordinateur est submergé. Si vous lui donnez 576 de ces petits carrés, le cerveau doit comparer chaque carré à tous les autres pour comprendre l'image. Cela crée une quantité de travail massive, comme essayer de lire une bibliothèque entière de livres d'un seul coup. Cela ralentit tout et consomme d'énormes quantités de mémoire informatique. Les scientifiques ont essayé de résoudre ce problème en résumant l'image en un ou quelques « jetons de résumé », mais il y a un piège. Si vous regroupez simplement tous les détails en un seul nombre moyen, vous perdez l'histoire importante (comme le fait que c'est un chien). Si vous essayez de préserver l'histoire en choisissant des « mots-clés » spécifiques, vous perdez les détails fins (comme la texture de la fourrure du chien). C'est un compromis frustrant : soit vous obtenez l'essentiel mais manquez les détails, soit vous avez les détails mais oubliez le point principal. Cet article pose une question simple : peut-on avoir les deux ?

Le héros hybride : HTC-VLM

Les chercheurs derrière cet article, dirigés par Jusheng Zhang et son équipe, affirment que la réponse est oui, mais seulement si nous arrêtons de forcer l'ordinateur à tout faire avec un seul outil. Ils introduisent une nouvelle méthode appelée HTC-VLM (Hybrid Token Compression for Vision-Language Models). Voyez cela comme une façon ingénieuse de résumer une histoire complexe sans perdre l'intrigue ni les détails des personnages.

Voici comment leur astuce « hybride » fonctionne, en utilisant une analogie simple :

Imaginez que vous décrivez une scène chaotique dans un parc à un ami qui ne peut entendre qu'une seule phrase.

L'ancienne méthode (Compression continue) : Vous essayez de tout faire tenir dans une seule phrase : « Il y a beaucoup de choses qui bougent avec des couleurs et des formes. » Votre ami entend le bruit, mais n'a aucune idée de ce qui se passe réellement. Il sait que c'est agité, mais il ne sait pas ce qui est agité. C'est ce qui arrive quand l'IA essaie d'écraser une image en un seul nombre moyen ; la « signification de haut niveau » (comme « c'est un chien ») est noyée par le « bruit » (comme l'herbe et le ciel).
L'autre ancienne méthode (Quantification discrète) : Vous essayez d'être précis et dites : « Chien. Herbe. Arbre. » Votre ami connaît les acteurs principaux, mais il n'a aucune idée de l'apparence du chien, s'il court ou quelle est la couleur de sa fourrure. Il manque la texture et l'action.
La méthode HTC-VLM (La solution hybride) : Les chercheurs suggèrent une approche en deux étapes. D'abord, vous donnez à votre ami quatre « cartes ancres » spéciales qui indiquent exactement ce que sont les éléments principaux (ex. : « Chien », « Herbe », « Arbre »). Ce sont les jetons discrets. Ils servent de squelette ou de carte. Ensuite, vous lui donnez un seul « jeton de résumé » qui contient tous les détails complexes et fins (la texture de la fourrure, le vent dans l'herbe, la posture du chien).

La magie opère car l'ordinateur est entraîné à utiliser les « cartes ancres » pour guider sa lecture du « jeton de résumé ». Les ancres disent à l'ordinateur : « Hé, cherche un chien ici ! », afin que le jeton de résumé ne soit pas confondu par tous les autres détails. De cette façon, l'IA garde la vue d'ensemble (la sémantique) et les détails minuscules (l'apparence) séparés jusqu'au tout dernier moment, où ils sont fusionnés parfaitement.

Ce qu'ils ont trouvé

L'équipe a testé cette idée sur sept tests différents et exigeants, allant de la réponse à des questions sur des images à la compréhension de diagrammes scientifiques. Ils ont comparé leur nouvelle méthode aux meilleures méthodes de compression d'images existantes.

Les résultats : Lorsqu'ils ont compressé l'image entière en un seul jeton (la compression ultime), leur méthode hybride a conservé 87,2 % de la performance originale. La meilleure méthode précédente (qui n'utilisait que l'approche par « moyenne ») n'en conservait que 81,0 %. Bien que cela puisse sembler être une petite différence, dans le monde de l'IA, conserver ce 6 % d'intelligence supplémentaire lorsque vous avez jeté presque toutes les données est un exploit majeur.
Pourquoi cela fonctionne : Les chercheurs ont analysé comment l'« attention » de l'ordinateur fonctionnait. Ils ont constaté que le jeton de résumé unique regardait activement les quatre « cartes ancres » en premier. Il utilisait ces ancres comme un guide pour donner du sens au reste de l'image. Cela a prouvé que les ancres effectuaient le travail difficile de maintenir la signification intacte.
Le compromis : La méthode nécessite un tout petit peu de travail supplémentaire pour générer ces quatre cartes ancres, mais les chercheurs ont montré que le temps économisé en ne devant pas traiter des centaines de jetons est tellement massif que la vitesse globale reste incroyablement rapide. C'est comme passer 5 secondes à écrire un excellent plan, ce qui vous fait gagner 5 heures de rédaction d'une mauvaise dissertation.

Ce que ce n'est pas

Il est important de noter ce que cet article ne prétend pas. Les chercheurs soutiennent explicitement l'idée que l'on ne peut pas simplement « moyenner » tout ensemble et s'attendre à ce que cela fonctionne bien sous une compression extrême. Ils ont montré qu'essayer de forcer un seul nombre continu à contenir à la fois l'« histoire » et les « détails » provoque l'effondrement de l'histoire. Ils ont également montré que le simple fait de choisir des morceaux aléatoires de l'image ou d'utiliser d'anciennes méthodes d'« élagage » (couper des morceaux) ne fonctionne pas aussi bien lorsqu'on descend à un ou deux jetons seulement.

L'article suggère que cette approche hybride est une solution robuste pour le problème spécifique de la compression extrême, mais elle ne prétend pas résoudre tous les problèmes de l'IA. Par exemple, ils notent que si elle fonctionne très bien pour des images uniques, elle pourrait nécessiter des ajustements pour des vidéos plus longues ou des conversations complexes impliquant plusieurs images.

L'essentiel

En bref, HTC-VLM suggère que pour rendre l'IA intelligente et rapide, nous ne devrions pas simplement essayer de réduire l'image en un minuscule point. Au lieu de cela, nous devrions donner à l'IA une carte (les ancres discrètes) et un briefing (les détails continus) et les laisser travailler ensemble. En séparant le « quoi » du « comment », l'ordinateur peut comprendre une image avec un seul jeton, gardant le sens clair et les détails nets, sans se perdre dans le bruit. C'est un rappel que parfois, pour gagner de l'espace, il ne faut pas jeter les choses ; il faut simplement mieux les organiser.

Résumé Technique : HTC-VLM – Compression de Tokens Hybride pour les Modèles Vision-Langage

1. Énoncé du Problème

Les modèles vision-langage (VLM) reposent généralement sur des centaines de tokens de patch visuels (par exemple, $N=576$ provenant d'un encodeur ViT) pour fournir une information perceptive riche aux grands modèles de langage (LLM). Ce couplage dense induit des coûts computationnels quadratiques, $O((N+L)^2)$ , épuisant rapidement la mémoire du GPU et les fenêtres de contexte.

Les stratégies de compression existantes sont confrontées à un compromis fondamental :

Compression Continue : Les méthodes comme le pooling global ou l'agrégation par attention compressent tous les patchs en un seul vecteur dense. Bien qu'efficaces, elles entraînent souvent une dilution sémantique, où les sémantiques de haut niveau (identités d'objets, relations spatiales) sont perdues car l'information mutuelle $I(v_c; S)$ chute en raison de la moyenne de distributions de patchs diverses.
Quantification Discrète : Les méthodes utilisant la quantification vectorielle (VQ) préservent les sémantiques catégorielles mais rejettent les indices continus fins (textures, poses, déformations), créant un écart de granularité qui limite le raisonnement détaillé.

Le défi central est de savoir si un VLM peut conserver une information visuelle sémantiquement utile lorsque l'image entière est compressée en un seul token sans sacrifier ni la structure de haut niveau, ni le détail de bas niveau.

2. Méthodologie : HTC-VLM

Les auteurs proposent HTC-VLM (Hybrid Token Compression for Vision-Language Models), un cadre qui désentrelace l'information visuelle en deux canaux complémentaires avant de les fusionner en un seul token latent.

2.1 Architecture à Double Canal

Au lieu de compresser directement les patchs bruts, HTC-VLM décompose l'entrée visuelle $I$ en :

Canal de Détails Continus ( $D$ ) : Utilise un encodeur de vision pré-entraîné (CLIP ViT-L/14) et un projecteur linéaire pour générer $N=576$ embeddings de patchs. Cette voie préserve les détails de bas niveau tels que les gradients de texture et les variations de pose.
Canal Sémantique Discret ( $S$ ) : Utilise la MGVQ (Multi-Group Vector Quantization) pour quantifier l'image en un vecteur de caractéristiques, qui est ensuite projeté via un MLP en une petite séquence de 4 tokens d'ancrage sémantique discrets ( $v_d$ ). Ces ancres capturent les sémantiques catégorielles de haut niveau (ex: "chien", "arbre") et les configurations spatiales.

2.2 Fusion Hybride et Goulot d'Étranglement de Désentrelacement

Les ancres discrètes sont prépendées à la séquence de patchs continus pour former une séquence hybride $V_{hy} \in \mathbb{R}^{580 \times d}$ (4 ancres + 576 patchs). Cette séquence est injectée dans un token entraînable <voco>.

Un composant critique est le Masque d'Attention de Désentrelacement ( $M_{hy}$ ) :

Contrainte Texte-vers-Vision : Il est strictement interdit aux tokens de texte d'être attentifs aux tokens visuels hybrides bruts ( $V_{hy}$ ). Ils ne peuvent porter attention qu'au seul token <voco>.
Auto-Attention Visuelle : Les tokens visuels (discrets et continus) sont autorisés à être attentifs les uns aux autres avant l'agrégation. Cela permet au token <voco> d'intégrer des preuves contextuelles.
Extraction Latente : Le token <voco> compresse la séquence de 580 tokens en un seul vecteur latent $z$ , qui sert de seule entrée visuelle au LLM.

2.3 Fondement Théorique

La méthode est ancrée dans le principe de l'Information Bottleneck (IB) (Goulot d'étranglement de l'information). Les auteurs soutiennent qu'un vecteur continu unique souffre d'une Domination de l'Entropie, où les détails de haute fréquence ( $D$ ) saturent la capacité limitée du goulot d'étranglement, forçant l'information sémantique ( $S$ ) à disparaître. En introduisant des ancres discrètes comme "prior sémantique", HTC-VLM abaisse la barrière d'entropie pour $S$ , permettant au latent $z$ de concentrer sa capacité sur le codage des détails résiduels $D$ . Ceci est formalisé via une borne inférieure de preuve (ELBO) plus étroite par rapport aux bases uniquement continues.

3. Contributions Clés

Analyse du Goulot d'Étranglement Représentationnel : L'article identifie le "conflit de capacité sémantique-détail" dans la compression à un seul token, fournissant des preuves information-théoriques (Théorème 1) qui expliquent pourquoi les goulots d'étranglement purement continus échouent à préserver la sémantique de haut niveau sous une compression extrême.
Cadre Hybride de Désentrelacement Sémantique : Une architecture rigoureuse qui injecte un minimum d'ancres sémantiques discrètes avant la compression, permettant l'optimisation conjointe des sémantiques discrètes et de l'apparence continue.
Architecture Pratique (HTC-VLM) : Une implémentation atteignant une rétention de performance moyenne de 87,2 % sur sept benchmarks avec un budget d'un seul token, surpassant la principale base continue (VoCo-LLaMA) à 81,0 %.
Validation Étendue : Études approfondies sur les budgets de tokens (1–576), la généralisation inter-architectures (Qwen-VL, LLaVA-NeXT), l'efficacité de l'inférence et la robustesse aux hyperparamètres (taille du codebook, topologie du masquage).

4. Résultats Expérimentaux

4.1 Rétention de Performance

Évalué sur sept benchmarks (GQA, VQAv2, MMBench, MME, POPE, SEED-Bench, ScienceQA-Image), HTC-VLM a atteint une rétention moyenne de 87,2 % par rapport au modèle complet de 576 tokens. Cela surpasse significativement :

VoCo-LLaMA (uniquement continu) : 81,0 %
Average Pooling : 64,1 %
Q-Former : 57,2 %

4.2 Robustesse du Budget de Tokens

Bien que les méthodes d'élagage structuré (ex: ToMe, PDrop) performent bien à une compression modérée (64–192 tokens), elles se dégradent brutalement dans le régime de très bas nombre de tokens ( $<32$ tokens). HTC-VLM reste stable jusqu'au régime d'un seul token, démontant que les ancres discrètes empêchent l'effondrement de l'information là où les méthodes continues échouent.

4.3 Généralisation

Le goulot d'étranglement hybride se transfère efficacement à des backbones plus puissants et structurellement différents :

Qwen-VL-Chat : 94,5 % de rétention (contre 86,4 % pour VoCo-LLaMA).
LLaVA-NeXT (Résolution Dynamique) : 95,7 % de rétention (contre 86,6 % pour VoCo-LLaMA).

4.4 Efficacité et Latence

Sur un GPU NVIDIA A100, HTC-VLM réduit la latence de prefill du LLM de 94,3 % par rapport au modèle vanilla de 576 tokens. Bien que l'ajout de l'encodeur MGVQ introduise un léger surcoût (~6,1 ms), la latence totale du système (61,0 ms) reste proche de la base uniquement continue (51,9 ms) et est nettement plus rapide que les méthodes basées sur l'élagage qui conservent plusieurs tokens.

4.5 Études d'Ablation

Ancres Discrètes : Retirer les ancres (uniquement continu) fait chuter la performance à 81,0 % ; n'utiliser que les tokens discrets la fait chuter à environ 33 %.
Nombre d'Ancres : 4 tokens offrent la performance optimale ; 1 ou 2 sont insuffisants, tandis que 8 introduit de la redondance.
Masquage : Le masque de goulot d'étranglement textuel (autorisant l'auto-attention visuelle mais bloquant le texte vers le visuel brut) est supérieur à un masque en graphe en étoile strict, confirmant la nécessité du contexte visuel avant la compression.

5. Signification et Revendications

L'article affirme que HTC-VLM offre une solution pratique au compromis efficacité-fidélité dans les VLM. En désentrelaçant explicitement les sémantiques et les détails, l'approche hybride permet une compression extrême (1 token) sans l'effondrement sémantique observé dans les méthodes uniquement continues.

Les auteurs soulignent que les gains de performance proviennent de la conception structurelle hybride plutôt que d'un réglage fragile des hyperparamètres. Les ancres discrètes agissent comme des guides sémantiques interprétables, stabilisant le processus de compression et permettant au LLM de raisonner efficacement même lorsque l'entrée visuelle est réduite à un seul token. Ce travail suggère une direction future pour la compression multimodale : concevoir des goulots d'étranglement structurés et adaptatifs aux tâches qui préservent l'interprétabilité sémantique tout en réduisant drastiquement les coûts en tokens.

Limites Reconnues : La méthode introduit un encodeur MGVQ léger, ce qui signifie qu'elle n'est pas strictement à coût nul par rapport à une compression uniquement continue. De plus, l'évaluation actuelle se concentre sur les VLM de niveau image ; l'extension à des tâches de vidéo longue ou de localisation dense pourrait nécessiter une adaptation supplémentaire.