🤖 AI

DUET-VLM: Dual stage Unified Efficient Token reduction for VLM Training and Inference

Le papier présente DUET-VLM, un cadre de compression dual plug-and-play qui réduit efficacement le nombre de jetons visuels lors de l'entraînement et de l'inférence des modèles vision-langage tout en préservant, voire en surpassant, la précision des modèles de base grâce à une élimination coordonnée des redondances dans l'encodeur visuel et au guidage textuel dans le backbone linguistique.

Auteurs originaux : Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

Publié 2026-03-30

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Aditya Kumar Singh, Hitesh Kandala, Pratik Prabhanjan Brahma, Zicheng Liu, Emad Barsoum

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 Le Problème : Une valise trop lourde pour un voyageur rapide

Imaginez que vous avez un ami très intelligent (une Intelligence Artificielle ou IA) qui est excellent pour comprendre les images et les textes. C'est comme un détective super-céleste.

Le problème, c'est que quand on lui montre une photo, il a tendance à la découper en 576 petits morceaux (des "tokens") pour l'analyser. C'est comme si, pour comprendre une photo de chat, il prenait une loupe et examinait chaque poil, chaque ombre et chaque pixel individuellement.

Le résultat ? Son cerveau (le modèle) est submergé. Il a besoin de beaucoup de temps et d'énergie pour traiter tous ces détails, même si 90 % d'entre eux sont inutiles (comme le fond flou ou le ciel bleu). C'est lent, coûteux en énergie et parfois, il se perd dans les détails.

💡 La Solution : DUET-VLM (Le duo gagnant)

Les chercheurs d'AMD ont créé une nouvelle méthode appelée DUET-VLM. Imaginez-le comme un chef d'orchestre ou un assistant personnel très efficace qui aide le détective à trier ses affaires avant le voyage.

Cette méthode fonctionne en deux étapes clés, comme un duo de danseurs :

Étape 1 : Le tri dans la cuisine (Compression visuelle)

Avant même que l'IA ne commence à réfléchir, DUET-VLM regarde la photo.

L'analogie : Imaginez que vous préparez un sac de voyage. Au lieu de jeter tout le contenu de votre placard dedans, vous regroupez les chaussettes ensemble, les t-shirts ensemble, et vous ne gardez que les objets essentiels.
Ce que fait DUET : Il repère les zones de l'image qui se ressemblent (par exemple, un ciel uniforme) et les fusionne en un seul "résumé". Il garde les détails importants (les yeux du chat, le numéro sur le maillot d'un joueur) mais élimine le bruit de fond.
Résultat : Au lieu de 576 morceaux, on n'en a plus que 192 ou même 64. C'est comme passer d'une valise géante à un petit sac à dos.

Étape 2 : La lecture du manuel d'instructions (Compression textuelle)

Maintenant, l'IA lit la question posée par l'utilisateur (ex: "Quel est le numéro sur le maillot ?").

L'analogie : Imaginez que vous lisez un livre avec un surligneur. Vous ne surlignez pas tout le texte, seulement les mots clés qui répondent à la question.
Ce que fait DUET : Il utilise la question pour dire à l'IA : "Hé, arrête de regarder le ciel ! Regarde seulement le maillot du joueur !". Il supprime dynamiquement les morceaux de l'image qui ne correspondent pas à la question.
Résultat : L'IA se concentre uniquement sur ce qui est utile.

🚀 Les Résultats : Plus rapide, tout aussi intelligent

Grâce à ce système en deux temps (le "Duo"), les chercheurs ont obtenu des résultats incroyables :

Moins de poids, même vitesse : Ils ont réduit la quantité d'informations visuelles de 67 % à 89 %. C'est comme enlever 80 % du poids de votre valise.
Pas de perte de mémoire : Même avec si peu d'informations, l'IA reste aussi intelligente qu'avant. Elle garde 99 % de sa précision. Elle ne fait pas d'erreurs, même si on lui donne moins de données.
Un gain de temps énorme : Comme il y a moins de choses à traiter, l'entraînement du modèle (l'apprentissage) est 31 % plus rapide. C'est comme si vous appreniez une langue en moitié moins de temps parce que vous ne lisez que les chapitres importants.

🎬 Et pour les vidéos ?

C'est encore plus impressionnant pour les vidéos. Une vidéo contient des milliers d'images qui se ressemblent (un cadre après l'autre). DUET-VLM est capable de supprimer 93 % des informations redondantes dans une vidéo et l'IA comprend toujours parfaitement ce qui se passe, voire même mieux que les modèles précédents !

🏆 En résumé

DUET-VLM, c'est comme donner à une intelligence artificielle un filtre intelligent et un surligneur.

Au lieu de tout voir et de tout mémoriser, elle apprend à voir l'essentiel.
Elle devient plus rapide, consomme moins d'énergie, mais reste aussi brillante que jamais.

C'est une preuve que pour être efficace, il ne faut pas toujours avoir plus de données, mais savoir mieux organiser celles qu'on a.

1. Problématique

Les modèles de vision-langage (VLM) ont démontré des capacités remarquables de raisonnement multimodal, mais ils souffrent d'une inefficacité computationnelle majeure due à la tokenisation dense des images.

Coût quadratique : Contrairement au texte dont le nombre de tokens croît linéairement, le nombre de tokens visuels croît de manière quadratique avec la résolution de l'image ( $H \times W$ ). Par exemple, LLaVA-1.5 traite 576 tokens par image, tandis que LLaVA-NeXT peut en générer plus de 2 800.
Limites des approches existantes : Les méthodes actuelles d'efficacité se divisent en deux catégories :
1. Compression côté vision : Fusionne les tokens redondants tôt (ex: VisionZip), mais risque de perdre des informations sémantiques importantes en fusionnant trop tôt ou de manière statique.
2. Compression côté langage : Élimine progressivement les tokens visuels dans le backbone linguistique (ex: PyramidDrop), mais souvent de manière uniforme ou sans adaptation sémantique fine guidée par le texte.
Le défi : Trouver un équilibre entre une compression agressive (pour réduire la latence et la mémoire) et la préservation de la richesse sémantique nécessaire au raisonnement, sans sacrifier la précision.

2. Méthodologie : DUET-VLM

L'article propose DUET-VLM, un cadre de compression visuel dual et plug-and-play qui optimise conjointement la réduction de redondance et l'adaptabilité contextuelle. L'approche fonctionne en deux étapes complémentaires :

Étape 1 : Fusion Vision-to-Vision (V2V) - Réduction de redondance

Avant l'interaction avec le modèle de langage, l'encodeur de vision effectue une compression intelligente :

Sélection des tokens dominants : En utilisant la carte d'auto-attention (V2V) de la dernière couche de l'encodeur (ex: CLIP), les $k_1$ tokens les plus influents sont identifiés et conservés.
Agrégation par clusters locaux : Au lieu d'une moyenne globale (qui dilue les informations), les tokens résiduels sont regroupés en $k_2$ clusters locaux basés sur l'attention. Chaque cluster produit un token contextuel par moyenne locale.
Avantage : Cette méthode préserve les détails fins à l'intérieur des clusters tout en éliminant le bruit de fond et les tokens redondants avant même d'entrer dans le LLM.

Étape 2 : Élagage Vision-to-Texte (T2V) - Élimination sémantique

Une fois les tokens visuels réduits projetés dans le backbone linguistique (via un adaptateur MLP), une élimination progressive a lieu :

Guidage par le texte : Des tokens textuels saillants (incluant le token de fin de phrase ou "sink token") sont utilisés pour calculer les scores d'attention croisée (Text-to-Vision).
Élagage hiérarchique : À des couches spécifiques du LLM, les tokens visuels les moins pertinents par rapport au contexte textuel sont éliminés dynamiquement.
Adaptabilité : Ce processus permet de supprimer les tokens visuels superflus à mesure que le raisonnement multimodal s'approfondit, en conservant uniquement les régions visuelles pertinentes pour la question posée.

3. Contributions Clés

Optimisation conjointe Vision-Langage : Contrairement aux méthodes unilatérales, DUET-VLM couple la compression de l'encodeur de vision et l'élagage du LLM via une interface différentiable, permettant une co-adaptation des représentations visuelles et linguistiques.
Cadre à deux étapes (Dual-Stage) : Une architecture unifiée combinant la fusion de tokens redondants (V2V) et l'élagage guidé par la saillance textuelle (T2V).
Agrégation par clusters locaux : Une innovation technique remplaçant la moyenne globale par une agrégation locale pour éviter la dilution des caractéristiques sémantiques rares mais importantes.
Performance avec entraînement end-to-end : La méthode est conçue pour être entraînée conjointement, permettant une adaptation robuste aux entrées visuelles réduites sans perte de précision.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles comme LLaVA-1.5-7B, Qwen-2.5-VL-7B et Video-LLaVA-7B sur divers benchmarks (POPE, GQA, TextVQA, MME, SQA, etc.).

LLaVA-1.5-7B (Inférence seule) :
- Avec une réduction de 67 % des tokens (192 tokens), DUET-VLM maintient 99,0 % de la précision de base.
- Avec une réduction extrême de 89 % (64 tokens), il conserve 95,4 % de la précision, surpassant toutes les méthodes de l'état de l'art (VisionZip, PyramidDrop, FitPrune, etc.).
LLaVA-1.5-7B (Entraînement) :
- L'entraînement avec DUET-VLM permet de réduire le temps d'entraînement de 31 % tout en maintenant 99,7 % de précision à 67 % de réduction de tokens.
- À 89 % de réduction, la précision reste à 97,6 %, surpassant les méthodes précédentes.
Video-LLaVA-7B :
- La méthode dépasse même la ligne de base (plus de 100 % de précision relative) avec une réduction de 53,1 % des tokens.
- Elle conserve 97,6 % de précision même avec une réduction extrême de 93,4 % des tokens, démontrant son efficacité pour éliminer la redondance temporelle dans les vidéos.
Généralisation : Les résultats sont cohérents sur Qwen-2.5-VL-7B, confirmant que la méthode est indépendante de l'architecture du modèle de base.

5. Signification et Impact

DUET-VLM démontre qu'une gestion intelligente des tokens peut rivaliser, voire surpasser, l'approche traditionnelle de "mise à l'échelle" (scaling) des modèles.

Efficacité sans compromis : Il offre un compromis optimal entre vitesse (réduction du temps d'inférence et d'entraînement) et précision, permettant d'exécuter des VLM lourds sur des ressources limitées.
Robustesse : La capacité à maintenir des performances élevées même avec une réduction massive de tokens (jusqu'à 93 % pour la vidéo) ouvre la voie à des applications temps réel et à faible latence.
Direction future : Ce travail suggère que l'optimisation de la compression et de l'attention est aussi cruciale que l'augmentation de la taille des modèles pour l'avenir des systèmes multimodaux. Le code est disponible publiquement, favorisant l'adoption et l'amélioration par la communauté.