Résumé Technique : VisCo – Utiliser les Grands Modèles de Langage comme Encodeurs Intrinsèques pour la Compression de Tokens Visuels

1. Énoncé du Problème

Les modèles vision-langage (VLM) traitent généralement les images à haute résolution en les encodant en un grand nombre de tokens visuels. Cela entraîne une latence d'inférence substantielle et une surcharge de mémoire dues à la complexité quadratique des mécanismes d'auto-attention et aux exigences de stockage pour les caches Clé-Valeur (KV). Ce goulot d'étranglement limite sévèrement le déploiement des VLM dans des scénarios à ressources contraintes et en temps réel.

Les solutions existantes pour la compression de tokens visuels se divisent en deux catégories, toutes deux présentant des limitations significatives :

• Méthodes sans entraînement (Training-free) : Elles reposent sur des métriques heuristiques (ex. : scores d'attention ou similitude de caractéristiques) pour élaguer ou fusionner les tokens. Bien qu'efficaces, elles souffrent d'une dégradation importante des performances sous des taux de compression élevés. Elles sont sujettes au « décalage d'attention » (attention shift), menant à des hallucinations, et échouent souvent à préserver la sémantique globale guidée par le texte ou les détails fins.
• Méthodes basées sur l'entraînement (Training-based) : Elles introduisent des modules de compression externes ou nécessitent un réentraînement substantiel (incluant le réalignement et le réglage d'instructions). Bien que plus robustes, elles engendrent des coûts de réentraînement lourds, compromettent les a priori du VLM préentraîné et manquent souvent de flexibilité « plug-and-play ».

Le défi central est de parvenir à une compression de tokens visuels efficace qui préserve la fidélité sémantique sous une compression agressive (ex. : réduire les tokens à une seule unité) sans nécessiter un réentraînement massif ou des modules externes.

2. Méthodologie : Cadre de travail VisCo

Les auteurs proposent VisCo, un cadre d'auto-compression efficace en termes d'entraînement qui réutilise le VLM préentraîné lui-même comme compresseur intrinsèque. VisCo est conçu comme un auto-encodeur VLM asymétrique à paramètres partagés, opérant en deux étapes :

A. Architecture Asymétrique

• Étape d'Encodage : Le cadre augmente l'architecture du VLM préentraîné avec un module léger entraînable. Plus précisément, il introduit un petit ensemble de tokens de mémoire apprenables ($X_m$) et utilise des adaptateurs LoRA sur les projections Q/V. L'encodeur traite la séquence conjointe des tokens visuels ($X_v$) et des tokens de mémoire ($X_m$).
• Étape de Décodage : Les adaptateurs LoRA sont retirés, et le squelette original du VLM préentraîné gelé est réutilisé directement comme décodeur. Cette conception garantit que VisCo ne nécessite qu'une adaptation légère des capacités existantes plutôt que de réapprendre le processus de génération multimodale à partir de zéro.

B. Construction de Séquence et Masquage Causal

VisCo respecte strictement le mécanisme de masquage causal standard des VLM de type « decoder-only ». Les tokens de mémoire sont ajoutés après les tokens visuels dans la séquence d'entrée. Cela permet aux tokens de mémoire d'accéder naturellement à tous les tokens visuels précédents en utilisant l'a priori d'attention intrinsèque du modèle, agrégeant ainsi une information visuelle riche sans introduire de règles d'interaction personnalisées.

C. Agrégation et Transmission Hiérarchique de l'Information

Reconnaissant que les couches Transformer présentent une spécialisation fonctionnelle (les couches inférieures encodent les motifs locaux, les couches supérieures encodent la sémantique abstraite), VisCo emploie un mécanisme de passage d'information hiérarchique :

1. Construction de la Banque de Mémoire : Lors de l'encodage, au lieu de transmettre les états cachés finaux au décodeur, le système conserve les matrices Clé ($K$) et Valeur ($V$) correspondant uniquement aux tokens de mémoire à chaque couche $l$. Celles-ci sont stockées dans une banque de mémoire par couche ($K_{mem}, V_{mem}$).
2. Décodage Hiérarchique : Lors du décodage, ces caches KV de mémoire par couche sont directement injectés dans le cache KV du décodeur. Cela permet au décodeur d'accéder à une information sémantique multi-granularité (des textures de bas niveau au discours de haut niveau) sans nécessiter de couches de projection, en tirant parti du partage de paramètres entre l'encodeur et le décodeur.

D. Objectif d'Entraînement

VisCo est affiné de bout en bout via le « teacher forcing » pour maximiser la vraisemblance conditionnelle de la réponse de vérité terrain étant donné la mémoire compressée et les entrées textuelles. Aucun objectif de pré-entraînement supplémentaire n'est introduit.

3. Principales Contributions

1. Cadre d'Auto-Compression Intrinsèque Asymétrique : VisCo utilise le VLM préentraîné lui-même comme compresseur, gardant le squelette intact et ne nécessitant qu'un entraînement léger (LoRA + tokens de mémoire apprenables).
2. Mécanisme de Passage d'Information Hiérarchique : La méthode introduit un mécanisme pour transférer la sémantique multi-granularité des couches de l'encodeur vers le décodeur via des caches KV par couche, préservant la hiérarchie structurelle de l'information visuelle sous compression.
3. Évaluation Complète : Des expériences étendues sur 3 squelettes VLM (LLaVA-1.5-7B, Qwen2-VL-2B, Qwen2-VL-7B) et 6 benchmarks démontrent une supériorité constante par rapport aux méthodes existantes, particulièrement sous compression agressive.

4. Résultats Expérimentaux

L'article évalue VisCo sur des benchmarks incluant GQA, MMB, MMB-CN, MME, POPE et MMVet.

• Performance sous Compression Agressive :

  • Sur LLaVA-1.5-7B (576 tokens $\to$ 32 tokens), VisCo conserve 91,8 % de la performance originale, surpassant la meilleure base de référence (VisPruner) de 4,0 points en score moyen.
  • Dans le scénario extrême d'un seul token (1 token), VisCo conserve 85,3 % de la performance originale, surpassant nettement les méthodes sans entraînement (ex. : SparseVLM à ~72,6 %) et dépassant même des références entraînées plus fortes comme MatryoshkaQuery et VoCo-LLaMA sur des métriques spécifiques.
  • Sur Qwen2-VL-2B (qui possède déjà une compression intégrée), VisCo conserve 95,2 % de performance à 25 % de rétention de tokens et 91,4 % à 12,5 % de rétention, surpassant les bases de référence affinées comme VisionZip.

• Analyse Qualitative :

  • VisCo capture avec succès le contexte global de la scène ainsi que les régions clés, même avec très peu de tokens, là où les méthodes d'élagage basées sur l'attention perdent le contexte global et les détails.
  • Dans le cas d'un seul token, VisCo peut générer des légendes détaillées contenant des descriptions au niveau de l'objet et une sémantique globale cohérente.

• Efficacité :

  • VisCo réduit considérablement le stockage du cache KV.
  • Bien que l'étape d'encodage initiale introduise un surcoût, VisCo permet d'obtenir des vitesses de décodage plus rapides. Dans les scénarios de dialogue multi-tours, la réutilisation des représentations mises en cache permet à VisCo de surpasser la latence des méthodes sans entraînement (comme FastV) après seulement trois tours de dialogue.

• Représentations Complémentaires :

  • Une étude d'ablation (VisCo+) montre que la combinaison des tokens de mémoire appris avec les tokens visuels originaux peut en réalité améliorer la performance du modèle de base sur plusieurs benchmarks. Cela suggère que les tokens de mémoire capturent des informations complémentaires plutôt qu'un simple sous-ensemble compressé.

5. Signification et Revendications

L'article affirme que l'exploitation des a priori intrinsèques des VLM préentraînés permet une compression robuste des tokens visuels avec un entraînement léger.

• Surmonter les Compromis : VisCo évite la dégradation sévère des performances des méthodes sans entraînement sous forte compression et les coûts de réentraînement lourds des approches basées sur des modules externes.
• Modèle de Traitement Natif : En suivant le mode de traitement natif du VLM (en utilisant le masquage causal et le partage de paramètres) plutôt qu'en le réécrivant, VisCo atteint des performances compétitives avec des méthodes lourdes tout en conservant la flexibilité d'une adaptation légère.
• Au-delà de la Compression : Les auteurs suggèrent que les tokens de mémoire appris agissent comme des représentations complémentaires qui enrichissent les caractéristiques visuelles, améliorant potentiellement le modèle au-delà de la simple efficacité de compression.

L'étude conclut qu'une compression efficace des tokens visuels repose sur de fortes capacités d'encodage de l'information déjà présentes dans les VLM préentraînés, lesquelles peuvent être débloquées via des cadres d'auto-compression efficaces comme VisCo. Des travaux futurs sont proposés pour explorer l'allocation adaptative des tokens et l'extension à la compression vidéo.