Rethinking Token Reduction for Large Vision-Language Models

1. Problématique

Les Grands Modèles Vision-Langage (LVLM) ont démontré des capacités exceptionnelles en compréhension visuelle et en raisonnement. Cependant, leur déploiement pratique est entravé par des coûts d'inférence élevés, principalement dus au nombre massif de tokens visuels générés par les encodeurs d'images (souvent des milliers de tokens). La complexité de l'attention croît quadratiquement avec la longueur de la séquence, rendant l'inférence lente et gourmande en mémoire, surtout sur des appareils aux ressources limitées.

Bien que des méthodes de réduction de tokens aient été proposées, elles se concentrent majoritairement sur des scénarios de Question-Réponse Visuelle (VQA) en un seul tour. Le papier identifie un manque crucial dans les scénarios de VQA multi-tours (MT-VQA), plus réalistes et interactifs.

• Défi spécifique au MT-VQA : Les questions futures sont imprévisibles et peuvent faire référence à n'importe quelle région de l'image.
• Limites des méthodes existantes :
  • Méthodes dépendantes du prompt (Prompt-dependent) : Comme FastV, elles conservent les tokens pertinents pour la première question. Cela entraîne la perte d'informations visuelles cruciales pour les tours de conversation suivants (ex: un premier tour sur le premier plan, un second sur l'arrière-plan).
  • Méthodes indépendantes du prompt (Prompt-agnostic) : Comme PruMerge, elles réduisent les tokens basés sur des métriques heuristiques (ex: scores d'attention). Le papier démontre que ces heuristiques sont sous-optimales car elles ne capturent pas la véritable importance des tokens pour la tâche globale.

2. Méthodologie : MetaCompress

Les auteurs proposent MetaCompress, une méthode de réduction de tokens apprenable et indépendante du prompt, conçue spécifiquement pour surmonter les limites des approches heuristiques.

A. Formulation du problème

Au lieu de se fier à des règles fixes, le problème est formulé comme une cartographie de compression apprenable. L'objectif est de trouver une matrice de compression optimale $P$ qui réduit la séquence de tokens visuels $X_{IMG}$ en un sous-ensemble $\tilde{X}_{IMG}$, tout en minimisant la divergence entre les réponses du modèle avec et sans compression.
$$\tilde{X}_{IMG} = P X_{IMG}$$
où $P$ est une matrice de compression creuse ($m \times n$, avec $m \ll n$).

B. Architecture de MetaCompress

Pour éviter de devoir apprendre une matrice spécifique pour chaque image ou résolution (ce qui serait inefficace), les auteurs conçoivent un générateur de matrice de compression ($P_{meta}$) :

• Entrée : Uniquement la séquence de tokens visuels $X_{IMG}$ (indépendante du texte/prompt).
• Mécanisme : Le module utilise une projection de requêtes (down-sampled) et de clés pour calculer la matrice de compression via un produit scalaire pondéré.
  • Les requêtes sont obtenues par un pooling spatial (pour gérer les résolutions variables).
  • Les clés sont des projections linéaires.
  • La matrice $P$ est le résultat d'un produit scalaire entre ces requêtes et clés, suivi d'une fonction d'activation (Softmax).
• Avantage : Cette architecture est légère, compatible avec les résolutions dynamiques (comme dans LLaVA-NeXT) et ne nécessite pas d'accéder aux matrices d'attention intermédiaires (compatibles avec FlashAttention).

C. Paradigme d'entraînement

Le modèle est entraîné de manière efficiente en données (sur un sous-ensemble d'environ 20k échantillons) avec un objectif de perte composé de trois termes :

1. $L_{pred}$ (Divergence de prédiction) : Minimise la différence de distribution de probabilité des tokens générés par le LLM entre l'entrée compressée et l'entrée originale (via la divergence KL).
2. $L_{entropy}$ (Régularisation de parcimonie) : Encourage la matrice de compression à être creuse (réduire le nombre de tokens).
3. $L_{collapse}$ (Régularisation anti-effondrement) : Empêche le modèle de choisir arbitrairement les mêmes tokens sources pour tous les tokens compressés, forçant une diversité dans la sélection.

3. Contributions Clés

1. Analyse critique des heuristiques : Le papier démontre empiriquement que les tokens conservés par les méthodes basées sur l'attention (comme FastV) ne correspondent pas aux tokens réellement importants pour les tours de conversation suivants. Les scores d'attention heuristiques sont donc sous-optimaux pour le MT-VQA.
2. Nouvelle approche MetaCompress : Introduction d'une méthode de réduction de tokens basée sur l'apprentissage, indépendante du prompt, capable de s'adapter dynamiquement aux résolutions et aux architectures LVLM modernes (multi-échelles).
3. Paradigme d'entraînement efficace : Démonstration qu'il est possible d'apprendre des cartes de compression optimales avec très peu de données et de temps de calcul, sans nécessiter de réentraînement complet du modèle LVLM.
4. Généralisation robuste : La méthode fonctionne bien sur différents modèles (LLaVA-1.5, LLaVA-NeXT, InternLM-XComposer) et se transfère efficacement à des tâches non vues pendant l'entraînement (ex: ConvBench, Video-MME).

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks MT-VQA (MT-VQA-v2, MT-GQA, ConvBench) avec cinq architectures LVLM différentes.

• Performance (Précision) : MetaCompress surpasse systématiquement les méthodes de base (Random, Sample) et les méthodes de l'état de l'art (FastV, PruMerge).
  • Sur LLaVA-1.5-13b avec un taux de réduction de 90%, MetaCompress atteint une précision moyenne de 72.94% sur MT-VQA-v2, contre 70.68% pour PruMerge et 56.41% pour FastV.
  • L'avantage est encore plus marqué sur les modèles multi-échelles (LLaVA-NeXT), où les méthodes heuristiques échouent souvent.
• Efficacité : La méthode réduit considérablement le temps de génération du premier token (TTFT) et la consommation mémoire, tout en maintenant une efficacité computationnelle comparable aux méthodes de sous-échantillonnage simple (Sample).
• Transfert : Même entraîné uniquement sur MT-GQA/MT-VQA-v2, MetaCompress obtient de meilleurs résultats sur ConvBench (conversation multi-tours native) et sur des tâches vidéo (MT-Video-MME) sans ajustement spécifique, prouvant sa capacité de généralisation.
• Ablation : L'étude montre que chaque terme de la fonction de perte (prédiction, entropie, anti-effondrement) est essentiel pour la performance finale.

5. Signification et Impact

Ce travail marque un changement de paradigme dans l'optimisation des LVLM pour les interactions complexes :

• Fin des heuristiques simples : Il remet en question l'utilisation aveugle des scores d'attention comme critère de réduction, prouvant que l'apprentissage direct de la compression est supérieur.
• Préparation au Multi-Tour : C'est l'une des premières solutions robustes spécifiquement conçue pour le MT-VQA, un scénario crucial pour les assistants IA réels qui doivent maintenir le contexte sur plusieurs tours de dialogue.
• Déploiement pratique : En étant indépendant du prompt, compatible avec FlashAttention et entraînable avec peu de données, MetaCompress offre une voie réaliste pour déployer des LVLM performants sur des appareils aux ressources limitées, tout en préservant la capacité de raisonnement sur de longues conversations.

En résumé, MetaCompress propose une solution élégante et efficace pour réduire la charge computationnelle des LVLM sans sacrifier la qualité de la compréhension visuelle, en particulier dans des contextes de dialogue dynamique où l'information visuelle pertinente est dispersée et imprévisible.