MMTok: Multimodal Coverage Maximization for Efficient Inference of VLMs

Ce papier présente MMTok, une méthode qui améliore l'efficacité de l'inférence des modèles vision-langage en sélectionnant des jetons visuels informatifs grâce à un critère de couverture maximale exploitant simultanément les informations visuelles et textuelles.

L'essentiel

🎨 Le Problème : Le "Gros Panier de Pommes"

Imaginez que vous avez un robot très intelligent (un modèle d'intelligence artificielle) capable de voir des images et de répondre à des questions à leur sujet. C'est ce qu'on appelle un "Modèle Vision-Langage" (VLM).

Pour comprendre une image, ce robot la découpe en milliers de petits morceaux, comme un puzzle. Chaque morceau devient un "jeton" (un petit bout d'information).

• Le problème : Pour une seule image, le robot reçoit souvent 2 880 jetons ! C'est comme si vous lui donniez un panier rempli de 2 880 pommes pour lui demander de décrire une pomme rouge au milieu.
• La conséquence : Le robot est submergé. Il passe trop de temps à regarder toutes ces pommes (jetons), ce qui le rend lent et coûteux en énergie. De plus, beaucoup de ces pommes sont identiques ou inutiles (des feuilles, des branches, du fond).

🛠️ La Solution Actuelle : Le "Trieur Unidirectionnel"

Jusqu'à présent, pour accélérer le robot, les chercheurs essayaient de supprimer des jetons inutiles. Mais ils utilisaient souvent une seule méthode de tri :

1. Soit ils regardaient juste l'image : "Garde les pommes les plus colorées." (Mais ils ignorent ce que vous demandez).
2. Soit ils regardaient juste la question : "Garde les pommes qui ressemblent au mot 'rouge'." (Mais ils ignorent le reste de l'image).

C'est comme essayer de trouver une aiguille dans une botte de foin en regardant soit la botte, soit l'aiguille, mais jamais les deux ensemble. Cela laisse souvent des informations importantes sur la table ou supprime des détails cruciaux.

✨ La Nouvelle Idée : MMTok (Le "Super-Trieur à Double Vue")

Les auteurs de cet article, MMTok, ont eu une idée brillante : pourquoi ne pas utiliser à la fois la question ET l'image pour faire le tri ?

Ils proposent une méthode basée sur la "Couverture Maximale". Imaginez que vous devez remplir un sac à dos pour un voyage.

• L'objectif : Vous voulez que votre sac contienne tout ce dont vous avez besoin (la question) et tout ce qui est important dans l'image, mais avec le moins d'objets possible.

MMTok fonctionne comme un chef cuisinier très efficace :

1. Il regarde la recette (la question textuelle) : "Je dois faire une salade."
2. Il regarde le panier de légumes (l'image) : "J'ai des tomates, des carottes, de la laitue, et 500 feuilles de salade inutiles."
3. Il sélectionne uniquement les légumes qui servent à la recette ET qui représentent bien le panier.

🧩 Comment ça marche ? (L'Analogie du Puzzle)

Leurs algorithmes résolvent deux énigmes en même temps :

1. Couverture Texte-Image : "Quels morceaux de l'image répondent le mieux à ma question ?" (Si vous demandez "Où est le chat ?", on garde les jetons du chat, pas ceux du ciel).
2. Couverture Image-Image : "Quels morceaux de l'image sont les plus importants pour garder l'essence de la photo ?" (Même si vous ne posez pas de question, il faut garder les jetons qui définissent la scène).

En combinant ces deux regards, MMTok trouve le meilleur équilibre. Il peut réduire le nombre de jetons de 2 880 à seulement 4 ou 16 tout en gardant 98% de la performance du robot !

🚀 Les Résultats : Plus Rapide, Plus Intelligent

Les tests montrent que cette méthode est incroyable :

• Vitesse : Le robot devient 1,8 fois plus rapide. C'est comme passer d'une voiture de ville à une Ferrari.
• Précision : Même avec très peu de jetons (par exemple, seulement 4 morceaux de l'image), le robot comprend toujours aussi bien que s'il avait vu l'image entière.
• Économie : Cela économise énormément de mémoire et d'énergie, ce qui est crucial pour faire tourner ces robots sur des téléphones ou des serveurs moins puissants.

🏁 En Résumé

MMTok, c'est comme donner au robot une loupe intelligente. Au lieu de lui faire lire tout le livre page par page (tous les jetons), il lui apprend à sauter directement aux paragraphes importants qui répondent à la question, tout en gardant le contexte global de l'histoire.

C'est une avancée majeure pour rendre l'intelligence artificielle visuelle plus rapide, plus économe et tout aussi intelligente, sans avoir besoin de réentraîner le robot (ce qui est souvent long et coûteux).

Résumé technique

1. Problématique

Les modèles Vision-Language (VLM) convertissent les entrées visuelles en "tokens de vision" pour les traiter via de grands modèles de langage (LLM). Cependant, cette approche souffre d'une redondance massive : une seule image peut générer des milliers de tokens de vision (par exemple, 2 880 tokens pour une image dans LLaVA-NeXT), tandis que les instructions textuelles en génèrent moins de 10.
Comme les LLM reposent sur des mécanismes d'attention dont le coût computationnel est quadratique par rapport au nombre total de tokens, cette surcharge de tokens de vision dégrade considérablement l'efficacité de l'inférence.

Les méthodes existantes de réduction de tokens (pruning) souffrent de deux limites majeures :

1. Unimodalité : Elles se basent généralement soit uniquement sur l'information visuelle (diversité, attention [CLS]), soit uniquement sur le texte pour guider la sélection, ignorant la nature intrinsèquement multimodale des tâches.
2. Manque de critère générique : Il n'existe pas de critère unifié capable de traiter simultanément la sémantique du texte et la structure de l'image pour sélectionner les tokens les plus pertinents.

2. Méthodologie : MMTok

Les auteurs proposent MMTok, une méthode d'inférence efficace sans réentraînement (training-free) qui maximise la couverture multimodale. Le cœur de la méthode repose sur la formulation du problème de sélection de tokens comme un problème de couverture maximale (Maximum Coverage Problem).

A. Formulation du problème

Le but est de sélectionner un sous-ensemble $S$ de tokens de vision source pour couvrir au mieux un ensemble de tokens cibles (qui peuvent être des tokens de texte ou des tokens de vision originaux).
La fonction objectif $f(S)$ vise à maximiser la similarité entre les tokens cibles et le sous-ensemble sélectionné :
$$f(S; M) = \frac{1}{m} \sum_{i=1}^{m} \max_{j \in S} M_{i,j}$$
où $M$ est une matrice de similarité. Cette fonction est sous-modulaire, ce qui garantit qu'un algorithme glouton (greedy) peut trouver une solution approchée à $(1 - 1/e)$ de l'optimum, rendant le problème traitable efficacement.

B. Double couverture multimodale

MMTok optimise simultanément deux types de couverture :

1. Couverture Texte-Vision (T-V) : Sélectionne les tokens de vision qui sont les plus similaires aux tokens de texte de la requête (question/instruction). Cela permet de capturer les informations visuelles directement pertinentes pour la tâche linguistique.
   • Utilise les tokens de vision après la couche de projection (alignés avec le texte).
2. Couverture Vision-Vision (V-V) : Sélectionne les tokens de vision qui couvrent l'information globale de l'image, indépendamment du texte. Cela est crucial pour les requêtes vagues (ex: "Décrivez l'image") et préserve la structure visuelle globale.
   • Utilise les tokens de vision avant la projection pour éviter le mélange avec les informations textuelles.

C. Fusion et optimisation

Les deux matrices de similarité ($M^{tv}$ et $M^{vv}$) sont normalisées (via une opération softmax avec des températures $\tau_t$ et $\tau_v$) pour aligner leurs échelles. L'objectif final est une somme pondérée :
$$f(S) = f(S; M^{tv'}) + \alpha f(S; M^{vv'})$$
Un algorithme glouton itératif (Algorithme 2 dans le papier) sélectionne les tokens un par un pour maximiser cette fonction combinée.

3. Contributions Clés

• Formulation théorique : Introduction du problème de couverture maximale pour la sélection de tokens de vision, avec une garantie théorique d'approximation grâce à la propriété de sous-modularité.
• Stratégie multimodale : Combinaison explicite de la couverture texte-vision et vision-vision, démontrant que ces deux informations sont complémentaires pour une sélection optimale.
• Efficacité sans réentraînement : La méthode ne nécessite aucun fine-tuning du modèle, contrairement à certaines approches concurrentes, tout en surpassant souvent les méthodes avec fine-tuning.
• Algorithme efficace : Une complexité computationnelle faible ($O(kn)$) permettant une sélection rapide même pour un grand nombre de tokens d'entrée.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks (MMBench, POPE, MME, GQA, etc.) et divers modèles (LLaVA-1.5, LLaVA-NeXT, Qwen-2.5-VL).

• Performance supérieure : MMTok surpasse systématiquement les méthodes unimodales (FastV, SparseVLM, VisionZip, DivPrune). Sur LLaVA-1.5-7B avec 64 tokens (réduction de 89%), il maintient 96,6 % des performances originales, surpassant DivPrune de 1,8 %.
• Compression extrême :
  • Sur LLaVA-NeXT-13B, avec un budget de 160 tokens (5,5 % des tokens originaux), la méthode atteint 95,1 % des performances.
  • Sur LLaVA-1.5-7B, avec seulement 4 tokens, elle conserve 87,7 % des performances.
• Gain de vitesse : Sur le jeu de données POPE, MMTok offre un accélération de 1,87x tout en maintenant 98,7 % des performances sur LLaVA-NeXT-13B.
• Robustesse : La méthode fonctionne efficacement sur des modèles à haute résolution dynamique (Qwen-2.5-VL) et sur des tâches à forte contribution visuelle (High-IC tasks).
• Efficacité computationnelle : Le temps d'inférence est réduit d'environ 50 % sur POPE, avec une utilisation mémoire réduite de plus de 58 %.

5. Signification et Impact

Ce travail démontre que l'exploitation conjointe des modalités texte et vision est essentielle pour une compression efficace des tokens dans les VLM.

• Théorique : Il établit un lien solide entre la théorie de l'optimisation sous-modulaire et l'efficacité des modèles multimodaux.
• Pratique : MMTok offre une solution immédiate et légère pour accélérer l'inférence des VLMs existants sans nécessiter de réentraînement coûteux, rendant ces modèles plus viables pour des déploiements en temps réel et sur des dispositifs aux ressources limitées.
• Futur : L'article suggère que l'adaptation de la sélection de tokens à la difficulté de la question (sélection "hardness-aware") est une direction prometteuse.

En résumé, MMTok résout le goulot d'étranglement de l'inférence des VLMs en prouvant qu'une sélection intelligente basée sur la couverture multimodale permet de réduire drastiquement le nombre de tokens sans sacrifier la compréhension visuelle.