IDPruner: Harmonizing Importance and Diversity in Visual Token Pruning for MLLMs

1. Problématique

Les Modèles de Langage Multimodaux (MLLMs) actuels, tels que Qwen2.5-VL ou LLaVA, génèrent un nombre massif de tokens visuels pour traiter des images (par exemple, ~2 691 tokens pour une image 1080p). Cette volumétrie crée un goulot d'étranglement computationnel majeur, limitant l'efficacité et le déploiement pratique de ces modèles.

La réduction de tokens visuels (token pruning) est une technique clé pour accélérer l'inférence. Cependant, les approches existantes souffrent de compromis non optimisés :

• Méthodes basées sur l'importance : Sélectionnent les tokens les plus saillants (souvent les objets au premier plan) mais négligent le contexte global et les arrière-plans, essentiels pour le raisonnement.
• Méthodes basées sur la diversité : Maximisent la couverture sémantique pour éviter la redondance, mais risquent de conserver du bruit non pertinent tout en manquant de détails fins.
• Méthodes hybrides actuelles : Combinent souvent ces deux critères de manière heuristique ou intuitive, sans cadre théorique rigoureux pour trouver l'équilibre optimal, ce qui conduit à des performances sous-optimales.

2. Méthodologie : IDPruner

Les auteurs proposent IDPruner, une stratégie de pruning qui harmonise systématiquement l'importance et la diversité en utilisant un cadre d'optimisation mathématique.

A. Analyse Empirique du Compromis

Avant de proposer la solution, les auteurs analysent le compromis entre l'importance des tokens et la diversité sémantique (mesurée par la statistique de Hopkins). Ils démontrent que les stratégies simples (sélection purement par importance ou par diversité) occupent des extrêmes sous-optimaux, tandis qu'une approche combinée rigoureuse peut atteindre la frontière de Pareto optimale.

B. Le Cœur de l'Algorithme : MMR (Maximal Marginal Relevance)

IDPruner reformule le problème de pruning comme un problème de réordonnancement dans le domaine de la recherche d'information, en adaptant l'algorithme MMR.
L'objectif est de sélectionner itérativement un token $v^*$ qui maximise une fonction de score combinant :

1. L'Importance ($Imp$) : Un score de pertinence (dérivé d'un module d'estimation entraînable, similaire à VisionSelector).
2. La Diversité (via Similarité) : Une pénalité basée sur la similarité sémantique avec les tokens déjà sélectionnés.

La fonction objectif pour sélectionner le token $v_i$ à l'étape $t$ est :
$$v^* = \arg \max_{v_i \in V \setminus S_{t-1}} \left[ \lambda \cdot Imp(v_i) - (1 - \lambda) \cdot \max_{v_j \in S_{t-1}} Sim(v_i, v_j) \right]$$

Où :

• $\lambda$ est un hyperparamètre contrôlant le compromis entre importance et diversité.
• $Sim(v_i, v_j)$ est la similarité cosinus entre les tokens.
• Le terme de soustraction pénalise les tokens redondants (similaires à ceux déjà choisis).

C. Avantages Techniques

• Compatibilité FlashAttention : Contrairement à d'autres méthodes qui nécessitent des cartes d'attention (attention maps), IDPruner fonctionne sans elles. Cela garantit une compatibilité totale avec FlashAttention, maximisant l'efficacité de l'inférence.
• Pruning "One-Shot" : La sélection se fait à un stade précoce de manière statique, évitant les changements dynamiques de longueur de séquence qui compliquent l'intégration dans des moteurs d'inférence comme vLLM.
• Efficacité Calculatoire : Une stratégie de mise à jour efficace réduit la complexité de calcul de $O(K^2N)$ à $O(KN)$, rendant la surcharge négligeable par rapport au passage avant du modèle.

3. Contributions Clés

1. Analyse Systématique : Première analyse rigoureuse caractérisant le compromis entre l'importance des tokens et la diversité sémantique, fournissant une base théorique pour leur intégration.
2. Proposition IDPruner : Introduction d'une méthode utilisant le MMR pour harmoniser ces deux objectifs de manière optimale, dépassant les stratégies hybrides heuristiques.
3. Performance et Généralisation : Démonstration d'une performance de pointe (SOTA) et d'une robustesse exceptionnelle à travers différentes architectures de modèles (Qwen2.5-VL, LLaVA-1.5, LLaVA-OneVision) et tâches (images et vidéos).
4. Efficacité Pratique : Une solution prête pour le déploiement, compatible avec les accélérations matérielles modernes (FlashAttention) et ne nécessitant pas de ré-entraînement complexe.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks multimodaux (MMBench, MME, POPE, OCRBench, etc.) et modèles.

• Qwen2.5-VL-7B-Instruct :
  • Avec une compression de 75% (conserver 25% des tokens), IDPruner maintient 95,18% des performances de la baseline.
  • Avec une compression extrême de 90% (conserver 10% des tokens), il maintient encore 86,40% des performances, surpassant nettement les méthodes concurrentes (comme VisionSelector, SCOPE, ou DivPrune).
• LLaVA-1.5-7B : IDPruner conserve la première place sur tous les ratios de pruning, démontrant une robustesse supérieure aux architectures spécifiques.
• Compréhension Vidéo : Sur des tâches vidéo (Vinoground, VideoMME), IDPruner surpasse les méthodes basées uniquement sur l'importance (qui échouent face à la redondance temporelle) et les méthodes purement basées sur la diversité.
• Efficacité : IDPruner affiche la latence de pré-remplissage (prefill) la plus faible parmi les stratégies hybrides grâce à sa compatibilité FlashAttention.

5. Signification et Impact

Ce travail établit un nouveau standard pour la réduction de tokens visuels dans les MLLMs. En passant d'une intégration heuristique à une optimisation mathématique rigoureuse (MMR), IDPruner résout le dilemme fondamental entre la conservation des détails critiques (importance) et la couverture contextuelle globale (diversité).

La capacité de cette méthode à fonctionner sans cartes d'attention et à s'intégrer facilement dans les pipelines d'inférence modernes (vLLM, FlashAttention) en fait une solution pratique et immédiatement déployable pour rendre les modèles multimodaux plus rapides et plus économes en ressources, sans sacrifier significativement leurs capacités de raisonnement.