Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding

Titre : Pourquoi et quand le pruning de tokens visuels échoue ? Une étude sur le décalage de l'information visuelle pertinente dans le décodage des MLLM

1. Problématique

Les Modèles de Langage Multimodaux (MLLM) modernes génèrent un nombre massif de tokens visuels à partir d'encodeurs de vision, ce qui entraîne des coûts computationnels et mémoire prohibitifs lors de l'inférence. Pour y remédier, le pruning de tokens visuels (élagage) a été développé afin de supprimer les tokens redondants et de ne conserver que les plus pertinents.

Cependant, les auteurs observent une divergence critique :

• Les méthodes de pruning existantes fonctionnent bien sur des tâches de compréhension visuelle simple (ex: VQA - Visual Question Answering), où les informations nécessaires sont concentrées dans des régions spécifiques de l'image dès le début.
• Elles échouent de manière significative sur des tâches de raisonnement visuel complexe (ex: mathématiques visuelles, logique, STEM), entraînant une chute drastique des performances.

Hypothèse centrale : L'échec provient d'une limitation fondamentale des méthodes actuelles qui effectuent le pruning uniquement lors de la phase de préremplissage (prefill). Elles supposent que l'information visuelle pertinente identifiée au début reste suffisante tout au long de la génération, ce qui n'est pas le cas pour le raisonnement complexe.

2. Analyse Diagnostique : Le Décalage de l'Information Visuelle Pertinente (RVIS)

L'étude identifie un phénomène nouveau appelé Relevant Visual Information Shift (RVIS) (Décalage de l'Information Visuelle Pertinente).

• Nature du RVIS : Lors du décodage (génération de la réponse), les MLLM engagés dans un raisonnement complexe ne maintiennent pas un focus visuel statique. Au contraire, leur attention visuelle déplace dynamiquement vers différentes régions de l'image à chaque étape logique pour répondre aux nouvelles exigences du raisonnement.
• Preuve empirique :
  • Sur des tâches VQA simples, la similarité cosinus entre la carte d'attention initiale (prefill) et les étapes de décodage reste élevée (focus statique).
  • Sur des tâches de raisonnement (VMR), cette similarité chute brutalement et fréquemment, indiquant que le modèle doit "re-regarder" des parties de l'image qui avaient été ignorées ou élaguées au début.
• Conséquence : Les méthodes de pruning statiques, qui jettent définitivement les tokens non prioritaires lors du préremplissage, privent le modèle des informations visuelles cruciales dont il a besoin à des étapes ultérieures du décodage, causant des erreurs de raisonnement.

3. Méthodologie : DSTP (Decoding-stage Shift-aware Token Pruning)

Pour résoudre ce problème sans réentraînement du modèle, les auteurs proposent DSTP, un cadre additif "plug-and-play" (sans entraînement) qui s'adapte dynamiquement au décodage.

DSTP repose sur deux modules intégrés :

1. RISD (Relevant Visual Information Shift Detect) :

   • Ce module surveille en temps réel la carte d'attention visuelle du modèle pendant le décodage.
   • Il compare l'attention courante avec l'attention initiale (ancrée lors du préremplissage).
   • Si la similarité tombe en dessous d'un seuil $\tau$ (indiquant un RVIS), le système détecte que le focus visuel a changé et déclenche une récupération de tokens.

2. CPTS (Context-Preserving Visual Token Swap) :

   • Lorsqu'un RVIS est détecté, CPTS réévalue l'ensemble complet des tokens visuels (y compris ceux qui avaient été élagués et mis en réserve).
   • Il sélectionne les nouveaux tokens les plus pertinents pour l'étape de décodage actuelle.
   • Préservation du contexte : Au lieu de remplacer totalement les tokens initiaux (ce qui briserait la cohérence globale de l'image), CPTS effectue une union : il conserve les tokens initiaux et ajoute les nouveaux tokens pertinents. Cela crée un ensemble de tokens temporairement élargi qui maintient le contexte global tout en intégrant les détails spécifiques nécessaires à l'étape de raisonnement.
   • Après une durée définie ($L$ étapes), le système revient à l'ensemble initial pour limiter la surcharge computationnelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur des architectures de pointe (Qwen3-VL, InternVL3.5) et divers benchmarks.

• Performance sur le Raisonnement Visuel (VMR) :

  • Les méthodes de pruning statiques (FastV, DivPrune, VisionZip) montrent une dégradation sévère (ex: chute de ~40-50% sur MathVerse).
  • L'intégration de DSTP restaure massivement les performances, atteignant souvent 80-90% de la performance du modèle complet (Vanilla), même avec un taux de rétention de tokens très faible (33,3%).
  • DSTP surpasse le modèle complet (Vanilla) en termes de rapport performance/coût sur certaines tâches complexes.

• Performance sur la Compréhension Visuelle (VQA) :

  • DSTP maintient ou améliore légèrement les performances sur des tâches simples (SQA, GQA), prouvant qu'il ne nuit pas aux tâches où le RVIS est rare.

• Efficacité Computationnelle :

  • L'overhead computationnel de DSTP est négligeable. Bien qu'il réévalue certains tokens, le coût total (TFLOPs) reste proche de celui du pruning statique.
  • En termes de latence réelle, DSTP est souvent plus rapide que le modèle complet et parfois plus efficace que le pruning statique, car il évite les générations erronées qui nécessiteraient des corrections ou des itérations supplémentaires.

• Robustesse :

  • L'analyse montre que la performance de DSTP s'améliore proportionnellement à la fréquence des événements RVIS, confirmant qu'il cible précisément le problème identifié.

5. Contributions Clés

1. Identification du RVIS : Première étude à identifier et quantifier le "Décalage de l'Information Visuelle Pertinente" comme cause principale de l'échec du pruning dans les tâches de raisonnement complexe.
2. Cadre DSTP : Proposition d'une méthode sans entraînement qui synchronise dynamiquement les tokens visuels avec les besoins changeants du raisonnement pendant le décodage.
3. Validation Générale : Preuve que DSTP fonctionne sur diverses architectures et stratégies de pruning, offrant une solution robuste pour déployer efficacement des MLLM sur des tâches de raisonnement avancées.

6. Signification et Impact

Ce travail remet en question le paradigme actuel du pruning visuel qui se concentre uniquement sur la phase de préremplissage. Il démontre que pour les MLLM modernes orientés vers le raisonnement, la dynamique du décodage est aussi importante que l'entrée initiale.

L'approche DSTP ouvre la voie à des modèles multimodaux plus efficaces et précis, capables de gérer des tâches complexes (mathématiques, logique, sciences) sans sacrifier la vitesse d'inférence, en assurant que l'information visuelle critique est disponible exactement au moment où le modèle en a besoin pour chaque étape logique.