💻 computer science

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune est un cadre de travail sans entraînement, prêt à l'emploi, qui réduit efficacement les coûts de calcul dans les modèles de langage de grande taille multimodaux en utilisant des jetons de séparation de modalité comme requêtes unifiées pour élaguer 80,2 % des jetons de vision tout en conservant 96,3 % de la précision d'origine.

Auteurs originaux : Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Publié 2026-07-29

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot super intelligent à voir et à parler en même temps. C'est le monde des Modèles de Langage de Grande Taille Multimodaux (MLLM), les stars de l'IA qui peuvent regarder la photo d'un coucher de soleil et écrire un poème à son sujet, ou analyser un graphique complexe et répondre à des questions à propos de celui-ci. Pour ce faire, le robot ne se contente pas de « regarder » l'image ; il décompose l'image en des milliers de minuscules pièces de puzzle numériques appelées « jetons de vision » (vision tokens). Considérez ces jetons comme des pixels individuels, mais beaucoup plus intelligents — ils portent tous les détails de l'image.

Cependant, il y a un piège. Lorsque vous alimentez le robot avec une photo haute définition ou une vidéo longue, il génère tellement de ces jetons que le robot est submergé. C'est comme essayer de lire une bibliothèque de livres d'un seul coup ; le processus devient lent, coûteux et inefficace. Les scientifiques ont essayé de résoudre ce problème en cherchant à déterminer quels morceaux de puzzle sont réellement importants et lesquels ne sont que du désordre. Certaines méthodes tentent de deviner l'importance en observant comment le robot prête attention aux mots, tandis que d'autres tentent de trouver des pièces en double. Mais ces approches se retrouvent souvent bloquées par leur propre complexité, ralentissant le robot encore plus alors qu'elles tentent de l'accélérer. La grande question demeure : comment éliminer l'encombrement sans perdre l'image ?

Voici SepPrune, une nouvelle méthode qui agit comme un éditeur ingénieux pour ces modèles d'IA. Les chercheurs derrière ce travail ont remarqué quelque chose de fascinant en observant comment ces modèles réfléchissent. Ils ont découvert que, dans les premières étapes du traitement, le modèle accorde une attention immense à des jetons « séparateurs » spéciaux — de petits marqueurs qui se situent entre les données de l'image et les données de texte, agissant comme un pont entre ces deux mondes. Il s'avère que ces séparateurs sont la clé pour comprendre l'image.

Au lieu d'essayer de calculer l'importance de chaque jeton de vision en les comparant les uns aux autres (ce qui est lent et désordonné), SepPrune utilise le jeton séparateur comme une requête maîtresse (master query). Imaginez le séparateur comme un guide touristique debout à l'entrée d'un musée. Au lieu de demander à chaque tableau : « Es-tu important ? », le guide regarde toute la pièce et pointe du doigt : « Toi, toi et toi, vous êtes les chefs-d'œuvre ; le reste peut attendre. » En utilisant le séparateur pour évaluer rapidement les jetons de vision, SepPrune peut identifier instantanément les morceaux les plus informatifs de l'image et écarter le reste.

Les résultats sont impressionnants. Lors des tests sur des modèles puissants comme Qwen2.5-VL-7B, SepPrune a réussi à éliminer plus de 80 % des jetons de vision tout en conservant 96,3 % de la précision originale du modèle. Même lorsque l'élagage était poussé à l'extrême avec une réduction de 90,2 %, le modèle conservait 87,2 % de sa performance. C'est un bond significatif par rapport aux autres méthodes, qui peinent souvent à maintenir une précision aussi élevée lors de coupes aussi profondes. De plus, comme cette méthode ne nécessite pas de calculs complexes entre chaque jeton, elle est beaucoup plus rapide et fonctionne parfaitement avec les technologies d'accélération existantes.

Les chercheurs ont également prouvé que leurs choix spécifiques comptent. Ils ont montré que l'utilisation du jeton séparateur comme « guide » fonctionne mieux que l'utilisation d'autres parties du texte, et que le fait d'ignorer la « position » des jetons (où ils se trouvent dans l'image) lors du processus de sélection empêche le modèle de ne garder accidentellement que la moitié inférieure d'une image. En résumé, SepPrune suggère qu'en écoutant le pont entre l'image et le texte, nous pouvons rendre ces visionnaires de l'IA plus rapides et plus efficaces sans les aveugler face aux détails qui comptent vraiment.

Résumé Technique : SepPrune

Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) récents, tels que Qwen2.5-VL et InternVL3, utilisent des structures d'encodeurs de vision de type « any-res » qui génèrent un nombre massif de jetons (tokens) de vision, particulièrement lors du traitement d'entrées à haute résolution (par exemple, des vidéos 4K/8K ou des images à haute résolution en mégapixels). Ce volume de jetons dépasse considérablement celui des entrées textuelles, créant une surcharge de calcul et une latence d'inférence substantielle. Bien que les méthodes existantes de purge de jetons de vision visent à atténuer cela, elles souffrent de limitations critiques :

Les méthodes basées sur l'attention reposent souvent sur des scores d'attention cross-modaux qui interrompent le flux de calcul, empêchant l'utilisation d'opérateurs matériels efficaces comme FlashAttention, ou dépendent de jetons architecturaux spécifiques (par exemple, [CLS]) absents dans les backbones de vision modernes.
Les méthodes basées sur la diversité induisent généralement une complexité temporelle quadratique ( $O(N^2)$ ) pour calculer les matrices de similitude inter-jetons, ce qui, paradoxalement, augmente la latence et annule les gains d'efficacité de la purge.

Méthodologie : SepPrune

Les auteurs proposent SepPrune, un cadre de purge de jetons de vision plug-and-play, sans entraînement, qui exploite le rôle intrinsèque des jetons de séparation de modalité. La méthode opère avant le backbone de l'LLM, garantissant la compatibilité avec les techniques d'accélération comme FlashAttention.

Insights Clés

À travers une analyse des distributions d'attention dans des modèles comme Qwen2.5-VL-7B, les auteurs ont observé que :

Pics de Séparation : Dans les couches peu profondes, les scores d'attention des jetons de vision et de texte culminent sur les jetons de séparation de modalité (jetons spéciaux séparant les modalités visuelle et textuelle), plutôt que sur le contenu visuel sémantiquement riche.
Fonction de Pont : Des études d'ablation ont révélé que la suppression des jetons de séparation provoque une dégradation des performances nettement plus importante que la suppression d'un nombre équivalent de jetons de vision ou de texte, suggérant que les séparateurs agissent comme des ponts cross-modaux critiques pour l'alignement initial.

Flux de Travail Algorithmique

SepPrune utilise le jeton de séparation comme une requête (query) unifiée pour évaluer les jetons de vision sans modifier l'architecture de l'LLM :

Requête Unifiée : Le jeton de séparation situé après la séquence de vision ( $S_{right}$ ) est utilisé comme le vecteur de Requête ( $Q_{sep}$ ). Ce jeton est choisi car, sous les masques d'attention causale, il est le seul capable d'être attentif à l'ensemble complet des jetons de vision ( $K_{visual}$ ).
Élimination du Biais : Pour garantir que les jetons soient classés uniquement sur leur importance sémantique plutôt que sur leur position spatiale, la méthode omet explicitement les plongements de position rotatifs (RoPE) lors de la phase de scoring. Cela empêche le modèle de conserver préférentiellement des jetons de régions d'images spécifiques (par exemple, le bas de l'image) en raison d'un biais positionnel.
Scoring et Purge : Les scores d'attention sont calculés en utilisant la formule :
$\text{Score}_{prune} = \text{softmax}\left(\frac{Q_{sep} K_{visual}^T}{\sqrt{d_k}}\right)$
Cela réduit la complexité de $O(N^2)$ à $O(N)$ . Les $k$ jetons de vision les plus informatifs sont conservés sur la base de ces scores, tandis que les autres sont purgés.
Réutilisation de la Projection : La méthode réutilise les paramètres de projection intégrés ( $q\_proj$ , $k\_proj$ ) de la première couche de l'LLM, ne nécessitant aucun paramètre apprenable supplémentaire.

Principales Contributions

Découverte de Mécanisme : L'article est le premier à révéler et valider le rôle des séparateurs de modalité en tant que ponts cross-modaux dans les MLLM, démontrant leur importance critique dans la fusion vision-langage initiale.
Stratégie de Purge Novatrice : Introduction de SepPrune, une méthode légère, sans entraînement et plug-and-play qui utilise les jetons de séparation pour l'évaluation globale des jetons de vision.
Efficacité et Compatibilité : La méthode atteint une complexité temporelle linéaire ( $O(N)$ ) et est entièrement compatible avec les cadres d'accélération d'inférence existants (ex: FlashAttention) et la gestion du cache KV, contrairement aux approches d'attention précédentes.

Résultats Expérimentaux

Les auteurs ont évalué SepPrune sur Qwen2.5-VL-7B et InternVL3-8B à travers 12 benchmarks couvrant le VQA général, la détection d'hallucinations et le VQA orienté texte.

Rétention de Performance : Sur Qwen2.5-VL-7B, SepPrune a conservé 96,3 % de la précision originale tout en purgeant 80,2 % des jetons de vision. Cela a surpassé les baselines de l'état de l'art (FastV, DivPrune, CDPruner) par une marge significative (surpassant par exemple CDPruner d'environ 3 points de pourcentage à 80,2 % de purge).
Compression Extrême : Même avec un ratio de purge de 90,1 %, SepPrune a maintenu 87,2 % de la performance originale, démontrant une robustesse supérieure dans les tâches denses en informations comme TextVQA et ChartQA.
Généralisabilité : Des gains de performance similaires ont été observés sur InternVL3-8B, où SepPrune a atteint un score relatif de 93,1 % à 80 % de purge.
Efficacité : Des tests empiriques sur un GPU NVIDIA H20 ont montré que SepPrune atteignait la latence de bout en bout la plus faible (591,4s) comparée à la baseline non purgée (760,4s) et aux autres méthodes de purge, validant sa scalabilité linéaire.

Signification et Revendications

L'article affirme que SepPrune résout le goulot d'étranglement de l'efficacité dans l'inférence des MLLM à haute résolution en repensant le mécanisme de purge à travers le prisme de l'interaction entre les modalités. En identifiant le jeton de séparation comme une « requête globale » naturelle, la méthode évite la surcharge de calcul des calculs de matrices basés sur la diversité et les contraintes architecturales des méthodes basées sur l'attention. Les auteurs soutiennent que cette approche permet une réduction substantielle du coût d'inférence tout en préservant de fortes performances du modèle à travers diverses tâches, offrant une solution pratique pour le déploiement des MLLM dans des environnements à ressources limitées.