🤖 machine learning

Fast-Slow Efficient Training for Multimodal Large Language Models via Visual Token Pruning

Cet article propose DualSpeed, un cadre d'entraînement rapide-lent qui combine l'élagage des jetons visuels pour l'efficacité avec un mode auxiliaire de séquence complète et l'auto-distillation pour résoudre les décalages entre l'entraînement et l'inférence, accélérant ainsi l'entraînement des MLLM jusqu'à 4,0 $\times$ sans compromettre les performances.

Auteurs originaux : Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Publié 2026-02-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner le monde à un étudiant très intelligent (un Grand Modèle de Langage Multimodal) en lui montrant des milliers d'images.

Le Problème : Le goulot d'étranglement de la « Trop Grande Quantité d'Informations »
Actuellement, ces modèles sont comme des étudiants qui sont submergés. Quand vous leur montrez une image, l'ordinateur la décompose en des centaines, voire des milliers de petits morceaux appelés « jetons visuels » (visual tokens). C'est comme si vous tendiez à l'étudiant un livre de 1 000 pages pour chaque image, alors que la plupart des pages ne sont que des espaces blancs inutiles ou des motifs répétitifs.

Essayer de lire tous ces pages prend un temps fou. Cela rend l'entraînement de ces modèles incroyablement lent, coûteux et gourmand en énergie.

L'Ancienne Idée : L'erreur du « Couper-Coller »
Les chercheurs ont réalisé que beaucoup de ces pages sont inutiles. Ils ont essayé une technique appelée Élagage de Jetons Visuels (Visual Token Pruning), qui consiste à utiliser un surligneur pour rayer les pages ennuyeuses et redondantes avant de montrer le livre à l'étudiant. Cela fonctionne très bien pour tester l'étudiant plus tard (l'inférence), ce qui les rend plus rapides.

Mais lorsqu'ils ont essayé d'utiliser cette méthode pendant l'entraînement, cela a eu l'effet inverse. Cela a créé un « décalage ».

L'Analogie : Imaginez que vous n'entraîniez l'étudiant que sur un résumé de 10 pages d'un livre. Puis, lors de l'examen final, vous lui donnez le livre complet de 1 000 pages. L'étudiant panique et échoue parce qu'il s'est habitué à la version courte.

La Solution : DualSpeed (Le camp d'entraînement « Rapide-Lent »)
Les auteurs de ce document, Dingkun Zhang et son équipe, ont créé un nouveau cadre d'entraînement appelé DualSpeed. Voyez cela comme un camp d'entraînement à deux voies qui alterne de manière aléatoire pour résoudre le problème du décalage.

La Voie Rapide (La pratique rapide) :
- La plupart du temps (environ 90 % des sessions), le modèle s'entraîne en « Mode Rapide ».
- Ici, ils utilisent la technique d'« élagage » pour couper les jetons visuels inutiles. Le modèle apprend rapidement à partir des résumés courts et efficaces.
- Pour aider le modèle à se souvenir de quelle version il regarde, ils ajoutent une petite « étiquette de nom » invisible (appelée Isolateur de Mode) au début du résumé court. Cela indique au modèle : « Hé, c'est la version condensée ; concentre-toi sur les détails clés. »
La Voie Lente (La révision du livre complet) :
- De temps en temps (environ 10 % du temps), le modèle passe en « Mode Lent ».
- Ici, ils montrent au modèle l'image complète, non élaguée (toutes les 1 000 pages).
- Pour s'assurer que le modèle ne devienne pas paresseux pendant ces rares sessions, ils utilisent une astuce appelée Auto-Distillation. Le « Mode Rapide » (qui a déjà beaucoup appris) agit comme un professeur, chuchotant les réponses à l'étudiant du « Mode Lent ». Cela garantit que l'étudiant apprend la version complète efficacement, même s'il la voit moins souvent.

Le Résultat : Le meilleur des deux mondes
En mélangeant ces deux modes, le modèle obtient la vitesse de la Voie Rapide mais conserve la capacité de gérer le monde complet et complexe de la Voie Lente.

Vitesse : Ils ont entraîné des modèles 2,1 à 4,0 fois plus vite qu'auparavant.
Performance : Malgré cette vitesse, les modèles n'ont pas perdu en intelligence. Ils ont conservé plus de 99 % de leur performance originale.
Flexibilité : Le modèle final est assez intelligent pour gérer à la fois les résumés courts (si vous voulez de la vitesse plus tard) et les images complètes (si vous voulez une précision maximale).

En Résumé
Le document affirme qu'en utilisant un système de commutation « Rapide-Lent », ils peuvent enseigner à ces modèles d'IA massifs beaucoup plus rapidement sans qu'ils oublient comment lire les livres complets. Ils ont découvert qu'environ 90 % des jetons visuels sont en fait redondants pendant l'entraînement, et en les coupant intelligemment (tout en pratiquant occasionnellement avec la version complète), ils peuvent économiser énormément de temps et d'argent sans perdre en intelligence.

Résumé Technique : DualSpeed pour l'entraînement efficace des MLLM

1. Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) font face à un goulot d'étranglement critique en matière d'efficacité d'entraînement en raison de la taille massive de leurs paramètres et du volume considérable de jetons visuels générés par les entrées à haute résolution. Bien que les méthodes d'entraînement efficace existantes se concentrent sur la réduction des paramètres du modèle ou des paramètres entraînables, elles négligent souvent le potentiel de réduction du nombre de jetons d'entraînement.

L'élagage des jetons visuels (Visual Token Pruning - VTP) s'est avéré efficace pour améliorer l'efficacité de l'inférence en éliminant les jetons visuels redondants (par exemple, l'arrière-plan ou les textures répétitives). Cependant, l'application directe du VTP lors de la phase d'entraînement introduit un sévère décalage entraînement-inférence (training-inference mismatch). Les modèles entraînés sur des séquences élaguées peinent à performer efficacement lors de l'inférence sur des séquences visuelles complètes et non élaguées. Ce fossé provient des disparités dans la longueur des séquences, la densité d'information et la structure spatiale entre les distributions de données d'entraînement et d'inférence. Par conséquent, un simple élagage des jetons pendant l'entraînement entraîne une dégradation significative des performances dans les scénarios d'inférence standards.

2. Méthodologie : DualSpeed

Pour remédier au décalage entraînement-inférence tout en tirant parti de l'efficacité du VTP, les auteurs proposent DualSpeed, un cadre de type "fast-slow" (rapide-lent) pour l'entraînement des MLLM. Le cadre fonctionne en basculant aléatoirement entre deux modes distincts durant le processus d'entraînement :

A. Mode Rapide (Mode d'Efficacité Primaire)

Objectif : Maximiser la vitesse d'entraînement en réduisant les jetons visuels.
Mécanisme : Ce mode intègre les méthodes de VTP existantes comme des plugins pour élaguer la séquence de jetons visuels.
Isolateur de Mode (Mode Isolator) : Pour garantir que le modèle puisse distinguer les entrées élaguées des entrées complètes, un Isolateur de Mode apprenable (un prompt souple de longueur $l$ ) est concaténé comme préfixe à la séquence visuelle élaguée. Cela incite explicitement le LLM à activer un schéma de perception spécifique adapté aux entrées éparses. Lors du traitement de séquences complètes, cet isolateur est désactivé.
Objectif d'Entraînement : Entropie croisée standard (Cross-Entropy loss) sur la séquence élaguée (avec l'isolateur).

B. Mode Lent (Mode de Cohérence Auxiliaire)

Objectif : Maintenir la cohérence entraînement-inférence en apprenant à partir de séquences visuelles complètes.
Mécanisme : Le modèle est entraîné sur des séquences visuelles complètes et non élaguées.
Auto-distillation : Puisque le mode lent est activé moins fréquemment (contrôlé par une probabilité $r$ ), son apprentissage est boosté via l'auto-distillation. Le Mode Rapide, suffisamment entraîné, agit comme un « enseignant » (teacher), et le Mode Lent agit comme un « étudiant » (student). Ils partagent les mêmes paramètres de modèle mais diffèrent par leurs séquences d'entrée. L'étudiant minimise la divergence de Kullback–Leibler (KL) entre ses logit de sortie et les logits de l'enseignant (calculés sur la séquence élaguée).
Objectif d'Entraînement : Une combinaison de la perte d'entropie croisée sur la séquence complète et de la perte de distillation.

C. Stratégie d'Entraînement Globale

Le cadre bascule entre les modes par lot (batch) selon une probabilité $r$ . Durant les phases où le backbone du LLM est gelé (par exemple, le pré-entraînement), seul le Mode Rapide est activé pour accroître davantage l'efficacité. Lors de l'inférence, le modèle opère exclusivement sur des séquences visuelles complètes et non élaguées sans l'Isolateur de Mode, garantissant ainsi des performances optimales.

3. Contributions Clés

Identification d'un Défi Majeur : L'article identifie et analyse le décalage entraînement-inférence comme une barrière primaire à l'application de l'élagage des jetons visuels lors de l'entraînement des MLLM.
Cadre DualSpeed : La proposition d'un cadre d'entraînement collaboratif fast-slow qui intègre des plugins de VTP tout en préservant la cohérence grâce à un Isolateur de Mode et l'auto-distillation.
Validation Empirique : La démonstration que le cadre atteint une accélération d'entraînement significative (jusqu'à 4,0×) tout en conservant près de 99 % de la performance de référence sur différentes architectures MLLM et résolutions.

4. Résultats Expérimentaux

Les auteurs ont évalué DualSpeed sur LLaVA-1.5 et LLaVA-NeXT en utilisant 9 benchmarks de compréhension visuelle représentatifs (ex: VQAv2, GQA, MME, MMBench).

Accélération de l'Entraînement :
- LLaVA-1.5 : A atteint une accélération globale de l'entraînement de 2,1× (avec une accélération de 5,8× lors de la phase de pré-entraînement).
- LLaVA-NeXT : A atteint une accélération globale de l'entraînement de 4,0× (avec une accélération de 5,3× en pré-entraînement), attribuée à la proportion plus élevée de jetons visuels dans les modèles à haute résolution.
Rétention de Performance :
- DualSpeed a conservé 99,61 % de la performance de référence sur LLaVA-1.5 et 99,04 % sur LLaVA-NeXT.
- En revanche, une application naïve de l'élagage (NaivePrune) n'a permis de conserver qu'environ 95,89 % de la performance, soulignant la gravité du fossé entraînement-inférence.
Comblement du Fossé : Le cadre a réussi à combler un écart de performance d'environ 3,72 % par rapport aux méthodes d'élagage naïves, portant la performance du modèle presque au niveau de la référence d'entraînement complet.
Analyse de la Redondance : Les expériences ont indiqué que jusqu'à 90 % des jetons visuels peuvent être élagués pendant l'entraînement sans perte de performance significative, à condition d'utiliser le cadre DualSpeed.

5. Signification et Revendications

L'article affirme que DualSpeed offre une nouvelle voie pour passer à l'échelle l'entraînement des MLLM en traitant le goulot d'étranglement computationnel des jetons visuels sans sacrifier les capacités du modèle. En découplant les gains d'efficacité de l'élagage des exigences de cohérence de l'inférence, le cadre permet :

Efficacité des Ressources : Réduction drastique du temps d'entraînement et des coûts de calcul.
Scalabilité : La capacité d'entraîner des modèles à haute résolution (comme LLaVA-NeXT) de manière plus faisable.
Robustesse : Les modèles résultants sont naturellement compatibles avec l'inférence normale (séquences complètes) et l'inférence par élagage (séquences élaguées), car le processus d'entraînement prend explicitement en compte les deux distributions de données.

Les auteurs soulignent que leur approche ne nécessite pas de changements architecturaux aux méthodes de VTP elles-mêmes, permettant d'intégrer de manière transparente les techniques d'élagage existantes en tant que plugins dans le pipeline d'entraînement.