🤖 AI

VEN-VL: A Visual Ensemble MoE Framework for Effective and Efficient Multi-Modal Understanding

VEN-VL est un cadre d'ensemble visuel de type Mixture-of-Experts qui comble le fossé entre performance et efficacité dans la compréhension multimodale en enrichissant d'abord la capacité d'information visuelle par une unification multi-perspectives, puis en la compactant progressivement grâce à un routage adaptatif et une supervision visuelle explicite.

Auteurs originaux : Yinghao Wu, Zhuoyan Luo, Yiyao Yu, Zhaojian Yu, Yujiu Yang, Xiao-Ping Zhang

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yinghao Wu, Zhuoyan Luo, Yiyao Yu, Zhaojian Yu, Yujiu Yang, Xiao-Ping Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'expliquer une peinture complexe à un ami très occupé qui ne peut écouter qu'un bref résumé.

Le Problème :
La plupart des modèles d'IA actuels (appelés Modèles Visuels-Linguistiques de Grande Taille) tentent de comprendre les images en examinant chaque pixel individuel, comme lire chaque mot d'un livre. Cela est lent et coûteux. Pour remédier à cela, d'autres chercheurs ont essayé de « élaguer » l'image — en jetant les parties qu'ils jugent peu importantes.

Cependant, l'article soutient que ces méthodes existantes ressemblent à un éditeur maladroit qui coupe des paragraphes entiers simplement parce qu'ils semblent longs. Ils éliminent trop de détails, ou conservent les mauvais détails, ce qui fait perdre à l'IA la « vue d'ensemble » ou lui fait manquer des indices minuscules mais cruciaux (comme un petit panneau en arrière-plan). Le résultat est une IA rapide mais peu intelligente.

La Solution : VEN-VL
Les auteurs proposent un nouveau système appelé VEN-VL. Ils décrivent leur approche avec un principe simple : « Enrichir, puis Compacter ». Pensez-y comme à la préparation d'un repas gastronomique pour un invité pressé : d'abord, vous rassemblez tous les meilleurs ingrédients et saveurs (Enrichir), puis vous les emballez soigneusement dans une petite boîte à lunch de haute qualité (Compacter) afin que rien ne se perde, mais que ce soit facile à transporter.

Voici comment ils procèdent, décomposé en trois étapes créatives :

1. L'« Ensemble de Connaissances Multi-Aspects » (MKE) – Le Panel d'Experts

Au lieu de regarder l'image à travers une seule paire de lunettes (comme un appareil photo standard), VEN-VL utilise deux experts différents pour examiner l'image simultanément.

Expert A observe la vue d'ensemble et le sens général (comme « c'est un parc »).
Expert B cherche les détails fins et les textures (comme « les feuilles deviennent brunes »).

Habituellement, combiner ces deux points de vue crée une masse de données désordonnée et énorme. Mais VEN-VL utilise une technique de « fusion » spéciale. C'est comme avoir un éditeur habile qui prend les meilleures phrases des notes des deux experts et les tisse ensemble pour former une histoire parfaite et concise. Cela garantit que l'IA possède une compréhension plus riche (plus grande « capacité d'information ») sans le bruit.

2. L'« Ensemble de Tokens Hiérarchique » (HTE) – Le Filtre Intelligent

Maintenant que l'IA possède cette histoire riche, elle doit la réduire pour qu'elle rentre dans le « cerveau » du modèle linguistique.

Les anciennes méthodes utilisent un filtre brut : « Si cette partie de l'image ne reçoit pas beaucoup d'attention en ce moment, jetez-la. » Cela efface souvent accidentellement des détails importants mais subtils.
La méthode de VEN-VL utilise un système de Mélange d'Experts (MoE). Imaginez une équipe de détectives spécialisés. Au fur et à mesure que l'IA traite l'image couche par couche, un « Routeur » (le gestionnaire) demande : « Quel est le meilleur détective pour cette preuve spécifique ? »
- Si un token (un morceau de l'image) concerne une texture spécifique, il va au « Détective des Textures ».
- S'il concerne une forme générale, il va au « Détective des Formes ».

Le système ne conserve que les tokens que les experts jugent véritablement importants. Cela crée un résumé plus dense. Ce n'est pas juste une liste plus courte ; c'est une liste où chaque élément individuel est chargé d'informations à haute valeur.

3. La « Préservation des Informations Structurelles » (SIP) – Le Filet de Sécurité

Lorsque vous jetez 90 % des données, vous risquez de perdre la structure (la façon dont les choses sont liées entre elles).

L'Innovation : VEN-VL donne à l'IA un « super-pouvoir de reconstruction ». Avant de jeter un morceau de l'image, il demande aux pièces restantes : « Pouvez-vous vous souvenir à quoi ressemblait ce morceau manquant ? »
Il utilise une astuce de supervision (comme un professeur vérifiant les devoirs) pour s'assurer que même après que l'image a été réduite, l'IA peut toujours « reconstruire » la forme originale et les relations dans son esprit. Cela empêche l'IA de se tromper sur l'emplacement des choses dans l'image.

Le Résultat

L'article affirme qu'en utilisant cette stratégie « Enrichir puis Compacter », VEN-VL peut comprendre des images complexes en utilisant seulement environ 7,5 % à 10 % des tokens visuels (les minuscules morceaux de données) que les modèles normaux utilisent.

Malgré l'utilisation de si peu de données, il performe mieux que d'autres modèles rapides sur des tâches difficiles comme la lecture de texte à l'intérieur d'images ou la réponse à des questions complexes sur des scènes. Il comble le fossé entre la rapidité (efficacité) et l'intelligence (efficacité), prouvant que vous n'avez pas besoin de voir tout pour comprendre tout, tant que vous voyez les bonnes choses de la bonne façon.

Résumé Technique : VEN-VL

Énoncé du Problème

Les récentes avancées des grands modèles visuel-langage (LVLM) ont démontré un potentiel significatif pour la compréhension visuelle complexe, en particulier lorsqu'elles exploitent des architectures de mélange d'experts (MoE). Cependant, les méthodes existantes visant à accélérer les LVLM se heurtent à un goulot d'étranglement critique : la dégradation des performances causée par des limitations en capacité d'information et en densité d'information.

Les approches actuelles relèvent généralement de deux catégories, toutes deux souffrant de défauts inhérents :

Élagage au niveau de l'entrée : Méthodes qui compressent les caractéristiques visuelles d'un flux unique en une représentation compacte avant le LLM. Elles mettent souvent l'accent sur des taux de compression élevés, échouant à établir une modélisation sémantique complète et réduisant considérablement la capacité et la diversité de l'information.
Élagage au niveau des couches : Méthodes qui élaguent les tokens au sein du LLM sur la base de cartes d'attention. Elles reposent sur un alignement visuel-texte grossier dans les premières couches, entraînant souvent le rejet erroné de tokens contenant des informations condensées (par exemple, de petits objets ou des textures subtiles) nécessaires à la sémantique fine dans les couches ultérieures.

Le défi central consiste à permettre aux LVLM d'atteindre des performances supérieures en utilisant moins de tokens visuels, tout en étant hautement condensés en information.

Méthodologie : VEN-VL

Les auteurs proposent VEN-VL (Visual Ensemble MoE), un cadre conçu pour combler le fossé entre performance et efficacité en suivant un principe de « enrichir puis compacter ». L'architecture se compose de trois composants principaux :

1. Ensemble de Connaissances Multi-Aspects (MKE)

Objectif : Enrichir la capacité d'information.
Au lieu de compresser un flux visuel unique, le MKE unifie les représentations visuelles provenant de différentes perspectives pour accroître la diversité sémantique tout en supprimant la redondance.

Extraction à double flux : Il utilise un encodeur principal (par exemple, CLIP) pour des caractéristiques alignées sémantiquement ( $F_{main}$ ) et un encodeur auxiliaire pour des caractéristiques amplifiées en détails fins ( $F_{extra}$ ).
Compression consciente de la structure : Plutôt qu'une simple concaténation, le MKE emploie une stratégie de fusion séquentielle :
- Fusion spatiale : Comprime l'axe spatial des deux flux pour transformer la localité en dimensions de canal, préservant la topologie de la grille 2D.
- Fusion auto/croisée : Utilise un opérateur de fusion bipartite pour identifier les $k$ meilleures similarités cosinus entre des ensembles de caractéristiques disjoints, agrégeant les paires correspondantes par moyennage pondéré. Cela supprime la redondance et complète les sémantiques globalement.
Résultat : Un espace visuel unifié et compact ( $V$ ) qui conserve une haute capacité et diversité d'information.

2. Ensemble Hiérarchique de Tokens (HTE)

Objectif : Améliorer la densité d'information.
Le HTE opère au sein des couches profondes du LLM, exploitant la spécificité inhérente du MoE pour affiner progressivement la distribution visuelle.

MoE Visuel Spécialisé : Le cadre introduit une banque d'experts légers activés exclusivement pour les tokens visuels afin de capturer des sémantiques visuelles spécifiques, aux côtés d'un Expert Global ( $E_{global}$ ) qui maintient les capacités de raisonnement général.
Routage Adaptatif : Un mécanisme de commutation Top- $k$ achemine dynamiquement les tokens visuels vers les experts les plus adaptés en fonction de leur contenu sémantique.
Mécanisme de Réduction par Commutation : Contrairement aux méthodes reposant sur des cartes d'attention grossières, le HTE utilise les scores d'activation de routage comme mesure de saillance des tokens. Les tokens à haute saillance (nécessitant un traitement orienté) sont conservés, tandis que ceux à faible score (triviaux/redondants) sont élagués.
Résultat : Une augmentation progressive de la densité d'information à travers les couches, assurant que le calcul des couches profondes se concentre uniquement sur des tokens hautement condensés.

3. Préservation de l'Information Structurelle (SIP)

Objectif : Fournir une guidance inductive.
Pour prévenir la perte d'informations structurelles lors de l'élagage des tokens, le SIP dote le modèle de capacités de reconstruction.

Propagation Sémantique : Les embeddings de tokens élagués sont réinitialisés avec des propriétés structurelles (RoPE). Les tokens condensés restants propagent itérativement des sémantiques holistiques vers ces tokens élagués dans un espace partagé jusqu'à convergence.
Supervision Visuelle Explicite : Une perte de reconstruction ( $\mathcal{L}_{qrec}$ ) est appliquée entre la représentation reconstruite et l'entrée originale. Crucialement, cela utilise la quantification pour mapper des valeurs exactes vers des représentations de bas niveau, évitant la sur-reliance du modèle à la régression de valeurs de pixels exactes (ce qui peut conduire à se concentrer sur des motifs triviaux).
Résultat : Garantit que les tokens conservés restaurent largement l'information condensée standard, guidant le processus de sélection.

Contributions Clés

Principe Enrichir-Puis-Compacter : L'article introduit une philosophie de conception qui enrichit d'abord l'espace visuel via le MKE, puis le compresse progressivement via le HTE, traitant conjointement la capacité et la densité d'information.
Cadre VEN-VL : Un nouveau cadre Visual Ensemble MoE intégrant le MKE, le HTE et le SIP, qui comble efficacement le fossé performance-efficacité dans les LVLM.
Préservation de l'Information Structurelle (SIP) : Un mécanisme fournissant une guidance inductive pour la sélection de tokens en attribuant au modèle des capacités de reconstruction, assurant le maintien de l'intégrité structurelle pendant la réduction.
Performances de l'État de l'Art : Le cadre atteint des résultats supérieurs dans des tâches multimodales complexes avec nettement moins de tokens (ne conservant que ~7,5 % à 10 % des tokens visuels).

Résultats Expérimentaux

Les auteurs ont évalué VEN-VL sur plusieurs benchmarks, notamment MMBench, TextVQA, MME et MMMU, en utilisant divers backbones de LLM (par exemple, Qwen2.5, Qwen3).

Gains de Performance : Par rapport à la forte baseline TinyLLaVA (Qwen2.5-1.5B), VEN-VL a réalisé des améliorations substantielles : +8,1 % sur TextVQA, +5,2 % sur MMB et +6,8 % sur MMBCN, malgré la conservation d'environ 10 % des tokens visuels.
Efficacité : Dans les comparaisons avec d'autres méthodes d'élagage de tokens (par exemple, PruMerge, FastV) dans des conditions équitables (backbone Qwen3-0.6B), VEN-VL les a largement surpassées tout en ne conservant que 7,5 % des tokens. Par exemple, il a obtenu un score moyen de 50,1 contre 40,9 pour PruMerge, avec une augmentation gérable des FLOPs par rapport au gain de performance.
Évolutivité : La conception a démontré une forte compatibilité avec les cadres MoE existants (par exemple, Kimi-VL), montrant un potentiel pour passer à l'échelle de modèles plus grands avec un écart de performance minimal et des boosts significatifs de vitesse d'inférence.
Études d'Ablation :
- La suppression du MKE a réduit la performance moyenne, validant la nécessité d'un enrichissement multi-aspect.
- L'application du HTE uniquement dans les couches peu profondes ou sur toutes les couches (Dense) a donné des résultats sous-optimaux ; l'application « Deuxième Moitié » (couches profondes) s'est révélée la plus efficace.
- La suppression du SIP ou l'utilisation d'une perte de reconstruction MSE standard ( $\mathcal{L}_{rec}$ ) au lieu d'une perte quantifiée ( $\mathcal{L}_{qrec}$ ) a entraîné des baisses de performance, confirmant la nécessité d'une guidance basée sur la topologie.

Importance et Revendications

L'article revendique que VEN-VL résout efficacement le goulot d'étranglement de la capacité et de la densité d'information dans les LVLM efficaces actuels. En unifiant des représentations visuelles multi-perspectives et en utilisant des routeurs MoE adaptatifs pour la sélection dynamique de tokens, le cadre permet aux modèles d'effectuer des tâches complexes de compréhension visuelle avec une fraction des tokens visuels requis par les approches standard.

Les auteurs positionnent VEN-VL comme une étape significative vers une compréhension multimodale évolutive et efficace, démontrant qu'une haute performance ne nécessite pas un nombre élevé de tokens si la densité d'information et l'intégrité structurelle sont préservées grâce à des mécanismes spécialisés d'ensemble et d'élagage. Ils reconnaissent que, bien que l'optimisation algorithmique soit robuste, la traduction des réductions théoriques de FLOPs en accélération de bout en bout dans le monde réel nécessite des efforts supplémentaires au niveau du système (par exemple, optimisations de noyaux).