🤖 AI

Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders

Cette étude démontre que l'intégration de multiples encodeurs visuels dans les grands modèles de langage multimodaux entraîne souvent une redondance significative, révélant que le masquage sélectif de certains encodeurs peut non seulement améliorer les performances sur des tâches spécifiques mais aussi réduire les coûts de calcul, remettant ainsi en question l'hypothèse selon laquelle « plus d'encodeurs signifie nécessairement de meilleurs résultats ».

Auteurs originaux : Yizhou Wang, Song Mao, Yang Chen, Yufan Shen, Yinqiao Yan, Pinlong Cai, Ding Wang, Guohang Yan, Zhi Yu, Xuming Hu, Botian Shi

Publié 2026-02-16

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yizhou Wang, Song Mao, Yang Chen, Yufan Shen, Yinqiao Yan, Pinlong Cai, Ding Wang, Guohang Yan, Zhi Yu, Xuming Hu, Botian Shi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Dilemme du Chef Cuisinier : Plus de Couteaux font-ils vraiment une meilleure cuisine ?

Imaginez que vous êtes un chef cuisinier (c'est le Modèle de Langage, ou l'IA qui parle et raisonne). Pour préparer un plat complexe (comprendre une image et répondre à une question), vous avez décidé d'engager cinq experts différents pour vous aider à regarder les ingrédients :

Un expert qui voit les couleurs globales.
Un expert qui voit les textures.
Un expert qui lit les étiquettes.
Un expert qui repère les contours.
Un expert qui analyse la composition.

La logique habituelle dans le monde de l'IA était : "Plus on a d'experts, mieux c'est !" On pensait que chacun apportait une pièce unique du puzzle.

Mais cette nouvelle étude (publiée à la conférence ICLR 2026) a posé une question radicale : "Et si, en réalité, trois de ces experts ne faisaient que répéter ce que dit le premier, ou pire, qu'ils vous embrouillaient ?"

🔍 L'Expérience : Le "Jeux des 5 Doigts"

Les chercheurs ont fait une expérience très simple, un peu comme si vous fermiez les yeux de certains de vos experts un par un pour voir ce qui se passe.

Ils ont pris des modèles d'IA très puissants (comme Eagle ou Cambrian) qui utilisent 4 ou 5 "visionneuses" (des cerveaux spécialisés dans l'image) et ils ont éteint certaines d'entre elles.

Le résultat a été surprenant :

Souvent, rien ne change ! L'IA continue de fonctionner aussi bien, même si on retire 2 ou 3 experts.
Parfois, ça s'améliore ! En retirant certains experts, l'IA devient même plus précise. C'est comme si vous aviez retiré des gens qui chantaient faux dans une chorale : le reste chante mieux !
Seuls quelques experts comptent vraiment. Pour lire du texte dans une image (OCR), un seul expert suffit souvent à faire 90% du travail. Les autres sont juste là pour faire du bruit.

📏 Les Deux Règles pour Mesurer l'Inutile

Pour prouver ce phénomène, les chercheurs ont inventé deux outils de mesure amusants :

Le Taux d'Utilisation Conditionnelle (CUR) : C'est comme demander à chaque expert : "Si les autres sont déjà là, qu'est-ce que tu apportes de plus ?"
- Si la réponse est "Rien", c'est du gaspillage.
- Si la réponse est "Je gâche tout", c'est dangereux.
- Si la réponse est "Je suis indispensable", alors on le garde.
L'Écart d'Information (IG) : C'est une mesure de l'inégalité.
- Imaginez une équipe de sport où un seul joueur marque tous les buts, et les autres ne font que courir sur le terrain sans toucher le ballon. L'écart est énorme. C'est ce que les chercheurs ont trouvé : un ou deux experts dominent tout le travail, et les autres sont des "passagers clandestins".

💡 Les Leçons Clés (en langage courant)

La Redondance est partout : Dans les modèles actuels, on a souvent l'impression d'avoir une équipe de 5, mais en réalité, on utilise souvent 1 ou 2 experts très forts, et les 3 autres sont juste du "bruit". C'est comme avoir 5 GPS dans une voiture : si l'un est parfait, les autres ne servent qu'à vous donner des ordres contradictoires.
Moins, c'est parfois Mieux : En retirant les experts inutiles, les chercheurs ont réussi à créer des versions de l'IA qui sont :
- Plus rapides (moins de temps de calcul).
- Moins chères à entraîner (moins d'électricité, moins de temps de superordinateur).
- Tout aussi intelligentes (parfois même plus !).
Spécialisation vs Généralité :
- Pour des tâches très précises (comme lire un menu ou un graphique), un seul expert spécialisé est roi.
- Pour des questions générales ("Qu'est-ce qu'on voit sur cette photo ?"), les experts se ressemblent tellement qu'ils sont interchangeables.

🚀 Pourquoi c'est important pour nous ?

Jusqu'à présent, la course à l'IA consistait à empiler toujours plus de composants, ce qui rendait les modèles énormes, lents et gourmands en énergie.

Cette étude nous dit : "Arrêtez de surcharger la voiture !".
En identifiant et en retirant les composants inutiles, on peut construire des IA :

Plus écologiques (moins d'énergie).
Plus rapides à utiliser sur votre téléphone.
Tout aussi intelligentes que les géants actuels.

En résumé : Les chercheurs ont découvert que nos IA actuelles sont un peu comme un orchestre avec trop de violons qui jouent la même note. En enlevant les violons inutiles, la musique reste belle, mais l'orchestre devient plus léger, plus rapide et moins cher à faire jouer.

1. Problématique

Les modèles de langage multimodaux (MLLM) récents intègrent de plus en plus plusieurs encodeurs visuels distincts (par exemple, CLIP, SAM, DINO, EVA) dans l'hypothèse que des objectifs de pré-entraînement variés fournissent des signaux visuels complémentaires, améliorant ainsi les performances globales.

Cependant, les auteurs remettent en cause l'hypothèse selon laquelle "plus d'encodeurs signifient nécessairement de meilleures performances". Ils observent que cette approche conduit souvent à :

Une redondance massive : plusieurs encodeurs fournissent des informations chevauchantes ou conflictuelles.
Une inefficacité computationnelle : augmentation des coûts d'entraînement et de l'inférence sans gains de performance proportionnels.
Des gains marginaux : l'ajout d'encodeurs supplémentaires entraîne des rendements décroissants, voire une dégradation des performances dans certains cas.

L'objectif de l'article est de quantifier systématiquement cette redondance et de démontrer que des architectures plus simples (avec moins d'encodeurs) peuvent égaler, voire surpasser, les modèles complexes.

2. Méthodologie

Pour investiguer ce phénomène, les auteurs proposent une approche basée sur le masquage systématique et de nouvelles métriques quantitatives.

A. Expérimentation par Masquage (Encoder Masking)

Les auteurs testent des MLLM représentatifs à encodeurs multiples (notamment Eagle et Cambrian-1). Ils masquent sélectivement un ou plusieurs encodeurs en remplaçant leurs sorties par des tenseurs nuls (zero-masking) ou des moyennes, puis évaluent l'impact sur les performances à travers une large gamme de benchmarks.

B. Métriques Principales

Pour quantifier la contribution et la redondance, deux métriques sont introduites :

Taux d'Utilisation Conditionnelle (Conditional Utilization Rate - CUR) :
Mesure la contribution marginale d'un encodeur $E_i$ étant donné la présence des autres encodeurs dans l'ensemble $E_n$ .
$u(E_i) = \frac{\text{acc}(f_{E_n}) - \text{acc}(f_{E_n \setminus \{E_i\}})}{\text{acc}(f_{E_n})}$
- Une valeur élevée indique une contribution unique et indispensable.
- Une valeur proche de zéro indique une redondance.
- Une valeur négative indique que l'encodeur est détrimental (il introduit du bruit ou des signaux conflictuels).
Écart d'Information (Information Gap - IG) :
Mesure la disparité entre les contributions des encodeurs au sein d'un modèle.
$\Delta_{gap}(E_n) = \max_{i} u(E_i) - \min_{j} u(E_j)$
- Un IG élevé signale un déséquilibre sévère : un ou quelques encodeurs dominent, tandis que les autres sont sous-utilisés ou inutiles.
- Un IG faible suggère une utilisation équilibrée (ou une redondance généralisée où tous sont interchangeables).

C. Analyse Complémentaire

Analyse d'Attention : Comparaison des distributions d'attention des tokens visuels entre le modèle complet et les modèles avec un seul encodeur activé (mesurée par la divergence KL).
Études d'efficacité : Comparaison des temps d'entraînement, de l'inférence (latence) et des FLOPs (opérations en virgule flottante).

3. Résultats Clés

Les expériences menées sur des modèles comme Eagle-X5 (5 encodeurs) et Cambrian-1 (4 encodeurs) révèlent trois conclusions majeures :

A. Redondance Pervasif et Spécialisation

Dégradation Gracieuse : Masquer plusieurs encodeurs ne fait pas effondrer les performances. Par exemple, masquer 3 encodeurs sur Eagle-X5 7B ne réduit les performances que de moins de 4 %.
Spécialisation Forte : Pour des tâches spécifiques comme l'OCR et l'analyse de graphiques, un seul encodeur domine (ex: EVA-02 ou ConvNext avec un CUR > 90 %). Les autres encodeurs apportent peu de valeur ajoutée.
Redondance sur les Tâches Générales : Sur les tâches VQA générales et basées sur la connaissance, les encodeurs sont largement interchangeables (CUR faible).
Encodeurs Nuisibles : Certains encodeurs affichent un CUR négatif (ex: SigLIP sur certaines tâches centrées sur la vision dans Cambrian-1), dégradant les performances lorsqu'ils sont actifs.

B. Performance avec Moins d'Encodeurs

Sous-ensembles Optimaux : Une variante à deux encodeurs (par exemple, EVA-02 + ConvNext pour Eagle) récupère > 90 % des performances du modèle complet sur la plupart des tâches non-OCR.
Amélioration Inattendue : Dans certains cas, comme pour Cambrian-1 8B, masquer deux encodeurs améliore les performances globales de 1,7 % par rapport au modèle complet.
Gain Spécifique : Le masquage d'encodeurs spécifiques peut augmenter la précision de 16 % sur certaines catégories de tâches.

C. Efficacité Computationnelle

Réduction des Coûts : Passer d'un modèle à 5 encodeurs à une variante à 2 encodeurs réduit le temps d'entraînement de 34,6 % (tout en conservant 94 % des performances).
Latence : La latence d'inférence est réduite de 19,5 % grâce à la suppression des encodeurs redondants.
FLOPs : La suppression des encodeurs inutiles réduit le coût computationnel visuel de manière significative (le stack complet nécessite ~6,62 TFLOPs/image, contre ~61,4 % de cette charge pour les deux encodeurs essentiels).

4. Contributions Principales

Première Étude Systématique : C'est la première étude quantitative confirmant l'existence et l'ampleur de la redondance des encodeurs dans les MLLM modernes.
Nouvelles Métriques (CUR et IG) : Introduction de métriques agnostiques au modèle pour diagnostiquer l'utilité et le déséquilibre des encodeurs, permettant d'identifier les encodeurs redondants ou nuisibles.
Cadre d'Optimisation Actionnable : Démonstration qu'il est possible de concevoir des architectures dual-encodeurs qui offrent un excellent compromis performance/coût, récupérant plus de 90 % des capacités des modèles massifs avec une fraction des ressources.

5. Signification et Impact

Ce travail remet en question le paradigme actuel du "plus c'est mieux" dans la conception des MLLM. Il démontre que l'empilement d'encodeurs hétérogènes sans analyse de leur complémentarité réelle conduit à une inefficacité structurelle.

Pour la recherche : Il fournit un cadre diagnostique (CUR/IG) pour guider la sélection des encodeurs avant l'entraînement ou le fine-tuning.
Pour l'industrie : Il offre une voie vers des modèles plus légers, plus rapides et moins coûteux à déployer, tout en maintenant des performances de pointe.
Théorique : Les résultats soutiennent l'hypothèse de la "représentation platonique", suggérant que les grands modèles entraînés sur des données similaires convergent vers des espaces de représentation alignés, rendant l'ajout d'encodeurs supplémentaires redondant.

En conclusion, l'article plaide pour une conception plus rationnelle des MLLM, où la sélection précise d'un petit nombre d'encodeurs spécialisés est préférée à l'agrégation aveugle de multiples modèles.