Résumé Technique : MoDA – Adaptateur de Modulation pour la Compréhension Visuelle Fine dans les MLLM d'Instruction

1. Énoncé du Problème

Les modèles de langage multimodaux (MLLM) ont obtenu un succès significatif dans les tâches de suivi d'instructions en intégrant des encodeurs visuels pré-entraînés (typiquement basés sur CLIP) avec des Grands Modèles de Langage (LLM). Cependant, ces modèles éprouvent fréquemment des difficultés avec l'ancrage visuel fin (fine-grained visual grounding). La limitation fondamentale identifiée est l'enchevêtrement sémantique au sein des représentations de patchs visuels.

Dans les architectures standard de Vision Transformer (ViT), les images sont découpées en patchs de taille fixe, chacun étant projeté dans un espace de plongement (embedding) de haute dimension. Comme l'illustre l'article, des patchs individuels contiennent souvent plusieurs éléments visuels distincts (par exemple, le torse d'un chien, un jouet et un lit au sein d'un même patch). Cela force l'encodeur visuel à mélanger des formes, des textures et des concepts sémantiquement distincts en un seul vecteur d'embedding. Par conséquent, les dimensions individuelles des caractéristiques encodent plusieurs significations sans rapport entre elles. Lors du traitement de requêtes linguistiques spécifiques (par exemple, « Quelle est la couleur de l'oreille du chien ? »), le modèle doit désenchevêtrer ces représentations mixtes pour se concentrer sur les détails pertinents de l'instruction, une tâche où les MLLM actuels échouent souvent, entraînant des hallucinations ou un raisonnement imprécis.

Les solutions existantes, telles que le masquage d'attention au niveau du jeton (token-level attention masking) ou le masquage adaptatif par couche, opèrent souvent sur des jetons discrets plutôt que sur des dimensions de caractéristiques continues, introduisent une surcharge de calcul substantielle ou manquent de conditionnement guidé par l'instruction.

2. Méthodologie : MoDA (Modulation Adapter)

Les auteurs proposent MoDA, un module léger conçu pour effectuer une modulation par canal guidée par l'instruction sur les caractières visuelles pré-alignées. Contra'irement aux méthodes qui sélectionnent ou repondèrent des jetons entiers (ex: Q-Former), MoDA opère au niveau du canal au sein des dimensions d'embedding de chaque jeton.

Mécanisme Central

MoDA fonctionne comme une interface de post-traitement entre l'adaptateur visuel-langage et le LLM. Il prend deux entrées :

1. $V_{aligned}$ : Cartes de caractéristiques visuelles pré-alignées de l'adaptateur.
2. $T$ : Plongements de jetons linguistiques du LLM.

Le module apprend une fonction de modulation $F(\cdot)$ conditionnée par les caractéristiques multimodales. Cette fonction génère un masque de modulation souple (soft modulation mask) qui repondère dynamiquement les dimensions d'embedding des caractéristiques visuelles en fonction de l'instruction linguistique spécifique. Le processus est défini comme suit :

$$\tilde{V}_{aligned} = V_{aligned} \odot \sigma(W \cdot F(T, V_{aligned}))$$

Où :

• $\odot$ désigne le produit de Hadamard élément par élément.
• $\sigma$ est la fonction d'activation sigmoïde, contraignant les valeurs du masque à $[0, 1]$.
• $W$ est une projection linéaire apprenable.
• $F(\cdot)$ est implémenté à l'aide d'une pile de couches de Transformer à attention croisée (Cross-Attention), où les jetons visuels agissent comme requêtes (queries) et les jetons linguistiques comme mémoire.

Cette architecture permet au modèle de supprimer sélectivement les dimensions de caractéristiques non pertinentes et de mettre l'accent sur celles qui sont pertinentes pour l'instruction actuelle, permettant ainsi de désenchevêtrer efficacement l'enchevêtrement sémantique au sein des patchs sans modifier l'architecture sous-jacente du MLLM.

Protocole d'Entraînement

MoDA suit le protocole d'entraînement standard en deux étapes de LLaVA :

1. Étape 1 (Pré-entraînement) : L'adaptateur visuel est entraîné pour l'alignement cross-modal tandis que l'encodeur visuel et le LLM restent gelés.
2. Étape 2 (Ajustement d'instruction / Instruction Tuning) : Le module MoDA est introduit. MoDA et le LLM sont tous deux ajustés conjointement via un objectif de modélisation de langage autorégressif. Les poids de l'encodeur visuel et de l'adaptateur original sont initialisés à partir de l'étape 1. Aucune supervision ou donnée d'entraînement supplémentaire n'est requise.

3. Principales Contributions

L'article expose trois contributions majeures :

1. Identification et Solution : Les auteurs identifient l'enchevêtrement sémantique dans les représentations de patchs visuels comme un goulot d'étranglement pour la compréhension fine, et proposent MoDA, une nouvelle approche de modulation par canal guidée par l'instruction pour y remédier.
2. Efficacité et Performance : MoDA apporte des améliorations de performance substantielles avec un surcoût de calcul minimal, ajoutant < 1 % de FLOPs et 3,7 % de paramètres. Il obtient des gains constants sur divers benchmarks sans nécessiter de modifications architecturales du MLLM de base.
3. Généralisation : Des évaluations approfondies démontrent que l'efficacité de MoDA provient de l'innovation architecturale plutôt que d'une simple augmentation de capacité. Les gains se généralisent au-delà des encodeurs basés sur CLIP vers de nouvelles architectures comme Qwen3-VL.

4. Résultats Expérimentaux

Les auteurs ont évalué MoDA sur 12 benchmarks couvrant le VQA (Visual Question Answering), le raisonnement centré sur la vision et la détection d'hallucinations, en utilisant trois familles de MLLM distinctes : LLaVA-1.5, LLaVA-MoRE et Qwen3-VL.

Principales Constatations :

• Performance VQA : MoDA a systématiquement amélioré les scores dans toutes les familles. Les gains notables incluent +4,8 points sur ScienceQA pour la famille LLaVA-MoRE (SigLIP-S2) et +4,9 points sur ScienceQA pour Qwen3-VL.
• Tâches Centrées sur la Vision : Sur les benchmarks nécessitant une discrimination fine (ex: MMStar, CV-Bench), MoDA a permis aux modèles de surpasser des baselines plus larges. Par exemple, LLaVA-MoRE avec MoDA et SigLIP-S2 a atteint 38,5 sur MMStar et 62,2 sur CV-Bench, surpassant des modèles entraînés sur des distributions de données plus larges comme ShareGPT-4V.
• Détection d'Hallucinations : Les gains les plus décisifs ont été observés dans la réduction des hallucinations. Pour la famille LLaVA-1.5, MoDA a amélioré les scores MMVP de 12,0 points (passant de 24,0 à 36,0) et les scores POPE à 87,1.
• Généralisation : Lorsqu'il est intégré à Qwen3-VL (qui utilise un ViT non natif de CLIP), MoDA délivre toujours des gains constants (ex: +4,9 sur ScienceQA, +4,1 sur RealWorldQA), confirmant que la méthode n'est pas spécifique aux encodeurs CLIP.
• Études d'Ablation :
  • Cross-Attention vs Alternatives : L'attention croisée a nettement surperformé le MLP linéaire et l'auto-attention (Self-Attention), particulièrement sur les tâches de raisonnement (ex: 81,9 contre 77,8 sur ScienceQA avec SigLIP-S2).
  • Synergie de l'Encodeur : Les améliorations étaient plus marquées avec des encodeurs plus riches (SigLIP-S2) qu'avec le CLIP standard, suggérant que la modulation guidée par l'instruction devient plus précieuse à mesure que la qualité des représentations visuelles augmente.
  • Architecture vs Capacité : Les gains ont été attribués à la conception architecturale (modulation par canal) plutôt qu'à l'augmentation des paramètres, car des améliorations spécifiques aux tâches ont été observées sans gains uniformes sur tous les indicateurs.

5. Signification et Revendications

L'article affirme que MoDA représente un changement de paradigme, passant du simple ajout de paramètres ou du ré-entraînement des encodeurs à l'affinement de la manière dont les preuves existantes sont utilisées. En permettant aux MLLM de se concentrer dynamiquement sur les détails visuels pertinents de l'instruction grâce à la modulation par canal, la méthode traite le problème fondamental de l'enchevêtrement sémantique des représentations par patch.

Les auteurs soulignent que MoDA :

• Ne nécessite aucune supervision supplémentaire ni changement du protocole d'entraînement.
• Opère avec un surcoût minimal (< 1 % de FLOPs).
• Est complémentaire aux approches existantes (ex: meilleurs encodeurs ou sélection de couches) plutôt qu'un remplacement.
• Prouve qu'un affinement architectural peut produire des bénéfices plus importants que la croissance des paramètres pour des tâches fines spécifiques.

Le travail conclut que la modulation de canal guidée par l'instruction est un mécanisme généralisable pour améliorer la compréhension visuelle fine dans les MLLM, validé par plusieurs architectures et catégories de benchmarks.