Information Router for Mitigating Modality Dominance in Vision-Language Models

1. Problématique : La Dominance Modale et ses Limites Actuelles

Les modèles Vision-Langage (VLM) ont démontré des performances remarquables, mais ils souffrent souvent d'un phénomène appelé dominance modale. Dans ce scénario, le modèle repose de manière disproportionnée sur une seule modalité (généralement le texte) pour générer ses prédictions, négligeant les preuves visuelles ou vidéo.

• Limitation des approches existantes : Les méthodes précédentes tentent de corriger ce biais en ajustant l'allocation de l'attention du modèle (par exemple, en forçant le modèle à regarder plus les images). Cependant, ces approches partent d'une hypothèse implicite erronée : celle selon laquelle toutes les modalités d'entrée contiennent déjà une information suffisante.
• La réalité du problème : Dans le monde réel, les modalités diffèrent considérablement en termes de densité d'information et de rapport signal/bruit. Par exemple, des tokens visuels peuvent être ambigus ou rares (vue exocentrique, limitations de point de vue), tandis que les tokens textuels sont souvent denses et explicites.
• Conséquence : Si l'on ne fait que rééquilibrer l'attention sans enrichir l'information manquante, le modèle ne peut pas effectuer un raisonnement multimodal fiable, surtout lorsqu'une modalité est dégradée ou bruitée.

2. Méthodologie : MOIR (Multi-modal Information Router)

Les auteurs proposent MOIR, une méthode de fusion au niveau de l'information conçue pour réduire explicitement les disparités d'information avant la fusion finale.

Fonctionnement Global

MOIR opère entre les encodeurs spécifiques à chaque modalité et le décodeur du Grand Modèle de Langage (LLM). Au lieu de simplement rediriger l'attention, MOIR modifie directement les représentations des tokens.

Étapes Clés de l'Algorithme :

1. Identification des Tokens Peu Informatifs :

   • MOIR analyse les canaux (dimensions) de l'embedding de chaque token.
   • En utilisant la Décomposition en Valeurs Singulières (SVD) sur les séquences de tokens, le modèle calcule un score d'informativité pour chaque canal.
   • Les canaux avec les scores les plus faibles (bruit, redondance, faible contribution aux composantes principales) sont identifiés comme "peu informatifs".

2. Routage de l'Information Complémentaire :

   • Une fois les canaux faibles identifiés, MOIR sélectionne dynamiquement des informations complémentaires provenant de la modalité plus forte (ou plus dense).
   • Il remplace ou enrichit les canaux faibles du token cible avec ces informations provenant de l'autre modalité.
   • Ce processus est contrôlé par des portes de routage apprenables ($\alpha$), qui déterminent la quantité d'information injectée.

3. Construction de Représentations Denses :

   • Avant d'entrer dans le décodeur LLM, les tokens sont transformés en représentations "denses en information".
   • Cela permet au LLM d'ajuster naturellement sa dépendance aux modalités en fonction de la disponibilité réelle de l'information, plutôt que d'être biaisé par la structure brute des données d'entrée.

3. Contributions Clés

1. Proposition de MOIR : Une nouvelle méthode de fusion multimodale qui échange activement l'information entre les modalités pour corriger les disparités de densité d'information, plutôt que de simplement rééquilibrer l'attention.
2. Réévaluation de la Dominance Modale : Les auteurs démontrent que changer l'utilisation des modalités sans tenir compte de l'état de preuve (informatif ou bruyant) de chaque modalité peut être contre-productif. MOIR adresse la cause racine (le manque d'information) plutôt que le symptôme (l'attention déséquilibrée).
3. Validation Empirique Robuste : Des expériences extensives montrent que MOIR améliore non seulement l'équilibre des contributions modales, mais aussi la robustesse et les performances en aval, même dans des conditions de dégradation des données.

4. Résultats Expérimentaux

Les auteurs ont évalué MOIR sur trois benchmarks populaires (ScienceQA, VizWiz, MMBench-Video) avec plusieurs architectures de modèles (LLaVA-1.5, Qwen2.5-VL).

• Performance en Tâches en Aval (Downstream) :

  • MOIR maintient ou améliore la précision des tâches, en particulier dans les scénarios nécessitant un ancrage visuel fort (ex: VizWiz, MMBench-Video).
  • Sur MMBench-Video, les gains sont significatifs, montrant que MOIR est efficace lorsque le raisonnement temporel et visuel est indispensable.

• Réduction de la Dominance Modale :

  • Indice de Dominance Modale (MDI) et Efficacité de l'Attention (AEI) : MOIR réduit systématiquement ces indices, indiquant une utilisation plus équilibrée des modalités.
  • Densité d'Information : Les mesures de rang effectif (Rank $\Delta$) montrent une augmentation de la densité d'information pour les deux modalités (image et texte), prouvant que le modèle enrichit les représentations plutôt que de simplement supprimer une modalité.

• Robustesse à la Dégradation :

  • Dans un test où les images de VizWiz ont été remplacées par du bruit gaussien, le modèle de base continuait de prédire les mêmes réponses (ignorant l'image) dans 62 % des cas.
  • Avec MOIR, ce taux d'immunité au bruit chute drastiquement, prouvant que le modèle devient sensible aux entrées visuelles et effectue un raisonnement basé sur les preuves.

• Résultats Qualitatifs :

  • Sur MMBench-Video, le modèle de base tendait à halluciner ou à répéter le texte de la question. MOIR a permis de générer des réponses ancrées dans le contenu vidéo réel (ex: identification précise d'un plugin ou description d'événements sportifs observables).

5. Signification et Conclusion

Cet article marque un changement de paradigme dans la lutte contre la dominance modale. Au lieu de se concentrer uniquement sur la mécanique de l'attention (où le modèle regarde), MOIR se concentre sur la disponibilité de l'information (ce que le modèle a à regarder).

Signification principale :
La manipulation explicite de l'information au niveau des tokens est une stratégie efficace et complémentaire pour construire des systèmes multimodaux fiables. MOIR démontre que pour obtenir un véritable raisonnement multimodal, il est crucial d'assurer que chaque modalité apporte une information dense et pertinente avant même que le modèle de langage ne commence son traitement. Cela ouvre la voie à des modèles plus robustes face aux données bruitées ou ambiguës, essentiels pour des applications réelles.