Résumé technique : Vers la compréhension de l'interaction entre modalités dans les modèles de langage multimodaux via la décomposition partielle de l'information

1. Énoncé du problème

Les modèles de langage multimodaux (MLLM) sont de plus en plus déployés en tant qu'agents de prise de décision dans des contextes scientifiques, médicaux et incarnés. Cependant, les paradigmes d'évaluation actuels évaluent principalement la précision des résultats, offrant un aperçu limité de la manière dont les modèles utilisent les entrées sensorielles (vision, audio) et linguistiques pour parvenir à ces décisions. Les méthodes d'interprétabilité existantes — telles que l'alignement des représentations, l'analyse de l'attention et l'ablation de modalités — révèlent comment les modalités sont encodées ou comment les prédictions changent sous l'effet de perturbations. Pourtant, elles ne parviennent pas à fournir une décomposition au niveau de la décision de l'utilisation des modalités. Plus précisément, elles ne peuvent pas distinguer si une modalité contribue à une information qui est unique, redondante avec une autre modalité, ou synergique (disponible uniquement par l'observation conjointe). Par conséquent, différentes formes d'interaction multimodale sont souvent confondues sous les mêmes signaux de précision ou d'ablation.

2. Méthodologie

Les auteurs formalisent le raisonnement multimodal comme un problème de décomposition de l'information au niveau de la décision en utilisant la Décomposition Partielle de l'Information (PID - Partial Information Decomposition).

2.1. Cadre de la PID au niveau de la décision

Contrairement aux travaux antérieurs analysant les représentations latentes, ce cadre calcule des métriques d'information sur les distributions prédictives induites par le modèle.

• Formulation bi-modale : Pour les modèles vision-langage, l'information mutuelle entre la prédiction $Y$ et les entrées (Vision $X_v$, Texte $X_t$) est décomposée en quatre composantes non négatives :
  • $U_{vis}$ : Information unique à la vision.
  • $U_{txt}$ : Information unique au texte.
  • $R_{vl}$ : Information redondante partagée par les deux.
  • $S_{vl}$ : Information synergique émergeant uniquement de l'observation conjointe.
• PID sensorielle (tri-modale) : Pour les modèles omni-modaux (Vidéo $V$, Audio $A$, Texte $T$), les auteurs introduisent une formulation conditionnelle traitant le langage comme un signal de contrôle directif. Cela décompose le gain d'information sensorielle $I(Y; V, A | T)$ en composantes d'information visuelle unique ($U_{vis}$), d'audio unique ($U_{aud}$), de redondance sensorielle ($R_{sens}$) et de synergie sensorielle ($S_{av}$). Cela évite l'expansion combinatoire tout en préservant la distinction fonctionnelle entre la spécification de la tâche (langage) et l'évidence sensorielle.

2.2. Pipeline d'estimation

Pour estimer la PID à partir d'états cachés continus de haute dimension sans réentraîner le MLLM, les auteurs emploient :

1. Masquage d'embedding calibré : Pour approximer les conditionnelles unimodales (ex: $P(Y|X_v)$), ils remplacent les embeddings de tokens de la modalité masquée par un bruit gaussien calibré, préservant les statistiques distributionnelles tout en supprimant l'information spécifique à l'instance.
2. Estimateur BATCH : Ils utilisent l'estimateur BATCH (Liang et al., 2023) pour apprendre un couplage normalisé par Sinkhorn $\tilde{Q}$ qui préserve les marginales source-cible, permettant l'optimisation traçable des termes de PID sur des variables continues.
3. Scores de diagnostic locaux : Le cadre s'étend aux contributions additives par échantillon, permettant l'identification des échantillons de "fossé de synergie" (haut potentiel de fusion, faible synergie actuelle) et des échantillons de "raccourci" (forte dépendance au texte unique).

3. Contributions clés

1. PID au niveau de la décision pour les MLLM : Une formalisation de l'interaction entre modalités comme un problème de décomposition de l'information, séparant les contributions uniques, redondantes et synergiques qui sont impossibles à identifier via la similitude de représentation ou l'ablation seule.
2. PID sensorielle pour les modèles omni-modaux : Une formulation de PID conditionnelle qui traite le langage comme un signal de contrôle pour décomposer le gain d'information vidéo-audio, permettant une analyse principled de la prise de décision tri-modale.
3. Résultats diagnostiques, prédictifs et actionnables :
   • Profils d'utilisation des modalités : Identification de motifs récurrents où les tâches de raisonnement/ancrage déclenchent une forte synergie, tandis que les tâches d'expertise/connaissance montrent une forte dépendance au texte unique.
   • Validité prédictive : Les termes de la PID prédisent la sensibilité aux interventions au niveau de la modalité (ex: suppression de l'image).
   • Goulot d'étranglement de la synergie sensorielle : Découverte que les modèles omni-modaux restent dominés par l'information visuelle, même sur des tâches exigeant explicitement une fusion audio-visuelle.
   • Dynamique par couche : Preuve que la fusion inter-modale est un phénomène tardif, la synergie émergeant principalement dans les dernières couches du réseau.
4. Repondération guidée par la PID : Une stratégie d'entraînement de preuve de concept utilisant les scores de diagnostic locaux pour repondérer les échantillons lors du fine-tuning LoRA, en augmentant le poids des échantillons sous-synergisés et en diminuant celui des échantillons de "raccourci linguistique".

4. Résultats expérimentaux

4.1. Analyse Vision-Langage

À travers 20 modèles et 6 benchmarks, la PID a révélé deux régimes distincts :

• Dominance de la Synergie : Des benchmarks comme MMBench, MMStar et POPE (ancrage) présentent une forte $S_{vl}$ et une forte dépendance à l'entrée visuelle.
• Dominance du Prior Textuel : Des benchmarks comme MMMU, PMC-VQA et Reefknot présentent une forte $U_{txt}$ et sont largement insensibles à la suppression visuelle.
• Familles de modèles : Les familles Qwen, InternVL3 et LLaVA-OV ont tendance à être dépendantes de la modalité conjointe, tandis que Gemma3 et Cambrian sont dépendantes du prior linguistique. Le passage à l'échelle amplifie ces profils existants plutôt que de les effacer.
• Prédiction : $S_{vl}$ est fortement corrélé à la précision et à la sensibilité à la suppression de la vision sur les tâches pilotées par la synergie ($\rho \geq 0.798$), tandis que $U_{txt}$ est plus informatif sur les tâches dominées par les priors.

4.2. Analyse Omni-modale

Sur le benchmark MUSIC-AVQA (spécifiquement le sous-ensemble AV-Fusion) :

• Goulot d'étranglement de la synergie sensorielle : Malgré des tâches conçues pour le raisonnement conjoint, $S_{av}$ reste une composante mineure. Les décisions sont dominées par l'information unimodale, particulièrement visuelle ($U_{vis} > U_{aud}$).
• Hégémonie visuelle : La validation fonctionnelle via le mélange d'échantillons a confirmé que les modèles souffrent de baisses de performance plus importantes lors d'un désalignement visuel que lors d'un désalignement audio.
• Porte de commande par instruction : L'analyse par couche a montré que les prompts linguistiques agissent comme des signaux de contrôle ; l'affaiblissement des instructions exigeant la fusion atténue considérablement la synergie sensorielle des couches tardives.

4.3. Repondération guidée par la PID

Application des scores de diagnostic locaux au fine-tuning LoRA sur Qwen2.5-VL-7B :

• Gains de performance : La repondération guidée par la PID a amélioré les performances de raisonnement et d'ancrage (ex: +2.3 sur MMStar, +1.3 sur POPE) par rapport au fine-tuning uniforme et aux bases (aléatoire, basée sur la précision, basée sur l'ablation).
• Changement de profil : Les diagnostics post-tuning ont montré un glissement vers une synergie plus élevée (la part de $S_{vl}$ est passée de 67.5% à 73.9%) et une moindre dépendance au texte unique, confirmant la capacité de la méthode à orienter le comportement du modèle.

5. Signification et affirmations

L'article positionne la PID non pas simplement comme un outil d'interprétabilité post-hoc, mais comme un signal pratique pour diagnostiquer et guider la fusion multimodale.

• Au-delà de la précision : Les auteurs affirment que l'information mutuelle totale suit la performance globale mais échoue à capturer la sensibilité aux interventions ; la décomposition PID est nécessaire pour comprendre comment l'information est utilisée.
• Aperçu mécaniste : Les conclusions suggèrent que les modèles omni-modaux actuels souffrent d'un mode de calcul "priorité visuelle" où l'intégration inter-sensorielle est retardée et pilotée par les instructions linguistiques, plutôt que d'être une caractéristique persistante des représentations intermédiaires.
• Actionnabilité : L'étude fournit une première preuve que les scores de diagnostic locaux peuvent servir de signaux actionnables pour renforcer la fusion multimodale, offrant une voie pour améliorer le raisonnement et l'ancrage sans réentraînement complet du modèle.

Les auteurs restent modestes, notant que leur approche de repondération est une preuve de concept et que la PID mesure la dépendance statistique plutôt que les mécanismes causaux. Ils reconnaissent les limites concernant l'espace de décision discret (choix multiples) et l'approximation des conditionnelles unimodales via le masquage.