Résumé technique : Évaluation et pilotage des préférences de modalité dans les LLM multi-modaux

Problématique

Les modèles de langage multi-modaux (MLLM) ont démontré des capacités exceptionnelles pour traiter des données hétérogènes (texte, images, vidéo). Cependant, une lacune critique subsiste dans la compréhension de savoir si ces modèles présentent une préférence de modalité — une tendance systématique à favoriser une modalité par rapport à une autre lorsqu'ils traitent des contextes multi-modaux conflictuels. Les méthodes d'évaluation existantes isolent souvent les modalités (par exemple, en testant uniquement le texte ou uniquement l'image) ou s'appuient sur les valeurs de Shapley, qui ne parviennent pas à refléter les scénarios réalistes où les modalités coexistent et entrent potentiellement en conflit. De plus, il n'est pas clair si ces préférences intrinsèques sont contrôlables ou si elles sont corrélées à la performance des tâches en aval.

Méthodologie

1. Le benchmark MC2

Pour évaluer rigoureusement la préférence de modalité, les auteurs introduisent MC2 (Modality Context Conflict), un benchmark conçu pour créer des scénarios contrôlés de conflit d'évidence.

• Construction des données : Le jeu de données comprend 2 000 échantillons répartis sur huit tâches (ex: comptage, reconnaissance d'attributs, analyse de sentiment). Il est dérivé de TDIUC et MS-COCO.
• Mécanisme de conflit : Pour chaque échantillon, un contexte visuel ($c_v$) et un contexte textuel ($c_t$) sont construits pour fournir des preuves contradictoires concernant une question spécifique ($q$).
• Validation : Le pipeline de construction garantit que les modèles peuvent comprendre précisément les deux modalités de manière isolée (atteignant une précision >95 % sur les tests à modalité unique) avant d'être testés sur le conflit. Cela élimine les facteurs de confusion tels qu'une mauvaise reconnaissance visuelle ou un biais de connaissance interne.
• Annotation : Un cadre semi-automatisé utilisant des LLM (DeepSeekV3, GPT-4o-mini) génère des réponses distractrices et du texte conflictuel, suivi d'une vérification humaine pour garantir l'incohérence sémantique entre les modalités.

2. Métrique d'évaluation : Ratio de vision (Vision Ratio)

Les auteurs définissent le Vision Ratio pour quantifier la préférence :
$$\text{Vision Ratio} = \frac{S_{\text{vision}}}{S_{\text{vision}} + S_{\text{text}}}$$
Où $S$ représente la proportion d'échantillons où la réponse du modèle s'aligne respectivement avec le contexte visuel ou textuel. Un ratio > 0,5 indique une préférence pour la vision ; < 0,5 indique une préférence pour le texte.

3. Analyse des facteurs déterminants

L'étude examine les facteurs qui pilotent ces préférences :

• Motifs d'attention : Les auteurs corrèlent le Vision Ratio avec le Ratio d'attention (attention visuelle vs attention totale), constatant qu'une distribution inégale de l'attention pilote la préférence.
• Échelle et entraînement : Les expériences montrent que les modèles plus larges présentent généralement des préférences visuelles plus marquées. De plus, le fine-tuning avec des données de conflit multi-modal déplace les préférences, suggérant que l'exposition à des contextes conflictuels durant l'entraînement influence ces biais.

4. Ingénierie de représentation pour le pilotage (Steering)

Sur la base de la découverte que la préférence de modalité est encodée dans les représentations latentes, les auteurs proposent une méthode de pilotage sans entraînement :

• Sondage (Probing) : Le modèle est interrogé avec des instructions pour prioriser soit la vision, soit le texte. La différence entre les états cachés ($x^t_{i,\ell} - x^v_{i,\ell}$) au dernier jeton à travers les couches est calculée pour identifier le vecteur de direction de préférence de modalité ($u^\ell_t$).
• Sélection de la couche : L'analyse révèle que les couches 20 à 23 (dans des modèles comme Qwen2.5VL) présentent les signaux de préférence les plus stables et significatifs.
• Pilotage (Steering) : Lors de l'inférence, un vecteur de pilotage mis à l'échelle ($s^\ell = w \cdot u^\ell$) est ajouté aux états cachés à la couche sélectionnée. Le poids $w$ est calculé pour aligner la moyenne de la direction sondée avec la distribution originale, garantissant que l'intervention est efficace sans perturber les capacités linguistiques.

Résultats clés

Préférences de modalité dans les MLLM

• Prévalence : Les 20 MLLM testés présentent des préférences de modalité claires.
• Biais textuel : La plupart des modèles (ex: LLaVA1.5-7B) montrent une forte préférence pour le texte (Vision Ratio ~13,4 %), ce qui corrobore l'hypothèse du "prior linguistique".
• Préférence visuelle : Des modèles comme Qwen2.5VL et InternVL3 montrent une préférence visuelle plus forte, qui augmente avec l'échelle du modèle.
• Corrélation : Il existe une forte corrélation positive ($\rho = 0,964$) entre le Vision Ratio et la performance de compréhension visuelle sur des benchmarks en aval (ex: MathVista, TallyQA), suggérant que la préférence est un indicateur fiable de la capacité.

Efficacité du pilotage

La méthode d'ingénierie de représentation proposée parvient à piloter les modèles vers une modalité souhaitée sans fine-tuning :

• Performance sur MC2 : La méthode surpasse les bases de référence (Zero-shot, Design d'instruction, Chain-of-Thought, Few-shot) pour ajuster le Vision Ratio. Par exemple, piloter Qwen2.5VL-7B vers le texte a augmenté son score d'alignement textuel de 35,4 % à 63,6 %.
• Tâches en aval :
  • Raisonnement : Amélioration de la précision sur MathVista (62,3 % contre 59,0 % pour la base) et TallyQA (76,6 % contre 74,4 %).
  • Atténuation des hallucinations : Sur le benchmark PhD (spécifiquement le sous-ensemble avec du texte trompeur), le pilotage vers la vision a considérablement réduit les hallucinations causées par un texte conflictuel.
  • Traduction : Sur AmbigCaps (traduction automatique multi-modale), le pilotage vers le texte a amélioré les scores BLEU en réduant la dépendance aux indices visuels fallacieux.

Mécanisme interne

L'analyse de l'attention confirme que la méthode de pilotage modifie avec succès la distribution de l'attention du modèle. Lorsqu'il est piloté vers le texte, le poids de l'attention sur les jetons textuels augmente de manière significative (ex: de ~55 % à ~83 %) tandis que l'attention visuelle diminue, validant que l'intervention opère au niveau de la représentation.

Signification et affirmations

L'article revendique trois contributions principales :

1. Cadre d'évaluation : L'introduction de MC2 fournit le premier benchmark contrôlé et à grande échelle pour évaluer systématiquement la préférence de modalité dans les MLLM, en découplant la préférence des capacités de compréhension.
2. Aperçu de l'espace latent : L'étude révèle que les préférences de modalité sont pilotables et identifiables au sein des représentations latentes des MLLM, offrant une nouvelle perspective sur les mécanismes de raisonnement multi-modaux.
3. Contrôle sans entraînement : La méthode de sondage et de pilotage permet un ajustement explicite et contrôlable de la préférence de modalité sans données supplémentaires ni fine-tuning. Cela améliore la performance sur les tâches en aval où la dépendance à une modalité spécifique est critique (ex: éviter les hallucinations induites par le texte lors du raisonnement visuel).

Les auteurs concluent que comprendre et contrôler la préférence de modalité est essentiel pour développer des systèmes multi-modaux plus fiables et robustes, particulièrement dans des scénarios où des informations conflictuelles sont présentes.