Why Multimodal In-Context Learning Lags Behind? Unveiling the Inner Mechanisms and Bottlenecks

1. Problématique

L'apprentissage en contexte (In-Context Learning ou ICL) permet aux grands modèles de langage (LLM) de s'adapter à de nouvelles tâches lors de l'inférence en utilisant quelques exemples (démonstrations), sans mise à jour des paramètres. Bien que ce paradigme ait connu un grand succès dans les modèles textuels, son extension aux Modèles de Langage Multimodaux (MLLM) reste mal comprise.

Les auteurs constatent un paradoxe : bien que les performances en zero-shot (sans démonstration) soient comparables entre les modes texte seul et multimodal, les performances en few-shot (avec démonstrations) se dégradent considérablement dans le contexte multimodal. L'objectif de l'article est d'identifier les mécanismes internes responsables de cet écart et de comprendre pourquoi les MLLM échouent à exploiter efficacement les démonstrations multimodales par rapport aux démonstrations purement textuelles.

2. Méthodologie

Les auteurs proposent un cadre d'analyse systématique décomposant l'ICL multimodal en deux étapes distinctes :

1. Construction de la carte de tâche (Task Mapping Construction) : Le modèle apprend et construit la relation entre les questions et les réponses à partir des démonstrations.
2. Transfert de la carte de tâche (Task Mapping Transfer) : Le modèle applique cette relation apprise aux exemples de requête (query) pour faire une prédiction finale.

Expériences et Données :

• Tâche contrôlée : Ils ont conçu une tâche de détection d'anomalies (Outlier Detection) où le modèle doit identifier un élément minoritaire (par forme ou couleur) dans une série d'images ou de phrases. Cette tâche est présentée sous deux formats identiques : texte seul et multimodal (image + texte).
• Modèles évalués : Qwen2.5-VL (7B, 32B) et Gemma-3 (12B, 27B).
• Analyse mécanistique :
  • Visualisation de l'attention : Analyse couche par couche des poids d'attention des tokens d'étiquette des démonstrations vers les régions de l'image.
  • Étude d'intervention causale : Utilisation d'une suppression d'attention uniforme (UAS) sur les tokens d'image pour vérifier si l'ancrage visuel est une condition nécessaire à la performance.
  • Mesure de transfert : Analyse de l'attention du dernier token de la requête vers les étiquettes de démonstration et leurs régions visuelles ancrées.

3. Contributions Clés et Résultats

L'analyse révèle deux découvertes fondamentales expliquant l'échec de l'ICL multimodal :

A. Découverte 1 : La construction de la carte de tâche est réussie mais insuffisante

• Observation : Dans les couches intermédiaires du réseau, les modèles réussissent à ancrer les étiquettes des démonstrations aux régions visuelles correctes (ancrage visuel ou visual grounding).
• Nuance : Cet ancrage se produit même lorsque la prédiction finale sur la requête est incorrecte. Cela prouve que le modèle est capable de comprendre la tâche à partir des démonstrations, mais que cette compréhension ne suffit pas à garantir une prédiction correcte.
• Preuve causale : La suppression de l'attention vers les preuves visuelles dans les couches intermédiaires entraîne un effondrement des performances, confirmant que cet ancrage est causal pour l'apprentissage de la tâche.

B. Découverte 2 : Le goulot d'étranglement est le transfert (Désalignement Perception-Raisonnement)

• Le problème principal : Il existe un désalignement temporel et modal entre la construction de la tâche et son application.
  • Les cartes de tâche sont construites dans les couches intermédiaires.
  • Cependant, lors du raisonnement sur la requête, l'attention du token final vers ces démonstrations et leurs preuves visuelles n'augmente significativement que dans les couches tardives.
• Conséquence : À l'étape de décision finale (couches tardives), la représentation de la tâche construite précédemment n'est plus fiable ou accessible. Le modèle se base alors principalement sur des signaux perceptuels directs de l'image de la requête plutôt que sur la logique inférée des démonstrations.
• Conclusion : La construction de la carte de tâche et son transfert sont découplés à travers les différentes couches du modèle.

C. Solution proposée : Inférence guidée par la carte (Mapping-Guided Inference - MGI)

Pour pallier ce défaut, les auteurs proposent une méthode d'intervention légère au moment de l'inférence :

• Principe : Extraire la carte de tâche latente (les motifs d'attention optimaux) des couches intermédiaires des démonstrations.
• Action : Injecter dynamiquement cette carte dans le mécanisme d'attention de la requête dans les couches tardives. Cela force le token de la requête à « regarder » les mêmes régions visuelles que celles identifiées comme pertinentes dans les démonstrations.
• Résultats : Cette méthode améliore de manière significative et cohérente les performances sur plusieurs benchmarks (TrueMICL, OK-VQA) et différents modèles, comblant une partie de l'écart de performance entre l'ICL textuel et multimodal.

4. Signification et Implications

• Compréhension fondamentale : L'article démontre que l'échec de l'ICL multimodal ne vient pas d'une incapacité à apprendre la tâche, mais d'une rupture dans la propagation de l'information à travers les couches du modèle. Les MLLM actuels ne parviennent pas à maintenir un alignement stable entre la perception visuelle (couches intermédiaires) et le raisonnement textuel (couches tardives).
• Direction pour la recherche future : Pour améliorer les MLLM, il ne suffit pas d'ajouter plus de données d'entraînement. Il est nécessaire de concevoir des architectures ou des méthodes d'entraînement qui assurent la cohérence et la préservation de la structure de la tâche à travers toutes les couches du réseau, en particulier lors du transfert vers la phase de décision.
• Efficacité pratique : La méthode MGI montre qu'il est possible d'améliorer les capacités d'adaptation des modèles existants sans réentraînement coûteux, simplement en corrigeant le mécanisme d'attention à l'inférence.

En résumé, ce travail fournit une explication mécaniste précise de la faiblesse actuelle de l'ICL multimodal et propose une voie concrète pour surmonter le goulot d'étranglement du transfert d'information entre la perception et le raisonnement.