Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

Cette étude révèle que les modèles de langage multimodaux actuels éprouvent des difficultés significatives à composer des compétences entre différentes modalités, et que ni le prompting par chaîne de pensée ni un affinage spécifique ne parviennent à combler entièrement cet écart.

L'essentiel

🧠 Le Dilemme des "Super-Héros" Multimodaux

Imaginez que vous avez créé un super-héros nommé MLLM (Modèle de Langage Multimodal Géant). Ce héros est formé de deux parties distinctes :

1. Un cerveau de texte (très fort en logique, en mathématiques et en raisonnement).
2. Des yeux d'aigle (très forts pour voir, reconnaître des objets et lire des textes sur des images).

L'idée était que ce héros pourrait combiner ses deux pouvoirs pour résoudre n'importe quel problème complexe. Par exemple : "Regarde cette image de cartes à jouer, lis les chiffres, et calcule la somme."

Mais les chercheurs de l'Université du Pays Basque ont découvert quelque chose de surprenant : ce héros est un peu comme un chef d'orchestre qui a perdu ses baguettes. Même si chaque musicien (les yeux et le cerveau) est excellent individuellement, ils ne parviennent pas à jouer ensemble harmonieusement.

🎭 Les Trois Épreuves (Les Expériences)

Pour tester ce héros, les chercheurs ont créé trois épreuves simples, que n'importe quel humain ferait sans réfléchir :

1. Le Défi du Texte Caché : On montre au héros une image contenant un problème de mathématiques écrit (comme "7 + 5 = ?").
   • Le pouvoir requis : Lire l'image (OCR) + Faire le calcul.
2. Le Défi du Comptage : On montre une image remplie d'oranges.
   • Le pouvoir requis : Repérer les oranges (Vision) + Les compter (Logique).
3. Le Défi du Poker : On montre une image de quatre cartes.
   • Le pouvoir requis : Reconnaître les cartes (Vision) + Appliquer des règles de calcul complexes (Logique).

📉 Le Problème : Le "Fossé de la Composition"

Les chercheurs ont comparé deux façons de jouer :

• La méthode directe : On demande au héros : "Résous ça !" (Il utilise ses yeux et son cerveau en même temps, mais en mode automatique).
• La méthode en cascade (le "tuyau") : On force le héros à faire les choses étape par étape.
  1. Étape 1 : "Regarde l'image et dis-moi ce que tu vois." (Il utilise juste ses yeux).
  2. Étape 2 : "Maintenant, prends ce que tu as vu et fais le calcul." (Il utilise juste son cerveau).

Le résultat est sans appel :
Dans la méthode "tuyau" (étape par étape), le héros réussit très bien. Mais dans la méthode "directe", il échoue souvent, même pour des tâches simples.

C'est comme si vous demandiez à un cuisinier de faire un gâteau.

• Si vous lui dites : "Mélange la farine, puis les œufs, puis le sucre", il réussit.
• Si vous lui dites juste : "Fais un gâteau !" sans lui donner les étapes, il risque de mettre le sucre avant la farine, ou d'oublier les œufs, parce qu'il ne sait pas combiner les gestes correctement.

Ce manque de coordination s'appelle le "fossé de la composition des compétences". Le modèle possède les compétences, mais il ne sait pas les assembler de manière optimale.

🛠️ Les Tentatives de Réparation

Les chercheurs ont essayé deux remèdes pour aider le héros à mieux se coordonner :

1. Le "Guide de Pensée" (Chain-of-Thought) :
   C'est comme donner un mode d'emploi au héros : "D'abord, lis l'image. Ensuite, écris ce que tu as lu. Enfin, fais le calcul."

   • Résultat : Ça aide un peu, le héros fait moins d'erreurs. Mais c'est fastidieux : il faut inventer un nouveau mode d'emploi pour chaque nouveau jeu. Ce n'est pas une solution magique universelle.

2. L'Entraînement Spécial (Fine-tuning) :
   On a pris le héros et on l'a fait réviser spécifiquement pour apprendre à combiner les étapes.

   • Résultat : Ça s'améliore, surtout si on l'entraîne sur le même type de problème qu'on lui pose ensuite. Mais dès qu'on change un peu le jeu, le fossé réapparaît. Le héros n'a pas vraiment appris à penser en combinant ses pouvoirs, il a juste appris à répéter des exercices.

💡 La Conclusion en une phrase

Même les modèles d'intelligence artificielle les plus avancés d'aujourd'hui ont du mal à combiner naturellement ce qu'ils voient et ce qu'ils pensent. Ils sont comme des athlètes qui sont excellents en course et en saut individuellement, mais qui trébuchent dès qu'on leur demande de faire un saut en courant.

Il reste encore beaucoup de travail à faire pour que ces intelligences artificielles deviennent de véritables "super-héros" capables de penser de manière fluide et intégrée, comme nous le faisons nous-mêmes.

Résumé technique

1. Problématique et Contexte

Les grands modèles de langage multimodaux (MLLM) ont démontré des capacités croissantes pour résoudre des tâches complexes en combinant des entrées visuelles et textuelles. Cependant, la manière dont ces modèles intègrent et combinent leurs compétences acquises (skills) lors de l'entraînement reste mal comprise.

L'article pose la question centrale : Les MLLM peuvent-ils composer efficacement des compétences acquises séparément (une compétence visuelle et une compétence textuelle) pour résoudre de nouvelles tâches ?

Les auteurs postulent que, bien que les modèles soient entraînés sur des tâches spécifiques (ex: OCR, raisonnement mathématique, détection d'objets), ils peinent à combiner ces compétences de manière fluide et optimale lorsqu'ils sont confrontés à une tâche nécessitant une séquence de compétences hétérogènes (visuel + texte), même si cette combinaison semble triviale pour un humain.

2. Méthodologie

A. Définition des Compétences et des Tâches

Les auteurs définissent une compétence comme une capacité acquise par le modèle durant l'entraînement (ex: OCR, détection d'objets, raisonnement logique). Ils distinguent les compétences visuelles (traitement d'image) des compétences textuelles (raisonnement sur le texte).

Pour évaluer la capacité de composition, ils conçoivent trois tâches spécifiques, chacune résoluble par la composition séquentielle d'une compétence visuelle et d'une compétence textuelle :

1. Raisonnement sur du texte rendu (Task 1) : Combinaison de l'OCR (reconnaissance de texte dans une image) et du raisonnement textuel (mathématiques, connaissances générales). Les questions sont présentées sous forme d'images.
2. Comptage d'objets (Task 2) : Combinaison de la détection d'objets (visuel) et du comptage (textuel). Le modèle doit compter le nombre d'occurrences d'un objet spécifique dans une image.
3. Jeu de cartes (Task 3) : Combinaison de la reconnaissance d'images (identifier les cartes, couleurs, enseignes) et du raisonnement numérique (calculer des sommes ou ordonner les cartes selon des règles complexes).

B. Protocole d'Évaluation : Le "Gap de Composition"

Pour mesurer l'incapacité des modèles à composer ces compétences, les auteurs comparent deux modes d'inférence :

1. Inférence Directe (Direct Inference) : Le modèle reçoit l'image et la question finale en une seule étape. C'est la performance "naturelle" du modèle.
2. Inférence Cascadée (Cascaded Inference) : Une approche en deux étapes qui force manuellement la composition des compétences :
   • Étape 1 : Le modèle utilise sa compétence visuelle pour extraire les informations intermédiaires (ex: texte OCR, liste d'objets détectés).
   • Étape 2 : Le modèle utilise sa compétence textuelle sur le résultat de l'étape 1 pour répondre à la question finale.
   • Note : Une inférence "Oracle" est également utilisée comme borne supérieure, où l'étape visuelle est fournie par des données parfaites (gold standard).

Le "Gap de composition de compétences" est défini comme la différence de performance entre l'inférence cascadée et l'inférence directe. Si le modèle performe mieux en cascadé, cela signifie qu'il ne parvient pas à orchestrer ses compétences internes de manière optimale en mode direct.

C. Modèles et Données

L'étude porte sur plusieurs modèles open-source populaires (LLaVA, Llama 3.2, Molmo, Qwen2.5-VL) pour garantir la transparence des données d'entraînement. Les benchmarks utilisés incluent GSM8K, MATH, ARC, MMLU, CV-Bench et un nouveau dataset créé par les auteurs : COCO-Count.

3. Résultats Clés

A. Existence d'un Gap Significatif

Les résultats montrent que tous les modèles évalués (à l'exception notable de Qwen2.5-VL-72B sur certaines tâches) présentent un écart significatif entre l'inférence directe et l'inférence cascadée.

• Task 1 (OCR + Raisonnement) : Les modèles comme LLaVA 1.6-Vicuna-13B montrent un écart de performance allant jusqu'à 22 points. Même les modèles performants comme Qwen2.5-VL-72B montrent un petit écart (0,39 point), indiquant que la composition n'est jamais parfaitement optimale.
• Task 2 (Détection + Comptage) : Les modèles Qwen2.5-VL présentent un gap clair, tandis que Molmo ne montre pas de gap, mais uniquement parce que ses compétences individuelles (détection et comptage) sont faibles, ce qui empêche toute mesure de composition efficace.
• Task 3 (Cartes) : Un gap important est observé pour tous les modèles, même ceux qui réussissent bien les tâches individuelles.

B. Analyse des Causes

L'analyse révèle que la dégradation de performance en inférence directe ne provient pas seulement d'une erreur de raisonnement, mais souvent d'une erreur de perception visuelle (ex: mauvaise reconnaissance OCR ou d'objets) qui se propage au raisonnement. L'inférence cascadée, en isolant les étapes, permet de mieux évaluer la capacité de raisonnement une fois les données visuelles correctes.

4. Stratégies d'Atténuation

Les auteurs testent deux approches pour réduire ce gap :

1. Prompting Chain-of-Thought (CoT) Spécifique :

   • Méthode : Instruction explicite au modèle de décomposer la tâche (ex: "D'abord, extrais le texte, puis raisonne").
   • Résultat : Améliore les performances par rapport à l'inférence directe pour la plupart des modèles, mais reste inférieur à l'inférence cascadée.
   • Limite : Manque d'évolutivité (scalabilité). Chaque tâche nécessite un prompt manuel spécifique, et l'efficacité varie selon le modèle.

2. Fine-Tuning (Ajustement Fin) :

   • Méthode : Entraînement du modèle (Llama 3.2 11B) sur des données où les entrées visuelles sont appariées aux solutions de raisonnement textuel générées par le modèle lui-même (pour éviter le biais de raisonnement).
   • Résultat : Le fine-tuning améliore les performances et montre une certaine généralisation à d'autres tâches. Cependant, le gap de composition n'est jamais totalement comblé sauf si l'entraînement et l'évaluation se font sur le même dataset.

5. Contributions et Signification

Contributions principales :

• Mise en évidence d'un défaut fondamental : Démonstration empirique que les MLLM actuels ne composent pas de manière optimale leurs compétences visuelles et textuelles, même pour des tâches simples.
• Nouvelle méthodologie d'évaluation : Introduction d'une approche comparative (Direct vs Cascadé) pour isoler et mesurer le "gap de composition" spécifique aux modalités croisées.
• Création de benchmarks : Développement de datasets spécifiques (COCO-Count, jeux de cartes) pour tester ces compétences composées.
• Analyse des stratégies d'atténuation : Évaluation critique du CoT et du fine-tuning, montrant qu'ils ne suffisent pas à résoudre le problème de fond.

Signification :
Ce travail remet en question l'hypothèse selon laquelle les MLLM sont des agents unifiés capables de raisonner de manière fluide sur toutes les modalités. Il suggère que l'architecture actuelle (souvent basée sur une fusion tardive) crée des silos de compétences qui ne s'articulent pas naturellement. Cela ouvre la voie à de nouvelles recherches sur :

• Les mécanismes d'architecture nécessaires pour une composition de compétences native.
• Des méthodes d'entraînement plus robustes pour la généralisation cross-modale.
• La nécessité de ne pas surestimer les capacités de raisonnement des MLLM basées uniquement sur des performances en inférence directe.

En conclusion, l'article conclut que malgré les progrès récents, les MLLM ont encore du mal à orchestrer leurs capacités multimodales de manière aussi efficace qu'un humain, et que des approches d'entraînement et d'architecture plus profondes sont nécessaires.