MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks

Cet article présente MCIF, le premier benchmark humain multilingue et multimodal basé sur des conférences scientifiques, conçu pour évaluer les capacités des grands modèles de langage multimodaux à suivre des instructions en croisant les langues, les modalités (texte, parole, vision) et la complexité des tâches.

L'essentiel

🎤 MCIF : Le Grand Concours des Super-Héros Polyglottes

Imaginez que vous êtes le directeur d'une école très spéciale. Dans cette école, vous ne formez pas des humains, mais des Intelligences Artificielles (IA) surpuissantes. Ces IA sont comme des super-héros capables de lire, d'écouter et de voir. On les appelle les LLM multimodaux.

Le problème ? Jusqu'à présent, on ne savait pas vraiment si ces super-héros étaient vraiment forts. Les examens qu'on leur faisait passer étaient trop faciles, trop courts, et souvent dans une seule langue (l'anglais). C'était un peu comme demander à un nageur olympique de faire une brasse de 5 mètres dans une petite piscine pour enfants, et de dire "Bravo, il est champion du monde !".

C'est là qu'intervient MCIF, le nouveau "Grand Concours" créé par les chercheurs de cette étude.

🏗️ La Construction du Stade (Le Benchmark)

Pour créer ce concours, les chercheurs ont construit un terrain de jeu unique, basé sur des conférences scientifiques réelles (des gens qui parlent de technologie devant un public).

Voici les règles du jeu, expliquées simplement :

1. Le Format "Tout-en-un" (Multimodal) :
   Imaginez que vous devez résumer un film. Vous pouvez le faire en :

   • Regardant juste les images (Vision 🎬).
   • Écoutant juste la bande-son (Audio 🗣️).
   • Ou en ayant les deux ensemble (Audio + Vidéo).
     MCIF teste les IA sur tous ces cas. C'est comme si on demandait à un détective de résoudre un crime en n'ayant que des photos, puis seulement des enregistrements, puis les deux.

2. Le Défi des Langues (Crosslingual) :
   Le concours se déroule dans 4 langues : l'anglais, l'allemand, l'italien et le chinois.

   • Le défi : L'IA doit écouter un discours en anglais, mais répondre à une question en chinois. C'est comme si un traducteur devait écouter une chanson italienne et écrire un résumé en japonais, sans jamais avoir vu le texte écrit !

3. La Longueur du Film (Court vs Long) :
   La plupart des examens précédents utilisaient des clips de 10 secondes. MCIF utilise des conférences entières (parfois 10 heures de contenu !).

   • L'analogie : C'est la différence entre demander à un élève de résumer une phrase ("Le chat est noir") et lui demander de résumer un roman de 500 pages tout en se souvenant du début, du milieu et de la fin.

4. Les Épreuves (Les Tâches) :
   Les IA doivent passer 4 types d'épreuves principales :

   • Reconnaissance : Écouter et écrire ce qui est dit (comme un sténographe).
   • Traduction : Traduire le discours dans une autre langue.
   • Questions/Réponses : Répondre à des questions précises sur le contenu (ex: "Qui est l'auteur ?", "Quelle est la conclusion ?").
   • Résumé : Faire un résumé court et précis.

📊 Les Résultats : Qui a gagné ?

Les chercheurs ont fait passer ces épreuves à 23 IA différentes (des modèles de Google, Microsoft, Alibaba, etc.). Voici ce qu'ils ont découvert, avec des analogies simples :

• Le Résumé est le cauchemar : C'est l'épreuve la plus difficile. Beaucoup d'IA, même les plus avancées, échouent lamentablement. Elles oublient la moitié du contenu, inventent des faits (hallucinations) ou répondent dans la mauvaise langue. C'est comme si un étudiant lisait un livre, puis vous racontait l'histoire en parlant d'un autre livre qu'il a lu l'année dernière.
• Le "Long" est trop long : Dès que le texte ou la vidéo devient très long, les IA perdent le fil. Elles commencent bien, mais vers la fin, elles oublient tout ce qui s'est passé au début. C'est comme essayer de retenir une conversation de 2 heures sans prendre de notes.
• Le mélange Vidéo + Audio ne fonctionne pas toujours : On pensait que donner à l'IA à la fois l'image et le son l'aiderait. En réalité, pour beaucoup de modèles, cela les embrouille plus qu'autre chose. C'est comme si un cuisinier essayait de cuisiner en écoutant de la musique forte et en regardant un film d'horreur en même temps : il se trompe de recette !
• Les IA sont fragiles : Si on change un tout petit peu la façon de poser la question (par exemple, dire "Résume-moi ça" au lieu de "Fais un résumé"), certaines IA s'effondrent complètement. Elles manquent de robustesse.

💡 La Conclusion du Film

Ce papier nous dit une chose importante : nos super-héros IA sont encore des apprentis.

Ils sont très forts pour des tâches simples et courtes, mais ils peinent encore à comprendre le monde réel, qui est complexe, long, multilingue et rempli de bruits et d'images.

Le but de ce concours (MCIF) est de fournir une carte au trésor pour les chercheurs. En montrant exactement où les IA échouent (par exemple : "Ah, elles oublient toujours le début des longs discours"), cela aide les ingénieurs à construire les prochaines générations d'IA qui seront vraiment capables de nous aider, peu importe la langue ou la longueur du document.

En résumé : MCIF, c'est le premier examen de "réalité" pour les IA. Et pour l'instant, la moyenne est encore basse, mais c'est un excellent point de départ pour les améliorer ! 🚀

Résumé technique

1. Problématique et Contexte

Les modèles de langage multimodaux (MLLM) évoluent rapidement vers la capacité de suivre des instructions complexes intégrant le texte, la parole et la vision. Cependant, l'évaluation actuelle de ces modèles présente plusieurs lacunes critiques :

• Limites linguistiques : La plupart des benchmarks se concentrent sur l'anglais, négligeant les capacités multilingues et crosslingual (traitement d'une entrée dans une langue et d'une instruction dans une autre).
• Limites modales : Les benchmarks existants traitent souvent les modalités (texte, audio, vidéo) de manière isolée ou se limitent à des paires bimodales (ex: texte-image), sans évaluer l'intégration simultanée de la parole et de la vidéo.
• Limites de contexte : Ils privilégient les entrées de courte durée, omettant d'évaluer la capacité des modèles à gérer des dépendances à long terme (long-form), essentielles pour des tâches comme la synthèse de conférences.
• Qualité des données : De nombreux benchmarks reposent sur des données synthétiques ou manquent d'annotations humaines de haute qualité, ce qui fausse l'évaluation de la fiabilité des modèles.

Il existe donc un besoin urgent d'un benchmark unifié, humainement annoté, couvrant simultanément plusieurs langues, modalités et longueurs de contexte pour évaluer véritablement les capacités de suivi d'instructions des MLLM.

2. Méthodologie : Le Benchmark MCIF

Les auteurs introduisent MCIF, le premier benchmark d'évaluation du suivi d'instructions (Instruction Following - IF) multimodal et multilingue, basé sur des conférences scientifiques (domaine NLP et au-delà).

A. Construction des Données

• Source : 100 vidéos de présentations scientifiques (issues de la conférence ACL 2023), sélectionnées pour leur diversité d'accents, de conditions d'enregistrement et de sujets.
• Modalités : Chaque échantillon contient trois modalités alignées : Texte (transcription), Parole (audio) et Vidéo (présentation avec diapositives).
• Langues : Quatre langues typologiquement diverses : Anglais (source), Allemand, Italien et Chinois.
• Longueur de contexte : Le benchmark inclut à la fois des extraits courts (segments d'environ 16 secondes) et des contextes longs (conférences complètes, jusqu'à 10 heures de contenu total).
• Annotation humaine :
  • Transcriptions et traductions professionnelles de haute qualité.
  • 220 paires Question-Réponse (QA) créées par des experts, classées par type de source (générale, basée sur le résumé, basée sur la transcription) et par modalité nécessaire pour répondre (Audio, Vidéo, Audio+Vidéo, ou Non-répondable).
  • Résumés (abstracts) utilisés comme référence pour la tâche de synthèse.

B. Tâches et Design

MCIF couvre 13 tâches regroupées en 4 macro-tâches :

1. Reconnaissance : ASR (Reconnaissance automatique de la parole), AVR (Reconnaissance Audio-Vidéo).
2. Traduction : MT (Texte), ST (Parole), AVT (Audio-Vidéo).
3. Réponse aux Questions (QA) : TQA, SQA, VQA, AVQA.
4. Résumé : TSUM, SSUM, VSUM, AVSUM.

Le benchmark propose deux variantes de prompts pour tester la robustesse :

• MCIFfix : Un prompt fixe par tâche.
• MCIFmix : Un échantillonnage aléatoire parmi 10 formulations différentes pour chaque tâche, évaluant la généralisation du modèle aux variations de langage naturel.

3. Contributions Clés

1. Premier Benchmark Holistique : MCIF est le premier benchmark à évaluer simultanément les capacités crosslingual et multimodales (texte, parole, vidéo) sur des entrées courtes et longues, avec des annotations humaines expertes.
2. Alignement Parallèle : Chaque échantillon est parfaitement aligné sur les 4 langues et les 3 modalités, permettant des études d'ablation rigoureuses sur l'apport de chaque modalité.
3. Évaluation de la Robustesse : La comparaison entre MCIFfix et MCIFmix permet de mesurer la sensibilité des modèles à la reformulation des instructions.
4. Analyse des Échecs : Le papier fournit une analyse détaillée des échecs des modèles (hallucinations, refus de répondre, erreurs de langue, perte d'information sur les longs contextes).

4. Résultats Expérimentaux

Les auteurs ont évalué 23 modèles d'état de l'art (7 LLM, 5 SpeechLLM, 5 VideoLLM, 6 MLLM, dont Gemini 2.5 Flash).

Principales Observations :

• Synthèse (Summarization) : C'est la tâche la plus difficile. De nombreux modèles obtiennent des scores négatifs (pire qu'une réponse aléatoire). Les modèles peinent à résumer des contenus longs et multimodaux, souvent en ignorant l'instruction ou en produisant des transcriptions de diapositives au lieu de résumés.
• Intégration Multimodale : L'ajout de la vidéo à la parole n'améliore pas systématiquement les performances. Dans de nombreux cas (notamment pour la reconnaissance et la synthèse), la combinaison des modalités dégrade les résultats par rapport à l'utilisation d'une seule modalité, indiquant une difficulté à fusionner efficacement les signaux.
• Contexte Long : La performance chute drastiquement sur les entrées longues pour la plupart des modèles, en particulier pour les SpeechLLM et VideoLLM. Les modèles souffrent de "sous-génération" (ils s'arrêtent avant la fin du contenu).
• Réponse aux Questions (QA) : C'est la tâche où les modalités non-textuelles apportent le plus de valeur. Les modèles MLLM excèlent ici par rapport aux LLM purement textuels, bien qu'ils peinent encore à intégrer parfaitement les indices visuels et auditifs simultanément.
• Traduction : Les LLM dominent cette tâche grâce à la maturité de la traduction textuelle. Les modèles multimodaux peinent souvent à ne pas "halluciner" ou à omettre des parties du contexte lors de la traduction de parole/vidéo.
• Robustesse aux Prompts : La plupart des modèles montrent une faible robustesse face aux variations de formulation des prompts (MCIFmix), avec des fluctuations significatives de performance (jusqu'à 60 WER pour la reconnaissance).

Modèles Performants : Gemini 2.5 Flash se distingue comme le modèle le plus robuste, performant sur les contextes longs et les tâches complexes, bien qu'il présente des problèmes d'hallucination sur des segments courts.

5. Signification et Perspectives

Ce travail met en lumière l'écart important entre les capacités actuelles des MLLM et l'objectif d'un système de suivi d'instructions généraliste, robuste et multilingue.

• Défis Futurs : Les résultats indiquent la nécessité d'améliorer la fusion multimodale (pour éviter la dégradation des performances), de développer des mécanismes de compression de séquence pour gérer les longs contextes, et d'entraîner les modèles à être plus robustes aux variations de prompts.
• Impact : MCIF fournit un cadre d'évaluation complet et une base de données ouverte (sous licence CC-BY 4.0) pour guider le développement futur des systèmes d'IA multimodale, en particulier dans des domaines spécialisés comme la science et la recherche.

En conclusion, MCIF révèle que si les progrès sont notables, les modèles actuels échouent encore à intégrer de manière cohérente la parole, la vidéo et le texte sur de longues durées dans un cadre multilingue, ouvrant la voie à de nouvelles recherches en ingénierie de prompts, alignement d'embeddings et optimisation de préférences.