KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context

Ce papier présente KMMMU, une nouvelle référence native en coréen évaluant la compréhension multimodale dans des contextes culturels et institutionnels locaux, révélant des lacunes significatives des modèles actuels face aux conventions spécifiques et aux connaissances spécialisées.

L'essentiel

Imaginez que vous essayez de tester l'intelligence d'un super-ordinateur, un peu comme un élève brillant qui a lu tous les livres du monde. Jusqu'à présent, on lui a fait passer des examens en anglais, avec des questions sur la physique ou l'histoire universelle. Il s'en sort plutôt bien.

Mais voici le problème : ce super-ordinateur est comme un touriste qui ne parle que l'anglais et qui arrive en Corée du Sud. Il peut reconnaître un feu rouge ou un panneau de signalisation, mais il est complètement perdu face aux règles locales, aux blagues culturelles, aux lois spécifiques du pays ou aux détails techniques qui n'existent que dans ce contexte.

C'est exactement ce que l'article KMMMU vient révéler.

Voici l'explication de cette découverte, servie avec quelques analogies pour mieux comprendre :

1. Le Nouveau "Grand Oral" Coréen 🇰🇷

Les chercheurs ont créé un nouvel examen, le KMMMU. Ce n'est pas une simple traduction d'un test anglais. C'est un examen natif, conçu spécifiquement pour la Corée.

• L'analogie : Imaginez que vous passez un examen de conduite. Le test anglais vous demande : "Que faites-vous si vous voyez un panneau STOP ?". Le test coréen (KMMMU), lui, vous montre une photo complexe d'une rue de Séoul avec des panneaux spécifiques, des règles de circulation locales et des documents administratifs, et vous demande : "Quelle est la procédure exacte pour obtenir un permis de construire ici, selon la loi de 2024 ?".
• Le contenu : L'examen contient plus de 3 400 questions couvrant 9 domaines (ingénierie, droit, art, sciences, etc.) et utilise 9 types d'images (schémas, documents, photos, tableaux).

2. La Révélation : L'Intelligence Artificielle est "Perdue en Traduction" 🤖❌

Les chercheurs ont fait passer cet examen aux meilleurs modèles d'intelligence artificielle du monde (les "élèves" les plus intelligents).

• Le résultat : Même les modèles les plus puissants ont échoué lamentablement. Le meilleur modèle propriétaire (le "champion") a obtenu à peine 52 % de bonnes réponses sur les questions les plus difficiles. Les modèles open-source (gratuits) sont encore plus bas, autour de 42 %.
• L'analogie : C'est comme si un chef cuisinier étoilé, capable de préparer un repas parfait avec des ingrédients internationaux, se retrouvait dans une cuisine coréenne avec des ingrédients locaux spécifiques. Il sait cuisiner, mais il ne connaît pas les règles de ce restaurant précis. Il ne sait pas quel ingrédient correspond à quelle étiquette locale.

3. Pourquoi ça ne marche pas ? (Ce n'est pas un problème de "réflexion") 🧠

On pourrait penser que l'IA échoue parce qu'elle ne réfléchit pas assez. Mais l'analyse montre que ce n'est pas ça.

• Le vrai problème : L'IA a du mal à faire le lien entre une convention locale et la bonne étiquette.
  • Exemple : Une loi coréenne distingue deux types de véhicules avec des règles très précises. L'IA voit le véhicule, mais elle confond les deux catégories parce qu'elle ne connaît pas la "nuance culturelle" de la loi.
  • Autre exemple : Dans un dessin d'architecture, il faut identifier un style très spécifique. L'IA voit le dessin, mais elle ne connaît pas le nom technique exact utilisé par les architectes coréens.
• L'analogie : C'est comme si vous demandiez à quelqu'un de trouver une aiguille dans une botte de foin. L'IA trouve l'aiguille (elle voit l'image), mais elle ne sait pas que dans ce pays précis, cette aiguille s'appelle "Aiguille Magique" et non "Aiguille Ordinaire". Elle a la vision, mais pas le dictionnaire culturel.

4. Les Pièges Spécifiques 🎣

L'examen contient des questions "pièges" qui sont purement coréennes (lois administratives, orthographe spécifique, culture locale).

• Le constat : Sur ces questions, l'écart de performance est énorme (jusqu'à 13 % de moins). Les modèles qui sont excellents en mathématiques ou en physique (universels) échouent sur des questions de droit ou d'administration coréenne.
• L'analogie : C'est comme si un joueur d'échecs mondial (l'IA) jouait contre un expert des règles locales d'un jeu de société coréen. Il connaît toutes les stratégies d'échecs, mais il ne connaît pas les règles spéciales de ce jeu local. Il perd donc contre un joueur local moyen.

5. Pourquoi c'est important ? 🌍

Ce papier nous dit quelque chose de crucial pour l'avenir de l'IA :

• On ne peut pas juste traduire. Prendre un test américain, le traduire en coréen, et espérer que ça marche, c'est comme essayer de faire du sashimi avec du poisson de rivière. Ça ne fonctionne pas. Il faut créer des tests natifs.
• L'IA doit apprendre la "culture", pas juste les faits. Pour être vraiment utile dans le monde réel (dans un hôpital, un tribunal, une usine en Corée), l'IA doit comprendre les règles locales, les normes officielles et les subtilités culturelles.

En résumé

Le KMMMU est comme un révélateur de vérité. Il montre que nos intelligences artificielles actuelles sont de brillants généralistes, mais de piètres spécialistes locaux. Elles savent "voir" et "réfléchir", mais elles échouent quand il faut appliquer ces compétences aux règles précises et souvent invisibles d'une culture spécifique.

Pour que l'IA devienne vraiment utile partout dans le monde, elle ne doit pas seulement lire des livres en anglais ; elle doit apprendre à vivre, à comprendre et à respecter les règles de chaque pays où elle opère.

Résumé technique

Titre : KMMMU : Évaluation de la compréhension multimodale massive multi-disciplinaire en contexte et langue coréenne

1. Problématique

Les modèles de langage multimodaux (MLLM) actuels montrent des performances impressionnantes sur des tâches de reconnaissance visuelle et de compréhension de documents. Cependant, les benchmarks existants souffrent de limitations majeures lorsqu'ils sont appliqués au contexte coréen :

• Biais anglophone : La plupart des benchmarks sont soit nativement en anglais, soit des traductions de datasets anglophones (comme MMMU).
• Manque de spécificité culturelle et institutionnelle : Les traductions échouent souvent à capturer les conventions locales, les normes officielles, les formats visuels spécifiques à une discipline et les connaissances institutionnelles profondes (droit, administration, normes techniques) qui façonnent les problèmes réels en Corée du Sud.
• Sous-évaluation des capacités d'expertise : Les benchmarks existants ne reflètent pas suffisamment la complexité des examens d'experts locaux, conduisant à une surestimation des capacités des modèles dans des scénarios réels non-anglophones.

2. Méthodologie

A. Construction du Dataset (KMMMU)
Les auteurs ont créé un benchmark natif coréen composé de 3 466 questions issues de sources d'évaluation officielles et de haute importance :

• Sources : Examens de recrutement de la fonction publique (PSAT), qualifications techniques nationales (NTQ), examens de compétences nationales (NCS) et Olympiades académiques.
• Collecte et Nettoyage : Environ 68 000 instances brutes ont été collectées. Un pipeline rigoureux a été mis en place incluant l'extraction OCR (via MinerU-2.5), la vérification manuelle par cinq annotateurs natifs (correction des formules LaTeX, validation des images) et le filtrage des questions illisibles.
• Filtrage Adversarial : Pour garantir la difficulté, un pipeline de filtrage a éliminé les questions résolues par des modèles de base (Phi-3.5, InternVL-3.5, Gemini-2.5 Flash/Lite). Seules les questions non résolues par ces modèles ont été retenues.
• Taxonomie : Les données sont annotées selon quatre axes :
  1. Discipline : 9 domaines (Ingénierie, Sciences naturelles, Informatique, Droit, Arts, etc.).
  2. Modalité visuelle : 9 catégories (Schémas, Tableaux, Photos, Textes, Cartes, etc.).
  3. Format de question : Choix multiples (simple/multiple), réponses ouvertes (numériques/textuelles).
  4. Spécificité coréenne : Un indicateur flaguant les questions nécessitant des connaissances institutionnelles ou culturelles spécifiques à la Corée (300 questions dans ce sous-ensemble).

B. Sous-ensemble "Hard"
Un sous-ensemble difficile de 627 questions a été construit en sélectionnant uniquement les questions que trois modèles de référence (Gemma-3-27B, Qwen3-VL-235B, GPT-5-nano) ont toutes échoué à résoudre.

C. Protocole d'Évaluation

• Modèles évalués : Une gamme diversifiée de modèles open-source (Gemma, Qwen, Llama, VARCO-Vision, HyperCLOVAX) et propriétaires (GPT-5, Claude, Gemini, Grok).
• Configuration : Évaluation en zero-shot sans optimisation des paramètres.
• Évaluation des réponses : Utilisation d'un LLM-Judge pour évaluer les réponses, avec une validation humaine sur 600 exemples montrant un fort accord (0.88–0.98).

3. Résultats Clés

A. Performance Globale

• Les modèles actuels sont loin d'être robustes sur ce benchmark.
• Le modèle open-source le plus performant atteint 42,05 % de précision sur l'ensemble complet.
• Le meilleur modèle propriétaire (Gemini-3-Pro) atteint 52,42 % sur le sous-ensemble difficile (Hard subset).
• Les modèles spécialisés en coréen (ex: VARCO-VISION-2.0) ne surpassent pas significativement les modèles multilingues généraux, suggérant que la spécialisation linguistique seule est insuffisante pour le raisonnement d'expert.

B. Variations Disciplinares

• Les performances varient considérablement selon les disciplines.
• Goulets d'étranglement persistants : Les domaines "Général" et "Arts & Design" restent les plus difficiles, même pour les modèles les plus grands, indiquant un besoin de compréhension contextuelle et de nomenclature précise au-delà de la simple reconnaissance.
• Les modèles à raisonnement explicite (Thinking models) montrent des gains inégaux, souvent limités à la complétude de la réponse plutôt qu'à la récupération de connaissances.

C. Défi des Questions Spécifiques à la Corée

• Les modèles multilingues performants subissent une baisse de performance notable sur les questions spécifiques à la Corée (jusqu'à -13,43 % de différence par rapport aux questions non-spécifiques).
• L'analyse d'erreur révèle que ces échecs ne proviennent pas d'une mauvaise lecture de l'image, mais d'une mémoire de connaissances localisées faible et d'une mauvaise association entre les conventions institutionnelles et les étiquettes de réponse (ex: confusion entre termes juridiques ou réglementaires coréens).

D. Analyse des Erreurs

• Profondeur de raisonnement vs Connaissances : Les erreurs ne sont pas principalement dues à un manque de profondeur de raisonnement, mais à :
  • Une induction symbolique few-shot faible (règles implicites).
  • Un rappel de connaissances localisées insuffisant.
  • Une mauvaise compréhension des normes spécifiques à un domaine.
  • Des échecs dans la finalisation de la réponse (le modèle trouve le chemin mais ne formate pas correctement la réponse finale).

4. Contributions Principales

1. KMMMU : Introduction du premier benchmark massif, natif coréen et multi-disciplinaire pour l'évaluation de la compréhension multimodale d'experts.
2. Preuve de la nécessité de la localisation : Démonstration empirique que les benchmarks traduits ou anglo-centrés ne suffisent pas pour évaluer les capacités des modèles dans des contextes institutionnels et culturels spécifiques (écarts de performance significatifs).
3. Analyse des défaillances systémiques : Identification que les limites actuelles des MLLM en contexte coréen ne sont pas liées à l'OCR ou à la perception visuelle de base, mais à l'incapacité de mapper les conventions locales aux réponses correctes et à la récupération de connaissances réglementaires.
4. Ressource pour le développement : Fourniture d'un testbed rigoureux pour développer des systèmes MLLM plus fiables, culturellement ancrés et conscients des institutions, au-delà de l'anglais.

5. Signification et Impact

Ce travail met en lumière un fossé critique dans l'évaluation des IA génératives : la performance sur des tâches généralistes ne se transfère pas automatiquement à des contextes d'expertise locaux. KMMMU établit un nouvel étalon pour mesurer la véritable "intelligence" des modèles dans des environnements réels non-anglophones, où la connaissance des normes, du droit et des conventions culturelles est aussi cruciale que la capacité de raisonnement logique. Il invite la communauté à se concentrer sur l'intégration de connaissances institutionnelles locales et sur l'amélioration de la précision terminologique plutôt que sur la simple augmentation de la taille des modèles.