KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context

Dit paper introduceert KMMMU, een native Koreaanse benchmark voor multimodale begrip die de beperkingen van bestaande modellen blootlegt bij het verwerken van informatie-dichte, cultureel specifieke en discipline-gebonden vraagstukken die niet vertaald zijn uit het Engels.

De kern

🇰🇷 De Grote "Koreaanse Examen"-Test voor AI

Stel je voor dat je een slimme robot hebt die alles kan zien en lezen. Hij is getraind op miljoenen Engelse boeken en foto's. Hij kan een recept lezen, een wiskundeprobleem oplossen en een schilderij beschrijven. Maar wat gebeurt er als je hem een Koreaans rijbewijsexamen geeft, of een vraag over de lokale bouwvoorschriften in Seoel?

Dat is precies wat dit paper onderzoekt. De onderzoekers hebben KMMMU gemaakt: een gigantische test voor kunstmatige intelligentie (AI), speciaal ontworpen voor de Koreaanse cultuur en taal.

🧩 Waarom was dit nodig? (De "Vertaal-Valstrik")

Vroeger testten we AI's met vragen in het Engels. Als we die vragen vertaalden naar het Koreaans, dachten we dat het goed was. Maar dat is als proberen een Italiaans gerecht te koken met een vertaald recept uit een Duits boek. De smaken kloppen niet, en de ingrediënten missen.

In Korea (en veel andere landen) zijn regels, wetten en examens vaak gebaseerd op lokale gewoontes. Een vraag over "verkeersregels" in de VS is anders dan in Korea. Een vraag over "architectuur" hangt af van lokale stijlen. Bestaande AI's faalden hier omdat ze de context niet begrepen, alleen de woorden.

📚 Wat is KMMMU eigenlijk?

KMMMU is een verzameling van 3.466 moeilijke examenvragen uit Korea. Het is alsof je een AI een dag lang laat meedoen aan:

• Het staatsdiploma-examen (voor ambtenaren).
• Technische vakanties (elektriciteit, bouwkunde).
• Olympiades voor wiskunde en wetenschappen.
• Juridische toetsen.

De vragen zijn niet alleen tekst; ze bevatten diagrammen,电路图 (schakelingen), kaarten en foto's. De AI moet dus niet alleen lezen, maar ook zien en begrijpen hoe die plaatjes in de Koreaanse context passen.

🤖 Wat leerden we van de test? (De Resultaten)

De onderzoekers lieten de slimste AI's ter wereld (zoals de nieuwste versies van Google, OpenAI en Qwen) deze test doen. Het nieuws is niet heel bemoedigend:

1. Ze zijn nog niet slim genoeg: Zelfs de beste AI's haalden maar ongeveer 42% tot 52% goed. Dat is alsof je een student bent die net de helft van de vragen goed heeft. Ze zijn nog lang niet "expert".
2. Groot is niet altijd beter: Een grotere AI (met meer "hersenen") doet het iets beter, maar dat helpt niet altijd bij de moeilijkste, meest Koreaanse vragen.
3. Het "Koreaans-probleem": AI's doen het veel slechter op vragen die specifiek Koreaanse kennis vereisen (zoals lokale wetten of administratieve regels). Ze kunnen de taal wel, maar de cultuur niet.

🔍 Waarom zakken ze door? (De Oorzaken)

De onderzoekers keken naar de fouten en ontdekten drie belangrijke redenen waarom de AI's faalden:

• De "Vertaal-Valstrik" (Conventie naar Label):
  Stel je voor dat de AI een bord ziet met een Koreaans symbool. Ze weten wat het symbool is, maar ze weten niet welke officiële naam die in Koreaanse wetgeving heeft. Ze vertalen het naar het Engels in hun hoofd, en dat klopt niet met de Koreaanse regel. Het is alsof je denkt dat een "sneeuwklokje" in Korea een andere naam heeft dan in Nederland, en je raakt in de war.
• Geheugen vs. Redeneren:
  De AI's kunnen vaak heel goed redeneren (stap-voor-stap denken), maar ze missen de specifieke kennis. Ze weten niet dat een bepaald type auto in Korea een "kleine auto" is met een specifieke draaicirkel, omdat ze dat niet in hun training hebben gezien.
• Het "Puzzel"-probleem:
  Bij sommige vragen (vooral in kunst en design) moet je een heel specifiek vakterm gebruiken. De AI ziet het plaatje wel, maar kiest de verkeerde, bijna-juiste term. Het is alsof je een schilderij ziet en zegt "oh, dat is een landschap", terwijl het examen vraagt om de specifieke stijl "Impressionisme" te noemen.

💡 Wat betekent dit voor de toekomst?

Dit paper is een wake-up call. Het zegt: "AI's zijn goed in algemene dingen, maar ze zijn nog niet klaar voor de echte, lokale wereld."

Om AI's echt slim te maken voor experts (zoals artsen, ingenieurs of juristen in Korea), moeten we ze niet alleen meer data geven, maar ze leren lokale regels en culturele nuances begrijpen. KMMMU is nu de "trainingsbaan" waar deze AI's moeten oefenen voordat ze echt op het werk mogen.

Kortom: We hebben een nieuwe, moeilijke test voor AI's gemaakt die laat zien dat "slim zijn" in het Engels niet genoeg is om slim te zijn in Korea. De AI's moeten nog veel leren over de lokale wereld voordat ze onze experts kunnen vervangen.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor Multimodale Grootte Taalmodellen (MLLMs) zijn overwegend Engelstalig of gebaseerd op vertaalde datasets. Dit creëert een significant gat in de evaluatie van modellen in niet-Engelse contexten, specifiek voor het Koreaans.

• Beperkingen van huidige benchmarks: Vertaalde benchmarks missen lokale institutionele conventies, disciplinaire specifieke visuele formaten en informatie-dichte problemen die zijn gevormd door lokale wetten en standaarden.
• Kans voor verbetering: Er is behoefte aan een benchmark die niet alleen taal, maar ook de culturele en institutionele nuance van Koreaanse experttaken test. Bestaande Koreaanse benchmarks zijn vaak te klein, te specifiek (bijv. alleen medisch) of al verzadigd door huidige modellen.

Methodologie: KMMMU Benchmark

De auteurs introduceren KMMMU, een native Koreaanse benchmark voor expert-niveau multimodale begrip.

1. Dataverzameling:

   • De dataset bestaat uit 3.466 vragen afkomstig uit officiële Koreaanse examens en competities (o.a. PSAT voor overheidsbanen, Nationale Technische Kwalificaties, Olympiades en NCS).
   • De bronnen zijn origineel Koreaans, niet vertaald, wat zorgt voor authentieke linguïstische en culturele context.
   • Er is een strikt proces van automatische extractie (OCR) gevolgd door menselijke verificatie door vijf Koreaanse annotators om fouten in LaTeX-formules en beeldreferenties te corrigeren.

2. Adversariale Filtering:

   • Om de moeilijkheidsgraad te garanderen, wordt een multi-stap filteringsproces toegepast. Vragen die correct kunnen worden beantwoord door sterke basismodellen (zoals Phi-3.5-Vision, InternVL-3.5, en Gemini-2.5-Flash) worden verwijderd.
   • Dit resulteert in een dataset die "harder" is dan de oorspronkelijke 68.000 ruwe items.

3. Dataset Samenstelling:

   • Disciplines: 9 hoofddisciplines (bijv. Techniek, Natuurwetenschappen, Rechten, Kunst & Design).
   • Visuele Modaliteiten: 9 categorieën (diagrammen, foto's, tabellen, tekstdocumenten, etc.).
   • Specifieke subsets:
     • Een Koreaans-specifiek subset (300 items) dat lokale kennis vereist (bijv. Koreaanse wetgeving, administratieve regels).
     • Een Hard subset (627 items) die door drie sterke basismodellen gemist wordt.

4. Evaluatie Protocol:

   • Modellen: Er zijn diverse open-source (Gemma, Qwen, Llama, VARCO-VISION) en proprietary modellen (GPT-5, Gemini-3, Claude) getest.
   • Setting: Zero-shot evaluatie zonder parameter-optimalisatie.
   • Scoring: Gebruik van een LLM-Judge (gevalideerd door menselijke annotatie) om antwoorden te beoordelen, zowel voor meerkeuze- als open vragen.

Belangrijkste Resultaten

De experimenten tonen aan dat huidige MLLMs nog ver verwijderd zijn van robuustheid in Koreaanse contexten:

• Algemene Prestaties:

  • Het sterkste open-source model bereikt slechts 42,05% nauwkeurigheid op de volledige set.
  • Het beste proprietary model (Gemini-3-Pro) bereikt 52,42% op de Hard subset.
  • Koreaanse gespecialiseerde modellen (zoals VARCO-VISION-2.0) presteren niet significant beter dan multilinguale modellen, wat suggereert dat taal-specialisatie alleen niet voldoende is voor expert-redenering.

• Disciplinaire Variatie:

  • Prestaties variëren sterk per discipline. Algemene kennis en Kunst & Design blijven persistente bottlenecks, zelfs voor de grootste modellen.
  • Redeneringsmodellen (Thinking-modellen) tonen slechts marginale of ongelijke verbeteringen ten opzichte van hun niet-redenerende tegenhangers.

• Koreaans-specifieke Uitdagingen:

  • Er is een aanzienlijke prestatie-kloof (tot 13,43%) bij Koreaans-specifieke vragen ten opzichte van algemene vragen.
  • Fouten zijn vaak niet het gevolg van onvoldoende redeneringsdiepte, maar van:
    • Zwakke mapping van conventies naar labels (bijv. verkeerde juridische termen).
    • Gebrek aan lokale kennis (bijv. specifieke administratieve regels).
    • Moeite met few-shot symbolische inductie.

• Foutanalyse:

  • In disciplines als Techniek en Natuurwetenschappen falen modellen vaak door een verkeerd kader van het probleem (premature commitment aan een verkeerd schema) in plaats van door het niet zien van visuele data.
  • In Kunst & Design en Algemeen falen modellen door het niet kunnen herinneren van exacte expert-labels of het niet kunnen afleiden van symbolische regels uit beperkte voorbeelden.

Bijdragen en Significantie

1. Nieuwe Benchmark: KMMMU vult een cruciale lacune in de multimodale evaluatie door een grote, native Koreaanse dataset te bieden die verder gaat dan vertaalde benchmarks.
2. Inzicht in Modelfalen: Het paper demonstreert dat sterke algemene multimodale vaardigheden niet automatisch vertalen naar lokale, institutionele contexten. De grootste uitdagingen liggen in het begrijpen van lokale conventies en het herinneren van gespecialiseerde kennis, niet alleen in visuele perceptie.
3. Richting voor Toekomstige Ontwikkeling: De bevindingen suggereren dat toekomstige modellen meer aandacht nodig hebben voor:
   • Pre-training op niche-domeinen met Koreaanse technische terminologie.
   • Post-training met instructiedata die hoge cognitieve last vereist (patroon-inductie, linguïstisch redeneren).
   • Betere integratie van lokale institutionele kennis.

Conclusie: KMMMU dient als een rigoureuze testbank om de betrouwbaarheid van MLLMs voor experttaken in Koreaanse culturele en institutionele settings te evalueren, en benadrukt de noodzaak van lokaal afgestemde AI-systemen.