KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context

Die Studie stellt KMMMU vor, einen umfassenden, in Koreanisch verfassten Benchmark für die multimodale Verständnisbewertung in kulturellen und institutionellen Kontexten, der zeigt, dass selbst die leistungsstärksten aktuellen Modelle erhebliche Schwierigkeiten bei der Abbildung lokaler Konventionen und fachspezifischer Standards haben.

Das Wesentliche

Stell dir vor, du möchtest herausfinden, wie gut ein neuer, super-intelligenter Roboter ist. Bisher haben wir ihm nur Aufgaben auf Englisch gegeben, wie zum Beispiel: „Erkläre mir dieses Bild von einer amerikanischen Brücke" oder „Löse dieses Mathe-Problem aus einem US-Lehrbuch".

Aber was passiert, wenn wir ihn in Korea schicken? Dort sind die Regeln, die Bilder und die Sprache ganz anders. Ein Roboter, der in den USA ein Genie ist, könnte in Seoul völlig verloren sein, weil er die lokalen Gesetze, die spezifischen Diagramme in technischen Prüfungen oder die kulturellen Nuancen nicht versteht.

Genau hier kommt KMMMU ins Spiel. Das ist wie ein großer, koreanischer „Führerschein-Test" für künstliche Intelligenz.

Hier ist die einfache Erklärung, was die Forscher gemacht haben und was sie herausgefunden haben:

1. Der Test: Ein riesiges Puzzle aus Korea

Die Forscher haben 3.466 Fragen gesammelt, die echte koreanische Prüfungen sind. Das sind keine einfachen Übersetzungen aus dem Englischen, sondern originale Aufgaben aus:

• Staatlichen Prüfungen (wie für Beamte),
• Technischen Zertifikaten (für Ingenieure, Elektriker),
• Wissenschafts-Olympiaden und
• Rechts- und Wirtschaftstests.

Die Besonderheit: Es geht nicht nur um Text. Die Fragen sind multimodal. Das bedeutet, der Roboter muss Bilder, Diagramme, Schaltpläne, Tabellen und Text gleichzeitig verstehen.

• Analogie: Stell dir vor, du bekommst einen Bauplan (Bild), eine Liste mit Materialkosten (Tabelle) und eine mündliche Anweisung (Text) auf Koreanisch. Du musst alles zusammenfügen, um die richtige Antwort zu geben.

2. Die Schwierigkeit: Der „Harte Modus"

Die Forscher waren sehr streng. Sie haben alle Fragen genommen, die aktuelle KI-Modelle leicht lösen konnten, und sie weggeworfen. Übrig blieben nur die schwierigsten 627 Fragen (der „Hard Subset").

• Metapher: Es ist, als würdest du einen Schüler nicht mit einfachen Rechenaufgaben testen, sondern nur mit den Aufgaben, die selbst die besten Schüler der Welt verwirren.

3. Das Ergebnis: Die KIs stolpern

Das Ergebnis war überraschend und etwas ernüchternd für die KI-Entwickler:

• Selbst die stärksten Modelle (die „Super-Computer" der Welt) schafften im Durchschnitt nur ca. 42 % bis 52 % richtige Antworten.
• Das ist wie bei einem Schüler, der eine 5 oder 6 in der Schule bekommt, obwohl er eigentlich ein „Genie" sein sollte.
• Besonders schlecht schnitten sie bei koreanisch-spezifischen Fragen ab. Hier lag die Lücke bis zu 13 % hinter den allgemeinen Fragen zurück.

4. Warum scheitern die Roboter? (Die Fehleranalyse)

Die Forscher haben sich genau angesehen, warum die KIs falsch lagen. Es lag nicht daran, dass sie nicht „nachdenken" konnten. Das Problem war anders:

• Das „Verzeichnis-Problem" (Kulturelles Wissen):
  Die KIs wissen oft nicht, was in Korea unter einem „kleinen Fahrzeug" (Sohnyeongcha) im juristischen Sinne genau verstanden wird. Sie verwechseln Begriffe, weil sie nur globale, englische Daten gelernt haben.

  • Beispiel: Ein Roboter liest ein Gesetz über Straßenbau, verwechselt aber die Definition eines kleinen Autos mit einem normalen Auto und gibt die falsche Zahl für den Wendekreis an. Er kennt die Wörter, aber nicht die lokale Bedeutung.

• Das „Regelbuch-Problem" (Genauigkeit):
  In Korea gibt es sehr spezifische Regeln für Dinge wie die Beschriftung von Diagrammen oder die Rechtschreibung. Die KIs geben oft eine Antwort, die „plausibel" klingt, aber nicht exakt nach dem offiziellen Regelbuch ist.

  • Analogie: Es ist wie bei einem Koch, der ein Gericht macht, das schmeckt, aber der Chef-Koch (der Prüfer) sagt: „Nein, du hast das Salz falsch gemessen. Nach dem offiziellen Rezept muss es genau 3 Gramm sein, nicht 3,1." Die KI macht den Fehler der „ungefähren Richtigkeit".

• Das „Bilder-Problem" (Symbole):
  Bei technischen Zeichnungen (z. B. in der Elektrotechnik) erkennen die KIs die Linien, aber sie verstehen nicht, was das spezifische Symbol in einem koreanischen Kontext bedeutet. Sie sehen das Bild, aber lesen die „Bedeutung" falsch.

5. Was bedeutet das für uns?

Die Botschaft der Studie ist klar: KI ist noch nicht wirklich „weltweit" oder „lokal" fit.

Bisher haben wir KI-Modelle trainiert, wie englischsprachige Studenten, die viel lesen. Aber wenn wir sie in die reale Welt schicken – in ein koreanisches Büro, eine Werkstatt oder ein Gericht – merken wir, dass ihnen das lokale Handbuch und das kulturelle Verständnis fehlen.

KMMMU ist also wie ein Spiegel, der zeigt: Um wirklich intelligente Roboter zu bauen, müssen wir sie nicht nur mit mehr Daten füttern, sondern sie auch in der lokalen Kultur und den spezifischen Regeln ihrer Umgebung ausbilden. Sonst bleiben sie wie ein Tourist, der zwar gut Englisch spricht, aber in Seoul trotzdem den Bus nicht findet, weil er die Haltestellenschilder nicht versteht.

Technische Zusammenfassung

1. Problemstellung

Multimodale Large Language Models (MLLMs) haben zwar beeindruckende Fortschritte in visuell-sprachlichen Aufgaben erzielt, doch bestehende Benchmarks sind oft englisch-zentriert oder basieren auf übersetzten Datensätzen. Dies führt zu einer Lücke bei der Bewertung von Modellen in nicht-englischen Kontexten, insbesondere in Bezug auf:

• Lokale Konventionen: Institutionelle Regeln, administrative Standards und kulturelle Nuancen, die in Übersetzungen verloren gehen.
• Informationsdichte: Komplexe, fachspezifische visuelle Materialien (z. B. technische Diagramme, rechtliche Dokumente), die tiefes Domänenwissen erfordern.
• Sprachspezifität: Die Notwendigkeit, koreanische Orthographie, spezifische Terminologie und lokale Gesetze zu verstehen.

Bisherige koreanische Benchmarks waren entweder zu klein, bereits für aktuelle Modelle gesättigt oder deckten nicht genügend Disziplinen und visuelle Modalitäten ab.

2. Methodik und Aufbau des KMMMU-Datensatzes

Datenerhebung und -quelle:
Der Datensatz KMMMU (Korean Massive Multi-discipline Multimodal Understanding) wurde aus offiziellen, koreanischsprachigen Prüfungsquellen zusammengestellt, darunter:

• Staatliche Dienstprüfungen (PSAT).
• Nationale technische Qualifikationen (NTQ).
• Nationale Kompetenzstandards (NCS).
• Akademische Olympiaden.
  Ausgangspunkt waren ca. 68.000 Rohinstanzen.

Datenaufbereitung und Qualitätskontrolle:

• OCR und Verifizierung: Nutzung von MinerU-2.5 für die Digitalisierung, gefolgt von manueller Überprüfung durch fünf koreanische Annotatoren. Diese korrigierten LaTeX-Formeln, validierten Bildausschnitte und entfernten unleserliche Fragen.
• Adversarial Filtering: Um die Schwierigkeit zu gewährleisten, wurde ein mehrstufiger Filterprozess angewendet. Instanzen, die von starken Baseline-Modellen (Phi-3.5-Vision, InternVL-3.5, Gemini-2.5-Flash/Lite) im Zero-Shot-Modus korrekt gelöst wurden, wurden entfernt.
• Ergebnis: Der finale Datensatz umfasst 3.466 Fragen.

Taxonomie und Struktur:

• Disziplinen: 9 Hauptbereiche (z. B. Ingenieurwesen, Naturwissenschaften, Recht, Kunst & Design).
• Visuelle Modalitäten: 9 Kategorien (z. B. Diagramme, Tabellen, Fotos, Textdokumente).
• Spezifische Subsets:
  • Ein Hard Subset mit 627 Fragen, die von drei Baseline-Modellen (Gemma-3, Qwen3-VL, GPT-5-nano) alle falsch beantwortet wurden.
  • Ein Korean-Specific Subset mit 300 Fragen, die spezifisches lokales Wissen (Gesetze, Verwaltung) erfordern.

Evaluation:

• Modelle: Eine breite Palette von Open-Source-Modellen (Gemma, Qwen, Llama, VARCO, HyperCLOVAX) und proprietären Modellen (GPT-5, Claude, Gemini, Grok).
• Protokoll: Zero-Shot-Evaluation ohne Parameter-Optimierung.
• Auswertung: Nutzung eines LLM-Judges zur Skalierbarkeit, validiert durch menschliche Annotation (hohe Übereinstimmung).

3. Wichtige Ergebnisse

Gesamtleistung:

• KMMMU stellt auch für die stärksten Modelle eine enorme Herausforderung dar.
• Das beste Open-Source-Modell erreicht auf dem gesamten Datensatz nur 42,05 % Genauigkeit.
• Das beste proprietäre Modell (Gemini-3-Pro) erreicht auf dem Hard Subset nur 52,42 %.

Disziplinäre Unterschiede:

• Die Leistung variiert stark zwischen den Fächern. Bereiche wie „Allgemeinwissen" (General) und „Kunst & Design" bleiben auch für große Modelle Engpässe.
• Ingenieurwissenschaften und Naturwissenschaften zeigen bei größeren Modellen bessere Fortschritte, bleiben aber schwierig.

Korean-spezifische Inhalte:

• Es gibt signifikante Leistungslücken bei koreanisch-spezifischen Fragen. Selbst starke multilinguale Modelle schneiden hier bis zu 13,43 % schlechter ab als bei allgemeinen Fragen.
• Dies deutet darauf hin, dass reine Sprachkenntnisse oder allgemeine Multimodalität nicht ausreichen, um institutionelles und kulturelles Wissen abzubilden.

Einfluss von Reasoning (Schlussfolgern):

• Explizites „Thinking" (Chain-of-Thought) verbessert die Leistung nur ungleichmäßig.
• Der Hauptgewinn liegt oft bei der korrekten Antwortformatierung und dem Erfassen von Constraints (z. B. bei Multiple-Choice mit mehreren Antworten), weniger bei der eigentlichen Wissensabruf- oder Bildanalyse.
• Bei vielen Fehlern scheitern Modelle nicht am fehlenden Denken, sondern an der falschen Zuordnung von Konventionen zu Labels oder dem mangelnden Abruf von spezifischem Fachwissen.

Fehleranalyse:
Die Hauptfehlerursachen sind:

1. Schwache Konvention-zu-Label-Mapping: Modelle erkennen das Bild, ordnen es aber dem falschen fachspezifischen Begriff zu (z. B. in Architektur oder Recht).
2. Few-Shot Symbolic Induction: Schwierigkeiten, Regeln aus wenigen Beispielen abzuleiten (z. B. bei linguistischen Rätseln).
3. Lokales Wissensdefizit: Fehlendes Wissen über spezifische koreanische Gesetze oder Verwaltungsvorschriften.
4. Domain-spezifische Standards: Unfähigkeit, exakte offizielle Normen (z. B. Romanisierungsregeln) anzuwenden.

4. Beiträge und Bedeutung

Hauptbeiträge:

1. Erster nativer koreanischer Multimodal-Benchmark: KMMMU füllt die Lücke zwischen englisch-zentrierten Benchmarks und der Realität koreanischer Expertenaufgaben.
2. Umfassende Abdeckung: Mit 3.466 Fragen über 9 Disziplinen und 9 Modalitäten ist es einer der größten und vielfältigsten nicht-englischen Datensätze.
3. Diagnose-Tool: Der Datensatz ermöglicht es, spezifische Schwächen von MLLMs in Bezug auf kulturelles Kontextwissen und institutionelle Standards zu identifizieren, die über reine Sprachfähigkeiten hinausgehen.
4. Validierung der Multimodalität: Ablationsstudien zeigen, dass die Entfernung von Bildern die Leistung drastisch senkt, was die Notwendigkeit echter visueller Verarbeitung unterstreicht.

Bedeutung für die Forschung:
Das Paper zeigt, dass „General Multimodal Ability" nicht automatisch auf kulturell und institutionell spezifische Kontexte übertragbar ist. KMMMU dient als rigoroser Teststand für die Entwicklung zuverlässigerer Systeme für reale Expertenaufgaben in Korea und liefert eine Blaupause für die Erstellung ähnlicher Benchmarks in anderen nicht-englischen Sprachen. Es betont, dass zukünftige Fortschritte weniger durch reines „Reasoning" (Schlussfolgern) als durch besseres Grounding in lokales Wissen und präzise Fachterminologie erzielt werden müssen.