💬 NLP

Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability

Dieser Beitrag stellt Gakucho vor, einen groß angelegten multimodalen Benchmark, der aus der japanischen Nationalen Bewertung der akademischen Fähigkeiten abgeleitet ist und 900.000 aggregierte Schülerantwortverteilungen umfasst, um eine direkte, menschlich fundierte Bewertung multimodaler großer Sprachmodelle bei authentischen Bildungsaufgaben von der Grundschule bis zum Abitur zu ermöglichen.

Ursprüngliche Autoren: Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kyosuke Takami, Yuka Tateisi, Satoshi Sekine, Yusuke Miyao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten testen, wie intelligent ein neuer Roboter ist. Normalerweise würden Sie ihm einen erfundenen Quiz oder eine Schulbuchaufgabe geben, die auf einem Computerbildschirm perfekt aussieht. Doch dieser Artikel sagt: „Lassen Sie uns etwas anderes versuchen." Anstatt eines gefälschten Tests geben wir dem Roboter eine echte, tatsächliche Mittelschulprüfung aus Japan, die Art, die 900.000 echte Schüler abgelegt haben.

Hier ist die einfache Zusammenfassung dessen, was die Forscher taten und herausfanden:

1. Die „Realitätsnahe" Testküche

Die Forscher nahmen offizielle Prüfungen aus Japans Nationaler Bewertung der akademischen Fähigkeiten. Dies sind keine sauberen, digitalen Textdateien. Es sind unordentliche, realweltliche Dokumente voller:

Diagramme und Karten: Wie eine Wetterkarte mit gekritzelten Linien.
Sprechblasen: Text innerhalb von Comic-Stil-Blasen.
Vertikaler Text: Japanisch wird oft von oben nach unten geschrieben, was für Computer schwierig ist.
Tabellen und Diagramme: Zahlen, die in Gittern angeordnet sind.

Stellen Sie sich dies wie den Versuch vor, ein Rezept zu lesen, das auf einer zerknitterten Serviette geschrieben ist, mit einer Skizze eines Topfes daneben, anstatt eines sauberen digitalen PDFs. Die Forscher mussten diese unordentlichen Seiten sorgfältig in ein Format „übersetzen", das Computer verstehen konnten, ohne den ursprünglichen Look und Feel zu verlieren.

2. Der geheime Zutat: Die „Menschliche Menge"

Der coolste Teil dieses Projekts ist, dass sie nicht nur die Fragen behielten; sie behielten die Antworten von 900.000 echten Schülern.

Stellen Sie sich eine Testfrage vor. Normalerweise kennen Sie nur die „richtige" Antwort. Hier wissen die Forscher genau, welcher Prozentsatz der Schüler sie richtig beantwortete, welcher Prozentsatz sie falsch beantwortete und wie sie sie falsch beantworteten.

Warum das wichtig ist: Es ermöglicht den Forschern, das Gehirn des Roboters direkt mit einer riesigen Menge menschlicher Gehirne zu vergleichen. Sie können sehen: „Hat der Roboter denselben Fehler gemacht wie ein Mensch, oder hat er einen seltsamen Roboterfehler gemacht?"

3. Testen der Roboter

Sie fütterten diese echten Prüfungen mit mehreren berühmten KI-Modellen (wie GPT-4, Gemini und Claude), um zu sehen, wie sie abschnitten.

Die Ergebnisse:

Wissenschaft: Die Roboter waren ziemlich gut, besonders wenn sie die Diagramme „sehen" konnten. Es ist, als hätten sie endlich verstanden, dass ein Bild eines Vulkans für die Frage wichtig ist.
Mathematik: Sie waren großartig bei einfachen Zahlen, strauchelten aber, wenn die Mathematik das Lesen eines Graphen oder einer seltsam gezeichneten Form erforderte. Wenn der Roboter das Bild nicht „lesen" konnte, konnte er die Mathematik nicht lösen.
Japanisch (Sprache): Dies war am schwierigsten. Die Roboter hatten Schwierigkeiten mit vertikal geschriebenem Text und mit der Erkennung spezifischer Zeichen (Kanji) innerhalb von Bildern. Es ist, als würde man einen Roboter bitten, eine handschriftliche Notiz auf einer Serviette zu lesen; sie rieten oft oder erfanden Wörter, anstatt genau das zu lesen, was dort stand.

4. Das „Richter"-Problem

Die Forscher versuchten zwei Arten, die Roboter zu benoten:

Menschliche Lehrer: Echte Menschen lasen die Antworten.
KI-Richter: Eine andere KI (GPT-4o) benotete die Antworten der ersten KI.

Die Wendung:

Bei Wissenschaft und Mathematik war der KI-Richter ein ziemlich guter Ersatz für einen menschlichen Lehrer. Sie waren sich größtenteils einig, wer bestanden und wer durchgefallen war.
Bei Japanisch war der KI-Richter verwirrt. Er stimmte oft nicht mit den Menschen überein. Der Artikel legt nahe, dass man für komplexe Sprachaufgaben noch nicht einfach einer KI vertrauen kann, um eine andere KI zu benoten; man braucht noch einen Menschen im Kreislauf.

5. Wo die Roboter strauchelten

Der Artikel hebt einige lustige, aber aufschlussreiche Fehler hervor:

Das „Fake-Zitat"-Problem: Als die Prüfung den Roboter bat, „diesen Satz genau aus dem Bild zu kopieren", erfand der Roboter manchmal einen Satz, der richtig klang, aber tatsächlich nicht dort stand. Er halluzinierte statt zu lesen.
Das „Zeichnen"-Problem: Eine Frage bat den Roboter, auf ein spezifisches japanisches Zeichen zu schauen und zu erklären, warum sein visuelles Gleichgewicht nicht stimmte. Die Roboter konnten die winzigen Details der Zeichnung nicht gut genug „sehen", um zu antworten.

Das Fazit

Dieser Artikel baute einen neuen, realistischen Spielplatz zum Testen von KI. Anstatt Roboter an sauberen, perfekten Daten zu testen, testeten sie sie an der unordentlichen, visuellen und komplexen Realität einer echten Schulprüfung.

Sie fanden heraus, dass KI zwar intelligenter wird, aber immer noch mit der spezifischen „visuellen Logik" realer Prüfungen kämpft, insbesondere beim Lesen von Text innerhalb von Bildern oder beim Verständnis der subtilen Fehler, die echte Schüler machen. Sie bewiesen auch, dass man einer KI nicht immer vertrauen kann, um eine andere KI zu benoten, insbesondere bei Sprachfächern.

Wo man es findet: Die Forscher stellten all diese Daten (die Fragen, die Bilder und die Antworten von 900.000 Schülern) für jedermann zur Verfügung, damit andere Wissenschaftler ihre eigenen Tests durchführen können.

Technisches Fazit: Menschlich fundierter multimodaler Benchmark mit aggregierten Schülerantwortverteilungen im Maßstab von 900.000

Problemstellung
Während Multimodale Large Language Models (MLLMs) zunehmend mit prüfungsähnlichen Benchmarks evaluiert werden, stützen sich bestehende Ressourcen (z. B. MMLU, C-Eval) primär auf synthetische oder kuratierte Textdaten. Diese Benchmarks erfassen nicht die authentischen multimodalen Merkmale realer K–12-Prüfungen, insbesondere im Kontext der japanischen Bildung. Japanische Mittelschulprüfungen weisen komplexe, heterogene Layouts auf, die dichte visuelle Elemente (Diagramme, Tabellen, Karten), vertikalen Text und Sprechblasen innerhalb strukturierter pädagogischer Designs integrieren. Aktuelle Benchmarks fehlen die Verankerung in realen Bildungsdaten und, entscheidend, bieten sie keine Antwortverteilungen auf Bevölkerungsebene. Dieses Fehlen erschwert eine sinnvolle Vergleichbarkeit der Modellleistung mit menschlichen Lernenden oder eine empirische Schätzung von Aufgabenschwierigkeit und Denkmustern. Darüber hinaus werden rohe Prüfungsmaterialien häufig als komplexe PDFs mit unregelmäßigen Panelgrenzen und impliziten Lesereihenfolgen veröffentlicht, was erhebliche Engpässe für die maschinelle Verarbeitung darstellt, einschließlich OCR-Fehlern bei vertikalem Text und Schwierigkeiten bei der Segmentierung ungleichmäßiger Panels.

Methodik
Die Autoren konstruierten einen multimodalen Datensatz, der von Japans Nationaler Bewertung der akademischen Fähigkeiten (NAAB) abgeleitet ist, wobei speziell offiziell veröffentlichte Items der 9. Klasse aus der Administration 2022 in den Fächern Naturwissenschaften, Mathematik und Japanisch verwendet wurden.

Datenkonstruktions-Pipeline: Die Autoren entwickelten eine Pipeline, um menschenfreundliche, aber maschinenunfreundliche PDF-Prüfungsbücher in einen strukturierten, reproduzierbaren Benchmark zu transformieren.
1. Manuelle Transkription: Fragen wurden in Markdown konvertiert, wobei die ursprüngliche Lesereihenfolge beibehalten und Bildreferenzen eingefügt wurden. Mathematische Ausdrücke wurden in LaTeX gerendert.
2. Bildextraktion: Diagramme und Abbildungen wurden extrahiert und mit spezifischen Items verknüpft, wobei das visuelle Layout erhalten blieb, ohne dass Annotationen zu den Abbildungen selbst hinzugefügt wurden.
3. Schemabasierte Konvertierung: Ein einheitliches JSON-Schema wurde generiert, um Teilfragen mit den spezifischen Panels zu verknüpfen, auf die sie Bezug nehmen, wodurch Lesereihenfolge und panelübergreifende Abhängigkeiten normalisiert wurden.
4. Integration von Antwortmetadaten: Entscheidend integriert der Datensatz landesweit aggregierte Schülerantwortverteilungen ( $N \approx 900.000$ ), die aus offiziellen Umfrageberichten extrahiert wurden. Dies umfasst Antwortverteilungen, korrekte/inkorrekte Beispiele und Bewertungsbedingungen.
Evaluierungsrahmen: Der Benchmark wurde verwendet, um eine Suite repräsentativer MLLMs zu evaluieren, einschließlich API-zugänglicher Systeme (z. B. GPT-5, GPT-4o, Gemini 2.5/3.1, Claude Sonnet 4/4.5) und Open-Weight-Modelle (z. B. Qwen2.5-VL, Gemma 3).
- Metriken: Für Multiple-Choice-Items (MC) wurde die Exact-Match-(EM)-Genauigkeit verwendet, und für offene Antworten wurden F1-Scores auf Zeichenebene verwendet.
- Validierung der Bewertung: Offene Antworten wurden sowohl durch menschliche Annotation (durch zwei Autoren, einer mit K–12-Lehrerfahrung) als auch durch einen „LLM-as-a-judge"-Ansatz unter Verwendung von GPT-4o bewertet, um die Zuverlässigkeit und Übereinstimmung der Bewertung zu beurteilen.

Hauptbeiträge

Authentischer multimodaler Benchmark: Die Arbeit stellt den ersten Benchmark vor, der von Japans NAAB abgeleitet ist und authentische Prüfungslayouts, Diagramme sowie Merkmale japanischer Bildungstexte bewahrt, wodurch die Knappheit an Ressourcen adressiert wird, die in japanischen K–12-Prüfungen verankert sind.
Antwortdaten auf Bevölkerungsebene: Der Datensatz enthält aggregierte Antwortverteilungen von etwa 900.000 Schülern. Dies ermöglicht eine empirische Schätzung der Aufgabenschwierigkeit und erlaubt einen direkten Vergleich zwischen menschlicher und LLM-Leistung unter einem einheitlichen Evaluierungsrahmen.
Strukturierte multimodale Repräsentation: Die Autoren schlagen eine Methode vor, komplexe Prüfungs-PDFs in ein strukturiertes JSON-Format zu transformieren, das Teilfragen mit visuellen Panels verknüpft, was die Evaluierung multimodalen Schlussfolgerns erleichtert und gleichzeitig die Integrität der ursprünglichen visuellen Beweise wahrt.
Vergleich Mensch-Modell: Durch die Bereitstellung sowohl menschlich bewerteter Baselines als auch von LLM-as-a-judge-Analysen unterstützt die Arbeit die Bewertung der Zuverlässigkeit automatischer Bewertungen und etabliert einen reproduzierbaren Standard für den modellübergreifenden Vergleich im Bereich des pädagogischen Schlussfolgerns.

Experimentelle Ergebnisse

Fächer spezifische Leistung: MLLMs zeigten unterschiedliches Verhalten über die Fächer hinweg. In den Naturwissenschaften zeigten Modelle wie GPT-5 und Gemini 2.5 eine starke Leistung. In der Mathematik war die Multiple-Choice-Genauigkeit über die Modelle hinweg relativ stabil (Durchschnitt von ~0,85), obwohl die F1-Scores für offene Antworten erheblich variierten. In der japanischen Sprache divergierte die Leistung; Gemini 2.5 erreichte die höchste MC-Genauigkeit (0,800), während Claude Sonnet 4 bei der offenen Generierung führend war (0,342).
Sensitivität für visuelles Schlussfolgern: Ablationsstudien zeigten, dass Bilder die Leistung in den Naturwissenschaften erheblich verbesserten. In Mathematik und Japanisch war der Einfluss von Bildern gemischt, was eine aufgabenabhängige Abhängigkeit von visuellen Informationen widerspiegelt.
Fehleranalyse: Heatmaps zeigten, dass Modelle zwar bei einfachen numerischen Problemen gut abschnitten, aber bei Items scheiterten, die die Interpretation von Diagrammen und Graphen erforderten (z. B. das Lesen von Histogrammen). Im Japanisch-Fach versagten Modelle erheblich bei Aufgaben, die eine fein abgestimmte visuelle Analyse von Kanji-Zeichen erforderten (z. B. Strichzahl und räumliche Proportionierung) sowie bei der exakten Transkription aus Bildern, wobei sie häufig erfundenen Text anstelle wortwörtlicher Zitate produzierten.
Mensch vs. LLM-as-a-Judge: Die Korrelation zwischen menschlicher Genauigkeit und der Genauigkeit des GPT-4o-Richters war in den Naturwissenschaften stark ( $r=0,899$ ) und in der Mathematik moderat ( $r=0,600$ ). Für das Japanisch-Fach war die Korrelation jedoch nahezu null ( $r \approx 0$ ), was auf einen eingeschränkten dynamischen Bereich, kleine Stichprobengrößen und Bewertungsverzerrungen zurückgeführt wird, was Vorsicht bei der Verwendung von LLM-as-a-Judge für japanische offene Aufgaben nahelegt.

Bedeutung und Behauptungen
Die Arbeit positioniert diesen Datensatz als ersten Schritt hin zu einer systematischen Benchmarking der multimodalen Verständnisfähigkeit im Kontext japanischer Bildung. Ihre primäre Bedeutung liegt in der Überbrückung von textuellem, visuellem und kognitivem Schlussfolgern bei gleichzeitiger Etablierung reproduzierbarer Standards für den modellübergreifenden Vergleich. Die Autoren behaupten, dass die Einbeziehung aggregierter Schülerantwortverteilungen eine „menschlich fundierte" Evaluierung ermöglicht, die es Forschern erlaubt zu bestimmen, ob Modellfehler mit realen Schülermissverständnissen übereinstimmen. Der Datensatz soll zukünftige Forschung in den Bereichen Evaluierung, Generierung von Feedback und erklärbare KI im Kontext authentischer Bewertungen unterstützen. Die Autoren bleiben bescheiden und stellen fest, dass die aktuelle Veröffentlichung auf ein einzelnes Datenjahr und einen spezifischen nationalen Kontext beschränkt ist und dass die Evaluierungsergebnisse als vorläufige Validierung und nicht als endgültiger Beweis für die Zuverlässigkeit der Bewertung dienen.