Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability

Technische Samenvatting: Menselijk Onderbouwde Multimodale Benchmark met Geaggregeerde Antwoordverdelingen van 900.000 Studenten

Probleemstelling
Hoewel Multimodale Grootte Taalmodellen (MLLM's) steeds vaker worden geëvalueerd aan de hand van examenachtige benchmarks, vertrouwen bestaande bronnen (bijvoorbeeld MMLU, C-Eval) voornamelijk op synthetische of gecureerde tekstuele data. Deze benchmarks slagen er niet in de authentieke multimodale kenmerken van real-world K–12-toetsen vast te leggen, met name binnen Japanse onderwijscontexten. Japanse middelbareschoolexamens kenmerken zich door complexe, heterogene lay-outs die dichte visuele elementen (diagrammen, tabellen, kaarten), verticale tekst en spreekballonnen integreren binnen gestructureerde pedagogische ontwerpen. Huidige benchmarks ontberen de verankering in real-world onderwijsdata en, cruciaal, bieden ze geen verdelingen van antwoorden op populatieniveau. Dit gebrek maakt het moeilijk om modelprestaties op zinvolle wijze te vergelijken met die van menselijke leerlingen of om taakmoeilijkheid en redeneerpatronen empirisch te schatten. Bovendien worden ruwe examenmaterialen vaak vrijgegeven als complexe PDF-bestanden met onregelmatige paneelgrenzen en impliciete leesordes, wat aanzienlijke knelpunten vormt voor machineverwerking, waaronder OCR-fouten bij verticale tekst en moeilijkheden bij het segmenteren van ongelijke panelen.

Methodologie
De auteurs hebben een multimodaal dataset opgebouwd, afgeleid van de Nationale Beoordeling van Academisch Vermogen (NAAB) van Japan, met name door gebruik te maken van officieel vrijgegeven items voor leerjaar 9 uit de administratie van 2022 in de vakken Wetenschap, Wiskunde en Japans.

• Dataconstructiepijplijn: De auteurs ontwikkelden een pijplijn om mensvriendelijke maar machine-onvriendelijke PDF-examenboekjes om te zetten in een gestructureerde, reproduceerbare benchmark.
  1. Handmatige Transcriptie: Vragen werden omgezet naar Markdown, waarbij de originele leesorde werd behouden en afbeeldingsreferenties werden ingevoegd. Wiskundige uitdrukkingen werden weergegeven in LaTeX.
  2. Afbeeldingsextractie: Diagrammen en figuren werden geëxtraheerd en gekoppeld aan specifieke items, waarbij de visuele lay-out werd behouden zonder annotaties aan de figuren zelf toe te voegen.
  3. Schema-gebaseerde Conversie: Er werd een unificerend JSON-schema gegenereerd om deeltaken te koppelen aan de specifieke panelen waarnaar ze verwijzen, waarbij leesorde en paneeloverschrijdende afhankelijkheden werden genormaliseerd.
  4. Integratie van Antwoordmetadata: Cruciaal bevat de dataset landelijk geaggregeerde antwoordverdelingen van studenten ($N \approx 900.000$), ontleend aan officiële onderzoeksrapporten. Dit omvat antwoordverdelingen, voorbeelden van juiste en onjuiste antwoorden, en scorevoorwaarden.
• Evaluatiekader: De benchmark werd gebruikt om een reeks representatieve MLLM's te evalueren, waaronder API-toegankelijke systemen (bijvoorbeeld GPT-5, GPT-4o, Gemini 2.5/3.1, Claude Sonnet 4/4.5) en open-weight modellen (bijvoorbeeld Qwen2.5-VL, Gemma 3).
  • Metingen: Exact-match (EM) nauwkeurigheid werd gebruikt voor meerkeuze (MC) items, en F1-scores op karakterniveau werden gebruikt voor open vragen.
  • Validatie van Scoring: Open vragen werden geëvalueerd via zowel menselijke annotatie (door twee auteurs, waarvan één met K–12-lerarenervaring) als een "LLM-as-a-judge"-benadering met GPT-4o om scorebetrouwbaarheid en alignering te beoordelen.

Belangrijkste Bijdragen

1. Authentieke Multimodale Benchmark: Het artikel introduceert de eerste benchmark afgeleid van Japan's NAAB die authentieke examenlay-outs, diagrammen en kenmerken van Japanse onderwijstekst behoudt, waarmee de schaarste aan bronnen die zijn verankerd in Japanse K–12-toetsen wordt aangepakt.
2. Antwoorddata op Populatieniveau: De dataset bevat geaggregeerde antwoordverdelingen van ongeveer 900.000 studenten. Dit maakt empirische schatting van taakmoeilijkheid mogelijk en staat directe vergelijking toe tussen menselijke en LLM-prestaties binnen een unificerend evaluatiekader.
3. Gestructureerde Multimodale Representatie: De auteurs stellen een methode voor om complexe examen-PDF's om te zetten in een gestructureerd JSON-formaat dat deeltaken koppelt aan visuele panelen, waardoor evaluatie van multimodaal redeneren wordt vergemakkelijkt terwijl de integriteit van het originele visuele bewijs behouden blijft.
4. Vergelijking Mens-Model: Door zowel menselijk beoordeelde baselines als analyses via LLM-as-a-judge te bieden, ondersteunt het werk de beoordeling van de betrouwbaarheid van automatische scoring en vestigt het een reproduceerbare standaard voor modeloverschrijdende vergelijking in educatief redeneren.

Experimentele Resultaten

• Vakspecifieke Prestaties: MLLM's vertoonden distinct gedrag per vak. In Wetenschap presteerden modellen zoals GPT-5 en Gemini 2.5 sterk. In Wiskunde was de meerkeuzenauwkeurigheid relatief stabiel over modellen heen (gemiddeld ~0,85), hoewel de F1-scores voor open vragen aanzienlijk varieerden. In Japans divergeerden de prestaties; Gemini 2.5 behaalde de hoogste MC-nauwkeurigheid (0,800), terwijl Claude Sonnet 4 leidde bij open generatie (0,342).
• Sensitiviteit voor Visueel Redeneren: Ablatiestudies toonden aan dat afbeeldingen de prestaties in Wetenschap aanzienlijk verbeterden. In Wiskunde en Japans was de impact van afbeeldingen gemengd, wat een taakafhankelijke afhankelijkheid van visuele informatie weerspiegelt.
• Foutenanalyse: Warmtekaarten onthulden dat modellen goed presteerden bij eenvoudige numerieke problemen, maar worstelden met items die interpretatie van diagrammen en grafieken vereisten (bijvoorbeeld het lezen van histogrammen). In Japans faalden modellen aanzienlijk bij taken die fijnmazige visuele analyse van kanji-tekens vereisten (bijvoorbeeld het tellen van strepen en ruimtelijke evenwicht) en exacte transcriptie vanuit afbeeldingen, waarbij ze vaak gefabriceerde tekst produceerden in plaats van letterlijke citaten.
• Mens versus LLM-as-a-Judge: De correlatie tussen menselijke nauwkeurigheid en de nauwkeurigheid van de GPT-4o-judge was sterk in Wetenschap ($r=0,899$) en gematigd in Wiskunde ($r=0,600$). Voor Japans was de correlatie echter bijna nul ($r \approx 0$), toegeschreven aan een beperkt dynamisch bereik, kleine steekproefgroottes en scorevertekening, wat voorzichtigheid suggereert bij het gebruik van LLM-as-a-judge voor open vragen in het Japans.

Betekenis en Claims
Het artikel positioneert deze dataset als een eerste stap naar systematische benchmarking van multimodaal begrip in Japanse onderwijscontexten. De primaire betekenis ligt in het overbruggen van tekstuele, visuele en cognitieve redenering, terwijl reproduceerbare standaarden worden vastgesteld voor modeloverschrijdende vergelijking. De auteurs claimen dat de opname van geaggregeerde studentenantwoordverdelingen een "menselijk onderbouwde" evaluatie mogelijk maakt, waardoor onderzoekers kunnen bepalen of modelfouten overeenkomen met echte misconcepties van studenten. De dataset is bedoeld om toekomstig onderzoek te ondersteunen in evaluatie, generatie van feedback en explainable AI binnen authentieke toetscontexten. De auteurs blijven bescheiden, met de opmerking dat de huidige release beperkt is tot één jaar data en een specifiek nationaal kader, en dat de evaluatieresultaten dienen als voorlopige validatie in plaats van definitief bewijs van scorebetrouwbaarheid.