EuraGovExam: A Multilingual Multimodal Benchmark from Real-World Civil Service Exams

Probleemstelling

Bestaande benchmarks voor Vision-Language Models (VLMs) lijden vaak aan drie fundamentele tekortkomingen wanneer het gaat om het analyseren van complexe overheidsdocumenten:

1. Gebrek aan visuele authenticiteit: Veel benchmarks bieden vragen als gescheiden tekst en afbeeldingen, of gebruiken OCR-geëxtraheerde tekst. Hierdoor wordt de visuele complexiteit van echte documenten (zoals tabellen, formules, meerkolomslay-outs en specifieke lettertypes) genegeerd.
2. Taal- en scriptbias: De meeste benchmarks zijn Engels-centric of beperkt tot Latijnse scripts. Er is weinig inzicht in hoe modellen presteren met diverse scripts (zoals Hangul, Kanji/Kana, Traditioneel Chinees, Devanagari) en culturele lay-outconventies (bijv. verticale tekst in het Japans).
3. Onvoldoende evaluatie van documentbegrip: Het is onduidelijk of VLMs daadwerkelijk complexe documentlay-outs kunnen waarnemen en redeneren over de inhoud, of dat ze alleen de tekst "lezen" en de visuele context negeren.

Methodologie: EuraGovExam

De auteurs introduceren EuraGovExam, een nieuw multilinguaal en multimodaal benchmarkdataset dat is opgezet om deze gaten op te vullen.

• Data-herkomst: Het dataset bevat meer dan 8.000 gescande meerkeuzevragen afkomstig van echte civiele dienstexamens uit vijf Euraziatische regio's: Zuid-Korea, Japan, Taiwan, India en de Europese Unie.
• Domeinen: De vragen dekken 17 academische en administratieve domeinen, waaronder recht, administratie, filosofie, wiskunde en biologie.
• Ontwerpprincipes:
  • Alleen-afbeelding (Image-Only): Alle inhoud (vraagstelling, antwoordopties, tabellen, figuren, instructies) is ingebed in één enkele afbeelding. Het model ontvangt geen aparte tekstinput of OCR-resultaten.
  • Originele vorm: Vragen worden behouden in hun oorspronkelijke taal, script, typografie en lay-out zonder vertaling of herschrijving.
  • Minimale instructie: Modellen krijgen slechts een standaard instructie voor het formaat van het antwoord ("The answer is X").
• Verzamelingsproces: De data is handmatig geselecteerd en gesegmenteerd van officiële overheidsportalen om OCR-fouten en verlies van visuele structuur te voorkomen. Privacygevoelige informatie is verwijderd.
• Evaluatieprotocol: Er zijn 28 VLMs (14 gesloten bron, 14 open source) getest onder strikte voorwaarden zonder externe hulpmiddelen (zoals zoekmachines of rekenmachines).

Belangrijkste Bijdragen

1. Een hoogwaardige benchmark: EuraGovExam is de eerste dataset die echte, visueel complexe overheidsdocumenten uit meerdere regio's en scripts combineert in een "image-only" setting.
2. Ontdekking van script-gebaseerde variatie: Het paper toont aan dat de herkomst van de regio (en het bijbehorende script) een grotere invloed heeft op de prestaties van een model dan het onderwerp (domein) zelf.
3. Diagnostisch inzicht: Het biedt een gedetailleerde analyse van waar en waarom modellen falen, met name bij vragen die complexe visuele parsing en domeinspecifieke kennis vereisen.

Resultaten

De evaluatie van 28 state-of-the-art VLMs leverde de volgende cruciale bevindingen op:

• Algemene prestaties: Zelfs de beste modellen (zoals Gemini-2.5-Pro) bereiken slechts 86% nauwkeurigheid. Open-source modellen presteren aanzienlijk slechter, waarbij sommige zelfs onder de willekeurige gokkans (23,7%) zakken.
• Regionale dominantie: De variatie in prestaties veroorzaakt door de regio/script is 2,52 keer groter dan de variatie veroorzaakt door het domein.
  • Voorbeeld: Een model kan 96% scoren op Taiwanese vragen maar slechts 31% op Japanse vragen, ondanks dat beide regio's Chinese karakters gebruiken. Dit wijst op specifieke uitdagingen met Japanse verticale tekst, gemengde Kanji-Kana-scripts en furigana-notaties.
  • Modellen presteren over het algemeen slechtste in Japan (35%) en India (38%), en het beste in Taiwan (57%) en de EU (52%).
• Universele faalpunten: Er zijn 50 vragen (0,6% van de dataset) die door alle 28 modellen fout worden beantwoord. Deze vragen concentreren zich voornamelijk in India en Zuid-Korea en combineren complexe scripts (zoals Devanagari in wiskundige formules), dichte visuele elementen (geneste tabellen) en domeinspecifieke symbolen.
• Schalingsproblemen: Het verhogen van het aantal parameters (scaling) lost de prestatiekloof tussen regio's niet op. Nieuwere modelgeneraties sluiten de kloof tussen bijvoorbeeld Japan en Taiwan niet, wat suggereert dat het probleem ligt in de visuele encodering en trainingdata, niet alleen in de modelgrootte.

Betekenis en Implicaties

Het paper heeft belangrijke gevolgen voor de ontwikkeling en evaluatie van VLMs:

1. Herdefiniëring van benchmarks: Echte documentbegrip-evaluatie vereist "image-only" settings. Benchmarks die tekst apart aanbieden, onderschatten de werkelijke moeilijkheidsgraad en de beperkingen van huidige modellen.
2. Script-aware ontwikkeling: De resultaten tonen aan dat "karaktergelijkheid" (bijv. Hanzi/Kanji) niet garandeert dat modellen even goed presteren. Specifieke lay-outconventies (verticale tekst, furigana) en script-combinaties vereisen speciale aandacht in visuele encoding en tokenisatie.
3. Toepassingen in e-overheid: De benchmark is direct relevant voor het analyseren van overheidsdocumenten, het automatiseren van examens en het waarborgen van eerlijke voorbereiding op civiele dienstexamens in multiculturele omgevingen.
4. Toekomstige richtingen: De auteurs pleiten voor trainingdata die beter gebalanceerd is over scripts, en voor evaluaties die visuele complexiteit en lay-out als een eerste-orde evaluatie-as behandelen, los van het domein.

Kortom, EuraGovExam blootlegt dat de grootste uitdaging voor multimodale modellen niet het begrijpen van de inhoud is, maar het correct waarnemen en interpreteren van de visuele en linguïstische complexiteit van authentieke documenten in diverse culturele contexten.