ChartArena: Benchmarking Chart Parsing across Languages, Scenarios, and Formats

Dit artikel introduceert ChartArena, een uitgebreide tweetalige benchmark met acht grafiekfamilies over digitale, gedrukte en handgetekende scenario's met een formaat-agnostisch evaluatieprotocol, om systematisch de huidige capaciteiten en beperkingen van 26 leidende multimodale grote taalmodellen bij het parsen van diverse grafiektypen te beoordelen en te onthullen.

De kern

Stel je voor dat je een gigantische bibliotheek hebt vol met grafieken, diagrammen en schema's. Sommige zijn nette digitale tekeningen, sommige zijn foto's van papieren genomen in een rommelig kantoor, en sommige zijn ruwe schetsen op een whiteboard. Stel je nu voor dat je een robot wilt leren om deze plaatjes te lezen en ze om te zetten in een lijst met feiten (zoals een spreadsheet) of een kaart van verbindingen (zoals een stamboom).

Dit artikel introduceert ChartArena, een nieuwe, enorme "testbaan" die ontworpen is om te zien hoe goed verschillende robots (AI-modellen) in deze taak zijn.

Hier is de uitsplitsing van het artikel met eenvoudige analogieën:

1. Het Probleen: De "Taalbarrière" en het "Schone Kamer"-probleem

Voordat dit artikel verscheen, was het testen van deze robots als het vergelijken van hardlopers in een race waarbij:

• De Regels Veranderden: De ene loper moest zijn antwoord in het Engels opschrijven, een andere in het Spaans, en een derde in de morsecode. Je kon niet gemakkelijk vergelijken wie sneller was omdat de antwoorden er zo verschillend uitzagen.
• De Track Nep was: De meeste tests gebruikten alleen perfecte, door de computer gegenereerde grafieken. Het was alsoals een coureur trainen op een gladde, lege racebaan, om vervolgens te verwachten dat hij perfect zou rijden in de regen op een hobbelige zandweg. Het echte leven heeft wazige foto's, scheve hoeken en slordig handschrift, maar de oude tests negeerden dit.
• De Omvang Beperkt was: De tests keken vooral naar eenvoudige staafdiagrammen en cirkeldiagrammen. Ze negeerden complexe diagrammen zoals stroomdiagrammen (beslisbomen) of mindmaps, die meer lijken op verstrengelde webben van ideeën dan op eenvoudige getallen.

2. De Oplossing: ChartArena (De Ultieme Hindernisbaan)

De auteurs hebben ChartArena gebouwd, een nieuwe, supercomplexe test die al deze problemen oplost.

• Acht Verschillende "Obstakels": De test beslaat acht soorten grafieken, van eenvoudige getallengrafieken (staaf, lijn, cirkel) tot complexe structurele diagrammen (stroomdiagrammen, mindmaps).
• Drie "Weersomstandigheden": Elke grafiek wordt op drie manieren getest:
  1. Digitaal: Een perfect, scherp computerbeeld.
  2. Geprint: Een foto van een papieren document (die misschien iets wazig of gekanteld is).
  3. Handgetekend: Een foto van een schets op een whiteboard of in een notitieboekje (rommelige inkt, ongelijkmatige lijnen).
• Twee Talen: De test is tweetalig en behandelt zowel Engels als Chinees.
• Het "Mens-Agent"-Team: Om ervoor te zorgen dat de antwoorden correct zijn, is er een team aanpak gebruikt. Een AI maakte een eerste concept van het antwoord, waarna menselijke experts het meerdere keren controleerden en verbeterden. Dit zorgt ervoor dat de "gouden standaard"-antwoorden betrouwbaar zijn.

3. Het Score Systeem: De "Universele Vertaler"

Omdat verschillende robots hun antwoorden in verschillende formaten geven (sommigen schrijven code, anderen tabellen, weer anderen lijsten), hoe beoordeel je ze dan eerlijk?

De auteurs hebben een Universele Vertaler gemaakt.

• Voor Getallengrafieken: Of de robot nu een Python-script, een CSV-bestand of een Markdown-tabel heeft geschreven, het systeem vertaalt dit allemaal naar een eenvoudige lijst van "Wie, Wat, Hoeveel" (Triples).
• Voor Diagrammen: Of de robot nu Mermaid, Graphviz of PlantUML heeft gebruikt, het systeem vertaalt dit allemaal naar een kaart van punten en lijnen (een Gerichte Graaf).

Zodra alles is vertaald naar deze gemeenschappelijke taal, beoordeelt het systeem de prestaties. Het controleert niet alleen of de woorden exact overeenkomen; het controleert of de structuur logisch is. Het is als het nakijken van een essay van een leerling: als ze de juiste synoniemen gebruiken en de kern van de zaak begrijpen, krijgen ze punten, zelfs als de spelling niet perfect is.

4. De Resultaten: Wie Won de Race?

De auteurs hebben 26 verschillende AI-modellen getest op deze nieuwe baan. Dit is wat ze ontdekten:

• De "Big Tech"-Robots Leiden: De meest geavanceerde, betaalde modellen (zoals Gemini 3.1 Pro) zijn momenteel het beste in de taak. Echter, de beste gratis, open-source modellen halen hen zeer snel in.
• De "Documentlezers" zijn Eendagsvliegen: Sommige modellen zijn erg goed in het lezen van documenten en eenvoudige getallengrafieken. Maar wanneer je ze een complex stroomdiagram of een mindmap laat zien, raken ze de weg kwijt. Ze missen de "wereldkennis" om te begrijpen hoe ideeën met elkaar verbonden zijn.
• De "Specialisten" zijn Te Gespecialiseerd: Er zijn modellen die specifelijk voor grafieken zijn gebouwd. Hoewel ze oké zijn bij eenvoudige staafdiagrammen, falen ze vaak volledig bij diagrammen of handgetekende schetsen. Ze hebben niet genoeg variatie geleerd om de echte wereld aan te kunnen.
• De Grootste Uitdagingen:
  • Radar Charts: Deze cirkelvormige grafieken (zoals een spinnenweb) zijn het moeilijkst voor iedereen om te lezen.
  • Handgetekende Schetsen: Wanneer de input een rommelige foto van een schets is, daalt de prestatie voor alle modellen aanzienlijk.

5. De Conclusie

Het artikel concludeert dat hoewel AI beter wordt in het lezen van grafieken, er nog steeds een grote kloof bestaat tussen wat ze kunnen in een perfect laboratorium en wat ze kunnen in de rommelige echte wereld.

ChartArena biedt een eerlijke, verenigde manier om vooruitgang te meten. Het laat ons precies zien waar de robots falen (complexe diagrammen, wazige foto's), zodat ontwikkelaars weten waar ze hun inspanningen op moeten richten om echt betrouwbare AI voor het lezen van grafieken te bouwen.

Kortom: We hebben eindelijk een eerlijke racebaan met obstakels uit de echte wereld, en we weten nu precies welke robots klaar zijn voor de echte wereld en welke nog meer training nodig hebben.

Technische samenvatting

Technische Samenvatting: ChartArena

Probleemstelling

Ondanks de snelle vooruitgang van Multimodale Large Language Models (MLLM's) in het analyseren van grafieken, kampt het vakgebied met een gebrek aan een verenigd, allesomvattend evaluatiekader. Huidig onderzoek wordt gehinderd door drie cumulerende fragmentatieproblemen:

1. Incompatibiliteit van Output: Modellen genereren resultaten in onderling incompatibele syntactische formaten (bijv. Markdown, JSON, CSV, Python-code, SVG, Mermaid), wat directe vergelijking tussen modellen onmogelijk maakt.
2. Beperkte Benchmark-omvang: Bestaande benchmarks richten zich voornamelijk op een beperkte set numerieke grafieken (staaf-, lijn-, cirkeldiagrammen) en negeren grotendeels structureel verschillende diagrammatische grafieken (flowcharts, mind maps) die een begrip op grafkniveau vereisen.
3. Geïdealiseerde Datacondities: Datasets worden gedomineerd door zuivere digitale weergaven, waarbij geen rekening wordt gehouden met realistische visuele verstoringen zoals geprinte foto's (met lichtinval/perspectiefvervorming) en handgetekende schetsen (met inktinconsistenties en ruis).

Deze hiaten voorkomen dat de gemeenschap een eerlijke beoordeling krijgt van de capaciteiten van modellen over diverse grafiektypen, talen en visuele scenario's heen.

Methodologie

Om deze uitdagingen aan te pakken, introduceren de auteurs ChartArena, een uitgebreide tweetalige benchmark, en een formaat-agnostisch evaluatieprotocol.

1. ChartArena Benchmark

• Dekking: De benchmark beslaat acht grafiekfamilies: zes numerieke typen (staaf-, lijn-, cirkel-, radar-, boxplot- en combinatiegrafieken) en twee diagrammatische typen (flowcharts, mind maps).
• Visuele Scenario's: Elk grafiektype wordt geëvalueerd over drie verschillende visuele condities:
  • Digitale weergaven (clean).
  • Geprinte foto's (vastgelegd van fysieke documenten).
  • Handgetekende foto's (geschetst op whiteboards/notitieblokken).
• Talen: Alle inhoud wordt aangeboden in zowel het Engels als het Chinees.
• Dataset Constructie: De dataset bestaat uit 2.400 monsters (50 per setting). Deze is geconstrueerd via een mens-agent collaboratieve annotatiepijplijn:
  • MLLM's genereren grove concepten (Markdown voor numeriek, Mermaid voor diagrammen).
  • Menselijke annotatoren voeren meerfasige verificatie uit om structurele elementen (nodes, edges, assen) en semantische inhoud (labels, waarden) te corr corrected.
  • Meningsverschillen over ambigue waarden worden door meerdere annotatoren opgelost om een hoge betrouwbaarheid te garanderen.

2. Formaat-Agnostisch Evaluatieprotocol

Om een eerlijke vergelijking mogelijk te maken tussen modellen met heterogene outputs, normaliseert het protocol alle voorspellingen naar twee canonieke semantische ruimtes voordat er gescoord wordt:

• Genormaliseerd Triple View (Numerieke Grafieken): Alle outputs (Markdown, CSV, JSON, Code, etc.) worden in kaart gebracht naar een set semantische triples (header, entity, value). Deze stap omvat lexicale en numerieke canonicalisering (bijv. het behandelen van "3.0" en "3" als identiek).
• Directed Graph View (Diagrammatische Grafieken): Diagramtalen (Mermaid, Graphviz, PlantUML, etc.) worden genormaliseerd naar een gerichte graaf met gelabelde nodes en edges, waarbij syntactische verschillen worden geabstraheerd om topologische en hiërarchische structuren te vangen.

Scoring Metrics:

• Structuur-Bewuste Metrics: Scoring is gebaseerd op structurele correctheid in plaats van string-gelijkenis.
  • Numeriek: Intersection-over-Union (IoU) van triple-sets, waarbij Levenshtein-afstand wordt gebruikt voor tekst en relatieve foutmarges voor getallen.
  • Diagrammatisch: Node- en edge-matching via het Hongaarse algoritme, met een hogere weging op edges om topologische fouten te bestraffen.
• Aggregatie: Resultaten worden gerapporteerd als Exact Match (EM) en mean Average Precision (mAP) over drie tolerantieniveaus (strict, slight, high). De primaire gerapporteerde metric is mAPhigh.

Belangrijkste Resultaten

De auteurs hebben 26 leidende modellen geëvalueerd, gecategoriseerd in General-purpose MLLM's, Document Parsing MLLM's en Expert Chart Parsers.

1. Proprietary vs. Open-Source: Toonaangevende propriëtaire modellen (bijv. Gemini 3.1 Pro) leiden het totaaloverzicht (gemiddelde mAP van 59.2 EN / 73.2 ZH). Echter, de sterkste open-source systemen (bijv. Qwen3.5-35B-A3B, Kimi K2.5) sluiten het gat snel en behalen concurrerende scores in de topklasse.
2. Numerieke vs. Diagrammatische Prestaties:
   • Document Parsing MLLM's (bijv. HunyuanOCR) gaan redelijk goed om met numerieke grafieken, maar vallen sterk terug op diagrammatische structuren (flowcharts, mind maps). Dit suggereert dat het afleiden van impliciete nodes en hiërarchieën bredere wereldkennis vereist die aanwezig is in grotere general-purpose modellen.
   • Expert Chart Parsers blijven beperkt tot smalle grafiekfamilies. Veel toegewijde parsers (bijv. ChartAst, TinyChart) kunnen helemaal geen diagrammatische grafieken aan, en zelfs degenen die dat wel kunnen (bijv. RRVF) blijven aanzienlijk achter bij general-purpose MLLM's qua algemene prestaties.
3. Specifieke Uitdagingen:
   • Radar Charts: Geïdentificeerd als de moeilijkste numerieke categorie voor alle modellen, waarschijnlijk door de moeilijkheid van het schatten van hoekwaarden en de schaarste in trainingsdata.
   • Handgetekende Scenario's: De prestaties nemen substantieel af voor handgetekende inputs vergeleken met digitale weergaven.
   • Formaatstabiliteit: Het evaluatieprotocol blijkt robuust voor de meeste formaten (Markdown, JSON, Mermaid), maar SVG (voor numerieke grafieken) en PlantUML (voor flowcharts) vertonen aanzienlijke prestatiedalingen, wat wijst op specifieke problemen met de compatibiliteit tussen formaat en structuur.

Betekenis en Claims

Het artikel claimt dat ChartArena de eerste verenigde basis biedt voor het evalueren van grafiekparsing over het volledige spectrum van grafiektypen, visuele scenario's en talen. De betekenis ligt in:

• Blootleggen van Capaciteitsverschillen: Het onthult dat huidige "expert" parsers nog niet general-purpose zijn en dat zelfs leidende modellen worstelen met diagrammatische structuren en niet-ideale visuele condities.
• Standaardiseren van Evaluatie: Door een deterministisch, formaat-agnostisch normalisatieprotocol te introduceren, maakt het een eerlijke vergelijking tussen paradigma's mogelijk, waardoor het veld weg beweegt van gefragmenteerde, formaatspecifieke benchmarks.
• Realistische Beoordeling: Door gedrukte en handgetekende scenario's op te nemen, verschuift het de focus van de evaluatie van gecontroleerde laboratoriumomgevingen naar realistische implementatiecondities.

De auteurs positioneren ChartArena als een "blijvende testomgeving" die bedoeld is om toekomstig onderzoek te sturen naar meer betrouwbare, reproduceerbare en werkelijk general-purpose systemen voor het begrijpen van grafieken.