ChartArena: Benchmarking Chart Parsing across Languages, Scenarios, and Formats

Dieses Paper stellt ChartArena vor, einen umfassenden zweisprachigen Benchmark, der acht Diagrammfamilien über digitale, gedruckte und handgezeichnete Szenarien hinweg mit einem formatagnostischen Evaluierungsprotokoll umfasst, um die aktuellen Fähigkeiten und Grenzen von 26 führenden multimodalen großen Sprachmodellen bei der Analyse diverser Diagrammtypen systematisch zu bewerten und aufzuzeigen.

Das Wesentliche

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek voller Diagramme, Grafiken und Zeichnungen. Einige sind ordentliche Computergrafiken, manche sind Fotos von Papieren aus einem unordentlichen Büro und einige sind grobe Skizzen auf einem Whiteboard. Stellen Sie sich nun vor, Sie möchten einem Roboter beibringen, diese Bilder zu lesen und sie in eine Liste von Fakten (wie eine Tabelle) oder eine Karte von Verbindungen (wie einen Stammbaum) umzuwandeln.

Dieses Paper stellt ChartArena vor, eine neue, massive „Teststrecke“, die darauf ausgelegt ist, zu prüfen, wie gut verschiedene Roboter (KI-Modelle) diese Aufgabe bewältigen können.

Hier ist die Aufschlüsselung des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Die „Sprachbarriere“ und das „Sauberkeits-Problem“

Bevor es dieses Paper gab, war das Testen dieser Roboter wie der Vergleich von Läufern in einem Rennen, bei dem:

• Die Regeln sich änderten: Ein Läufer musste seine Antwort auf Englisch schreiben, ein anderer auf Spanisch und ein dritter in Morsecode. Man konnte nicht einfach vergleichen, wer schneller war, weil die Antworten so unterschiedlich aussähen.
• Die Strecke künstlich war: Die meisten Tests verwendeten nur perfekte, computergenerierte Diagramme. Es war, als würde man einen Fahrer nur auf einer glatten, leeren Rennstrecke trainieren und dann erwarten, dass er perfekt im Regen auf einer holprigen Schotterstraße fährt. Das echte Leben hat unscharfe Fotos, schiefe Winkel und unordentliche Handschriften, aber die alten Tests ignorierten das.
• Der Umfang zu eng war: Die Tests konzentrierten sich meist auf einfache Balkendiagramme und Kreisdiagramme. Sie ignorierten komplexe Diagramme wie Flussdiagramme (Entscheidungsbäume) oder Mindmaps, die eher wie ein verschlungenes Netz von Ideen als wie einfache Zahlen sind.

2. Die Lösung: ChartArena (Der ultimative Hindernisparcours)

Die Autoren haben ChartArena entwickelt, einen neuen, super-umfassenden Test, der all die oben genannten Probleme löst.

• Acht verschiedene „Hindernisse“: Der Test deckt acht Arten von Diagrammen ab, von einfachen Zahlendiagrammen (Balken-, Linien-, Kreisdiagramme) bis hin zu komplexen strukturellen Diagrammen (Flussdiagramme, Mindmaps).
• Drei „Wetterbedingungen“: Jedes Diagramm wird auf drei Arten getestet:
  1. Digital: Ein perfektes, gestochen scharfes Computerbild.
  2. Gedruckt: Ein Foto eines Papierdokuments (das leicht unscharf oder gekippt sein kann).
  3. Handgezeichnet: Ein Foto einer Skizze auf einem Whiteboard oder in einem Notizbuch (unordentliche Tinte, unebene Linen).
• Zwei Sprachen: Der Test ist zweisprachig und deckt sowohl Englisch als auch Chinesisch ab.
• Das „Mensch-Agent-Team“: Um sicherzustellen, dass die Antworten korrekt sind, wurde ein Team-Ansatz verwendet. Eine KI erstellte einen ersten Entwurf der Antwort, und dann prüften und korrigierten menschliche Experten diese mehrfach. Dies stellt sicher, dass die „Goldstandard“-Antworten zuverlässig sind.

3. Das Bewertungssystem: Der „Universalübersetzer“

Da verschiedene Roboter Antworten in unterschiedlichen Formaten ausgeben (manche schreiben Code, manche Tabellen, manche Listen), wie bewertet man sie fair?

Die Autoren haben einen Universalübersetzer geschaffen.

• Für Zahlen-Diagramme: Egal, ob der Roboter ein Python-Skript, eine CSV-Datei oder eine Markdown-Tabelle geschrieben hat, das System übersetzt alles in eine einfache Liste von „Wer, Was, Wie viel“ (Tripel).
• Für Diagramme: Egal, ob der Roboter Mermaid, Graphviz oder PlantUML verwendet hat, das System übersetzt alles in eine Karte aus Punkten und Linien (einen gerichteten Graphen).

Sobald alles in diese gemeinsame Sprache übersetzt wurde, bewertet das System sie. Es prüft nicht nur, ob die Wörter exakt übereinstimmen, sondern ob die Struktur Sinn ergibt. Es ist wie das Bewerten eines Aufsatzes eines Schülers: Wenn sie die richtigen Synonyme verwenden und die Hauptidee richtig erfassen, erhalten sie Punkte, selbst wenn die Rechtschreibung nicht perfekt ist.

4. Die Ergebnisse: Wer hat das Rennen gewonnen?

Die Autoren haben 26 verschiedene KI-Modelle auf dieser neuen Strecke getestet. Hier ist, was sie herausgefunden haben:

• Die „Big Tech“-Roboter führen: Die fortschrittlichsten, kostenpflichtigen Modelle (wie Gemini 3.1 Pro) sind derzeit am besten in diesem Job. Die besten kostenlosen Open-Source-Modelle holen jedoch sehr schnell auf.
• Die „Dokumenten-Leser“ sind Ein-Trick-Pferde: Einige Modelle sind großartig darin, Dokumente und einfache Zahlendiagramme zu lesen. Aber wenn man ihnen ein komplexes Flussdiagramm oder eine Mindmap zeigt, verlieren sie den Faden. Ihnen fehlt das „Weltwissen“, um zu verstehen, wie Ideen zusammenhängen.
• Die „Spezialisten“ sind zu spezialisiert: Es gibt Modelle, die speziell für Diagramme gebaut wurden. Während sie bei einfachen Balkendiagrammen ganz okay sind, scheitern sie oft völlig, wenn sie mit Diagrammen oder handgezeichneten Skizzen konfrontiert werden. Sie haben nicht genug Vielfalt gelernt, um mit der realen Welt umzugehen.
• Die größten Herausforderungen:
  • Netzdiagramme (Radar Charts): Diese kreisförmigen Diagramme (wie ein Spinnennetz) sind für alle am schwersten zu lesen.
  • Handgezeichnete Skizzen: Wenn der Input ein unordentliches Foto einer Skizze ist, sinkt die Leistung für alle Modelle signifikant.

5. Das Fazit

Das Paper kommt zu dem Schluss, dass KI zwar besser darin wird, Diagramme zu lesen, aber immer noch eine große Lücke zwischen dem, was sie in einem perfekten Laborumfeld leisten können, und dem, was sie in der unordentlichen realen Welt leisten können, besteht.

ChartArena bietet einen fairen, einheitlichen Weg, um Fortschritte zu messen. Es zeigt uns genau, wo die Roboter scheitern (komplexe Diagramme, unordentliche Fotos), damit Entwickler wissen, wo sie ihre Bemühungen konzentrieren müssen, um wirklich zuverlässige Diagramm-lesende KIs zu bauen.

Kurz gesagt: Wir haben endlich eine faire Rennstrecke mit realen Hindernissen, und wir wissen nun genau, welche Roboter bereit für die reale Welt sind und welche noch mehr Training benötigen.

Technische Zusammenfassung

Technisches Resümee: ChartArena

Problemstellung

Trotz des rasanten Fortschritts von Multimodalen Large Language Models (MLLMs) bei der Chartenanalyse mangelt es dem Fachbereich an einem einheitlichen, umfassenden Evaluierungsrahmen. Die aktuelle Forschung wird durch drei kumulierende Fragmentierungsprobleme behindert:

1. Inkompatibilität der Ausgaben: Modelle generieren Ergebnisse in untereinander inkompatiblen syntaktischen Formaten (z. B. Markdown, JSON, CSV, Python-Code, SVG, Mermaid), was einen direkten modellübergreifenden Vergleich praktisch unmöglich macht.
2. Eng gefasster Benchmark-Umfang: Bestehende Benchmarks konzentrieren sich vorwiegend auf eine begrenzte Auswahl numerischer Diagramme (Balken-, Linien-, Kreisdiagramme) und ignorieren weitgehend strukturell unterschiedliche diagrammatische Darstellungen (Flussdiagramme, Mindmaps), die ein Verständnis auf Graph-Ebene erfordern.
3. Idealisierte Datenbedingungen: Datensätze werden von makellosen digitalen Renderings dominiert und versäumen es, reale visuelle Störungen zu berücksichtigen, wie etwa gedruckte Fotos (mit Beleuchtungs-/Perspektivverzerrung) oder handgezeichnete Skizzen (mit Tinteninkonsistenzen und Rauschen).

Diese Lücken verhindern, dass die Fachwelt eine ehrliche Einschätzung der Modellfähigkeiten über verschiedene Diagrammtypen, Sprachen und visuelle Szenarien hinweg erhält.

Methodik

Um diese Herausforderungen zu adressieren, führen die Autoren ChartArena ein, einen umfassenden bilingualen Benchmark, sowie ein formatagnostisches Evaluierungsprotokoll.

1. ChartArena Benchmark

• Abdeckung: Der Benchmark umfasst acht Diagrammfamilien: sechs numerische Typen (Balken-, Linien-, Kreis-, Netz-, Boxplot- und Kombinationsdiagramme) und zwei diagrammatische Typen (Flussdiagramme, Mindmaps).
• Visuelle Szenarien: Jeder Diagrammtyp wird unter drei verschiedenen visuellen Bedingungen evaluiert:
  • Digitale Renderings (sauber).
  • Gedruckte Fotos (Aufnahmen von physischen Dokumenten).
  • Handgezeichnete Fotos (Skizzen auf Whiteboards/Notizbüchern).
• Sprachen: Alle Inhalte sind sowohl auf Englisch als auch auf Chinesisch verfügbar.
• Datensatz-Konstruktion: Der Datensatz umfasst 2.400 Stichproben (50 pro Einstellung). Er wird über eine mensch-agenten-kollaborative Annotationspipeline erstellt:
  • MLLMs generieren grobe Entwürfe (Markdown für numerische, Mermaid für Diagramme).
  • Menschliche Annotatoren führen eine mehrstufige Verifizierung durch, um strukturelle Elemente (Knoten, Kanten, Achsen) und semantische Inhalte (Labels, Werte) zu korrigieren.
  • Unstimmigkeiten bei zweideutigen Werten werden durch mehrere Annotatoren bereinigt, um eine hohe Zuverlässigkeit zu gewährleisten.

2. Formatagnostisches Evaluierungsprotokoll

Um einen fairen Vergleich zwischen Modellen mit heterogenen Ausgaben zu ermöglichen, normalisiert das Protokoll alle Vorhersagen vor der Bewertung in zwei kanonische semantische Räume:

• Normalisierte Tripel-Ansicht (Numerische Diagramme): Alle Ausgaben (Markdown, CSV, JSON, Code usw.) werden auf eine Menge semantischer Tripel (Header, Entität, Wert) abgebildet. Dieser Schritt beinhaltet eine lexikalische und numerische Kanonisierung (z. B. die Behandlung von „3.0“ und „3“ als identisch).
• Gerichtete Graph-Ansicht (Diagrammatische Diagramme): Diagrammsprachen (Mermaid, Graphviz, PlantUML usw.) werden in einen gerichteten Graphen mit beschrifteten Knoten und Kanten normalisiert, wobei syntaktische Unterschiede abstrahiert werden, um topologische und hierarchische Strukturen zu erfassen.

Bewertungsmetriken:

• Strukturbewusste Metriken: Die Bewertung basiert auf der strukturellen Korrektheit statt auf der String-Ähnlichkeit.
  • Numerisch: Intersection-over-Union (IoU) von Tripel-Mengen, unter Verwendung der Levenshtein-Distanz für Text und relativer Fehler-Schwellenwerte für Zahlen.
  • Diagrammatisch: Knoten- und Kantenabgleich mittels des Hungarian-Algorithmus, mit höherer Gewichtung auf Kanten, um topologische Fehler zu sanktionieren.
• Aggregation: Die Ergebnisse werden als Exact Match (EM) und mean Average Precision (mAP) über drei Toleranzstufen (streng, leicht, hoch) berichtet. Die primäre berichtete Metrik ist mAPhigh.

Kernergebnisse

Die Autoren evaluierten 26 führende Modelle, kategorisiert in allgemeine MLLMs, Dokumenten-Parsing-MLLMs und spezialisierte Diagramm-Parser.

1. Proprietär vs. Open-Source: Frontier-Modelle proprietärer Anbieter (z. B. Gemini 3.1 Pro) führen insgesamt (Durchschnitt 59,2 EN / 73,2 ZH mAP). Die stärksten Open-Source-Systeme (z. B. Qwen3.5-35B-A3B, Kimi K2.5) schließen jedoch schnell auf und erreichen im Top-Segment konkurrenzfähige Werte.
2. Numerische vs. Diagrammatische Leistung:
   • Dokumenten-Parsing-MLLMs (z. B. HunyuanOCR) bewältigen numerische Diagramme recht gut, fallen jedoch bei diagrammatischen Strukturen (Flussdiagramme, Mindmaps massiv zurück. Dies deutet darauf hin, dass die Inferenz impliziter Knoten und Hierarchien ein breiteres Weltwissen erfordert, das in größeren, allgemeinen Modellen vorhanden ist.
   • Spezialisierte Diagramm-Parser bleiben auf enge Diagrammfamilien beschränkt. Viele dedizierte Parser (z. B. ChartAst, TinyChart) können diagrammatische Diagramme überhaupt nicht verarbeiten, und selbst jene, die dies können (z. B. RRVF), hinken den allgemeinen MLLMs in der Gesamtleistung deutlich hinterher.
3. Spezifische Herausforderungen:
   • Netzdiagramme (Radar Charts): Wurden über alle Modelle hinweg als die schwierigste numerische Kategorie identifiziert, was wahrscheinlich auf die Schwierigkeit der Schätzung von Winkelwerten und die geringe Verfügbarkeit in Trainingsdaten zurückzuführen ist.
   • Handgezeichnete Szenarien: Die Leistung sinkt bei handgezeichneten Eingaben im Vergleich zu digitalen Renderings erheblich.
   • Formatstabilität: Das Evaluierungsprotokoll erweist sich für die meisten Formate (Markdown, JSON, Mermaid) als robust, aber SVG (für numerische Diagramme) und PlantUML (für Flussdiagramme) zeigen signifikante Leistungseinbußen, was auf spezifische Probleme bei der Kompatibilität von Format und Struktur hindeutet.

Bedeutung und Ansprüche

Das Paper behauptet, dass ChartArena die erste vereinheitlichte Grundlage für die Evaluierung der Diagrammanalyse über das gesamte Spektrum an Diagrammtypen, visuellen Szenarien und Sprachen hinweg bietet. Seine Bedeutung liegt in:

• Aufzeigen von Kapazitätslücken: Es zeigt auf, dass aktuelle „Experten“-Parser noch nicht generalisierbar sind und selbst führende Modelle mit diagrammatischen Strukturen und nicht idealen visuellen Bedingungen kämpfen.
• Standardisierung der Evaluierung: Durch die Einführung eines deterministischen, formatagnostischen Normalisierungsprotokolls ermöglicht es einen fairen, paradigmenübergreifenden Vergleich und führt das Feld weg von fragmentierten, formatspezifischen Benchmarks.
• Realistische Bewertung: Durch die Einbeziehung von gedruckten und handgezeichneten Szenarien verschiebt es den Fokus der Evaluierung von kontrollierten Laborbedingungen hin zu realistischen Einsatzbedingungen.

Die Autoren positionieren ChartArena als ein „dauerhaftes Testfeld“, das die zukünftige Forschung zu zuverlässigeren, reproduzierbareren und wahrhaft generalisierbaren Systemen zum Verständnis von Diagrammen leiten soll.