💬 NLP

Self-Ensembling Vision-Language Models for Chart Data Extraction

Dieser Artikel schlägt eine Methode für ein selbst-ensemble-basiertes Vision-Language-Modell vor, die mehrere abgetastete tabellarische Ausgaben aggregiert, um die Genauigkeit und Zuverlässigkeit der Extraktion von Diagramm-zu-Tabelle-Daten zu verbessern, was durch einen neuen komplexen Benchmark (WB-ChartExtract) validiert wird, der signifikante Leistungssteigerungen gegenüber Single-Pass-Ansätzen zeigt.

Ursprüngliche Autoren: Thomas Berkane, Qianyi Wang, Maimuna S. Majumder

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thomas Berkane, Qianyi Wang, Maimuna S. Majumder

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Diagramme sind „gesperrte" Bilder

Stellen Sie sich vor, Sie haben ein schönes, farbenfrohes Diagramm in einem PDF-Bericht oder auf einer Website. Es zeigt Verkaufszahlen, Temperaturveränderungen oder Bevölkerungswachstum. Für einen Menschen ist es leicht, einen Blick darauf zu werfen und den Trend zu verstehen. Aber für einen Computer ist dieses Diagramm nur ein Bild (ein „rasterisiertes Bild"). Die eigentlichen Zahlen sind in den Pixeln gefangen.

Wenn Sie diese Zahlen verwenden möchten, um Mathematik zu betreiben, sie mit anderen Daten zu vergleichen oder ein neues Modell zu erstellen, können Sie sie nicht einfach kopieren und einfügen. Sie müssen sie manuell abtippen, was langsam, langweilig und voller Tippfehler ist.

Die aktuelle Lösung (und ihr Fehler)

Vor kurzem haben wir „Vision-Language Models" (VLMs) entwickelt – KI-Gehirne, die ein Bild betrachten und es „lesen" können. Sie können eine KI fragen: „Was sind die Zahlen in diesem Diagramm?", und sie wird versuchen, sie in einer Tabelle aufzuschreiben.

Allerdings sind diese KIs ein wenig wie ein nervöser Schüler bei einer Prüfung. Wenn Sie denselben Schüler dieselbe Frage zweimal stellen, könnte er Ihnen zwei leicht unterschiedliche Antworten geben.

Lauf 1: „Der Umsatz betrug 100, 105 und 102."
Lauf 2: „Der Umsatz betrug 100, 104 und 103."

Manchmal übersieht die KI eine Zahl ganz; manchmal erfindet sie eine Zahl, die nicht vorhanden ist. Aktuelle Methoden nehmen in der Regel nur die erste Antwort, die die KI gibt, und hoffen auf das Beste. Das ist riskant, da diese einzelne Vermutung falsch sein könnte.

Die neue Idee: Das „Komitee von Experten"

Die Autoren dieses Papers schlagen eine clevere Lösung vor: Vertrauen Sie nicht einer einzigen Vermutung; vertrauen Sie dem Durchschnitt vieler Vermutungen.

Sie haben eine Methode namens Self-Ensembling entwickelt. Stellen Sie es sich so vor:

Die Umfrage: Anstatt die KI einmal zu fragen, stellen Sie ihr dieselbe Diagrammfrage 20 Mal.
Die Menge: Sie erhalten 20 verschiedene Tabellen zurück. Manche haben 100, manche 101, manche 99.
Der Konsens: Das System richtet alle 20 Tabellen aus. Für jede einzelne Zahl in der Tabelle betrachtet es alle 20 Versionen und wählt den Median (den mittleren Wert) aus.
- Wenn 19 Personen „100" sagen und eine Person „1000" (ein Fehler), ignoriert das System den Ausreißer und entscheidet sich für 100.
- Wenn die KI verwirrt ist und verschiedene Zahlen angibt, ist der „Mittelweg" in der Regel viel genauer als jede einzelne Vermutung.

Bonus-Features: Wissen, wann man aufhören soll und wie sicher man ist

Das Paper fügt diesem Prozess zwei intelligente Werkzeuge hinzu:

Das „Stoppschild" (Konvergenzerkennung): Die KI 20 Mal zu fragen kostet Zeit und Geld. Das System prüft nach jeder paarweise Vermutung: „Stabilisieren sich die Antworten?" Wenn die letzten paar Vermutungen im Wesentlichen gleich sind, sagt das System: „Okay, wir haben eine solide Antwort, lassen Sie uns aufhören." Dies spart Geld bei einfachen Diagrammen.
Das „Vertrauensmessgerät" (Unsicherheitsschätzung): Wenn die 20 Vermutungen der KI alle sehr nahe beieinander liegen, weiß das System, dass es sich sicher ist. Wenn die Vermutungen völlig durcheinander sind (manche sagen 50, manche 90), markiert das System diese spezifische Zahl als „unzuverlässig". Dies hilft Benutzern zu erkennen, welche Teile der Daten sie vertrauen können und welche Teile eine menschliche Überprüfung benötigen.

Der neue Test: „Der harte Modus"**

Die Autoren erkannten, dass die Standardtests, die verwendet werden, um diese KIs zu überprüfen (wie ChartQA), zu einfach waren. Sie waren wie ein Fahrschultest auf einem leeren Parkplatz. Die Diagramme waren einfach, und die Zahlen waren oft direkt auf den Balken gedruckt, was es der KI leicht machte, den Text einfach nur „zu lesen", anstatt das Diagramt tatsächlich zu verstehen.

Um dies zu beheben, entwickelten sie einen neuen, viel schwierigeren Test namens WB-ChartExtract.

Quelle: Sie verwendeten echte Daten der Weltbank.
Schwierigkeit: Diese Diagramme sind überfüllt, komplex und haben keine aufgedruckten Zahlen. Die KI muss tatsächlich die Höhe eines Balkens oder die Position einer Linie messen, um die Zahl zu erraten.
Vielfalt: Sie verwendeten vier verschiedene Diagrammtypen und vier verschiedene Software-Tools zu deren Erstellung, um sicherzustellen, dass die KI nicht nur einen Stil auswendig lernen kann.
Umfang: Im Durchschnitt enthalten diese Diagramme 7-mal mehr Datenpunkte als die alten Tests.

Die Ergebnisse

Als sie ihre „Komitee von Experten"-Methode sowohl auf den einfachen Tests als auch auf den neuen harten Tests ausführten:

Es funktionierte überall: Die Methode verbesserte die Genauigkeit für fast jedes KI-Modell, das sie ausprobierten.
Große Gewinne bei schwierigen Diagrammen: Auf dem schwierigen neuen Test verbesserte die Methode die Genauigkeit um bis zu 23 % im Vergleich zum einmaligen Fragen der KI.
Kosten vs. Nutzen: Obwohl das häufigere Fragen der KI etwas mehr kostet, stoppt das System bei einfachen Diagrammen frühzeitig, wodurch die Gesamtkosten sehr niedrig bleiben (oft unter 15 $ für einen gesamten Datensatz).

Zusammenfassung

Das Paper sagt: „KI ist großartig im Lesen von Diagrammen, aber sie ist inkonsistent. Wenn Sie sie dieselbe Frage viele Male stellen und die mittlere Antwort nehmen, erhalten Sie ein viel genaueres Ergebnis. Wir haben auch einen härteren Test entwickelt, um zu beweisen, dass dies bei realen, chaotischen Daten funktioniert, und wir haben ein 'Vertrauensmessgerät' hinzugefügt, damit Sie wissen, wann Sie der KI vertrauen können."

Wichtiger Hinweis: Die Autoren stellen ausdrücklich fest, dass ihre Methode durch die eigenen Fehler der KI begrenzt ist. Wenn die KI einen bestimmten Diagrammtyp konsequent missversteht, wird das 20-malige Fragen dies nicht beheben. Außerdem ist ihr neuer Test synthetisch (computergeneriert), sodass er zwar reale Daten nachahmt, aber möglicherweise nicht jede seltsame Artefakt erfasst, die in einem gescannten Dokument von schlechter Qualität zu finden ist.

Technischer Überblick: Selbst-Ensemble-Methoden für Vision-Language-Modelle zur Extraktion von Diagrammdaten

Problemstellung
Diagramme sind ein primäres Medium zur Vermittlung quantitativer Informationen in wissenschaftlichen und politischen Kontexten, doch die zugrundeliegenden Daten sind häufig in gerasterten Bildformaten gespeichert, was sie für Suchvorgänge, Verknüpfungen oder nachgelagerte Analysen unzugänglich macht. Obwohl eine manuelle Digitalisierung möglich ist, ist sie langsam und fehleranfällig. Die automatische Extraktion von Diagrammen zu Tabellen hat sich als Lösung etabliert, wobei neuere Ansätze Vision-Language-Modelle (VLMs) nutzen, um Diagramme direkt „zu lesen" und textbasierte Tabellendarstellungen auszugeben. Allerdings weisen bestehende VLM-basierte Methoden eine gewisse Sprödigkeit auf: Ein einziger Durchlauf liefert oft inkonsistente Ergebnisse, wie etwa das Weglassen von Datenpunkten, das Erfinden von Werten (Halluzinationen) oder das falsche Ablesen von Achsen. Darüber hinaus zeichnen sich aktuelle Benchmarks (z. B. ChartQA) häufig durch einfache Diagramme mit begrenzter stilistischer Variation und gedruckten Wertbeschriftungen aus, was zu gesättigten Leistungsmetriken führt, die die Schwierigkeit realer, komplexer Abbildungen nicht widerspiegeln.

Methodik
Die Autoren schlagen eine modellagnostische Selbst-Ensemble-Methode vor, die die Stochastik von VLMs nutzt, um die Extraktionsgenauigkeit und -zuverlässigkeit zu verbessern. Der Kernworkflow umfasst:

Iteratives Sampling: Für ein gegebenes Diagrammbild wird das Basis-VLM wiederholt (bei einer spezifischen Sampling-Temperatur) abgefragt, um mehrere potenzielle tabellarische Ausgaben im TSV-Format zu generieren.
Parsing und Normalisierung: Die Rohausgaben werden in TSV geparst, wobei Zeilen und Spalten bei Bedarf repariert werden. Zellen werden in numerische Werte umgewandelt, wobei Artefakte wie Währungssymbole entfernt werden, während nicht-numerische Zeichenketten als fehlend behandelt werden.
Zeilen- und Spaltenausrichtung: Da die Schreibweise und Reihenfolge von Beschriftungen zwischen den Stichproben variieren können, gruppiert die Methode Zeilen- und Spaltenbeschriftungen unabhängig voneinander mittels Average Normalized Levenshtein Similarity (ANLS). Beschriftungen werden in kanonische Cluster gruppiert, wenn sie eine Ähnlichkeitsschwelle erfüllen und nicht aus derselben Stichprobentabelle stammen (Vermeidung von Duplikaten innerhalb einer Tabelle). Spurious-Cluster, die in weniger als 20 % der Tabellen auftreten, werden entfernt.
Zellenweise Aggregation: Für jede ausgerichtete Zelle (Zeile, Spalte) sammelt die Methode alle numerischen Vorhersagen aus den Stichprobentabellen. Ein Konsenswert wird als Median dieser Werte berechnet.
Konvergenzerkennung: Der Sampling-Prozess umfasst einen Mechanismus zur frühen Beendigung. Das Sampling wird gestoppt, wenn bei einer festgelegten Anzahl aufeinanderfolgender Aktualisierungen mindestens 95 % der aggregierten Zellwerte sich um nicht mehr als eine relative Toleranz von 1 % ändern. Dies balanciert die Rechenkosten mit marginalen Genauigkeitsgewinnen.
Unsicherheitsschätzung: Um die Zuverlässigkeit zu bewerten, berechnet die Methode die Relative Median Absolute Deviation (MAD) für jede Zelle. Eine hohe Streuung über die Stichproben hinweg deutet auf ein geringes Extraktionsvertrauen hin und liefert ein Signal für Benutzer, Ergebnisse zu überprüfen oder weitere Stichproben anzufordern.

Hauptbeiträge

Selbst-Ensemble-Framework: Ein modellagnostischer Ansatz, der mehrere VLM-Ausgaben auf Zellebene aggregiert, um eine genauere Konsenstabelle zu erzeugen, Ausreißervorhersagen und Halluzinationen unterdrückt.
Konvergenzerkennung: Ein Mechanismus zur Identifizierung, wann zusätzliche Stichproben das aggregierte Ergebnis unwahrscheinlich verändern, was eine praktische frühe Beendigung ermöglicht.
Unsicherheitsquantifizierung: Eine ensemblesbasierte Unsicherheitsschätzung (Relative MAD), die invers mit der Extraktionsgenauigkeit korreliert und Benutzern hilft, die Zuverlässigkeit einzuschätzen.
WB-ChartExtract-Benchmark: Ein neuer Benchmark, der aus Zeitreihendaten der Weltbank erstellt wurde und 1.000 synthetische Diagramme umfasst. Im Gegensatz zu bestehenden Datensätzen beinhaltet er:
- Höhere Komplexität: Diagramme enthalten im Durchschnitt 7× mehr Datenpunkte als diejenigen in ChartQA.
- Stilistische Vielfalt: Diagramme werden mit vier Bibliotheken (Matplotlib, Seaborn, Plotly, Bokeh) über vier Diagrammtypen (Linie, Fläche, gruppierte Säulen, gestapelte Säulen) mit randomisierten Schriftarten, Farben und Layouts gerendert.
- Keine gedruckten Beschriftungen: Werte werden nicht direkt auf dem Diagramm gedruckt, was Modelle zwingt, Daten aus Achsen und Geometrie abzuleiten, anstatt sich auf OCR-Abkürzungen zu verlassen.

Ergebnisse
Die Methode wurde sowohl auf dem Standard-ChartQA- als auch auf dem neuen WB-ChartExtract-Benchmark über verschiedene Basismodelle hinweg evaluiert, darunter spezialisierte Diagramm-Extraktoren (OneChart, TinyChart, DePlot) sowie allgemeine Open-Source- und Closed-Source-VLMs (Qwen3-VL, Llama 4 Scout, Seed 1.6 Flash, GPT-5.1, Claude Opus 4.6, Gemini 2.5 Pro).

Genauigkeitsverbesserungen: Selbst-Ensembling verbesserte die Extraktionsgenauigkeit (gemessen durch Relative Mapping Similarity, RMSF1) gegenüber Single-Pass-Baselines konsistent.
- Auf WB-ChartExtract reichten die relativen Verbesserungen von 2,7 % (TinyChart) bis 23,1 % (Seed 1.6 Flash).
- Auf ChartQA wurden Verbesserungen für allgemeine Modelle beobachtet (z. B. verbesserte sich Qwen3-VL von 91,43 auf 93,21), obwohl die Gewinne für TinyChart minimal waren, das auf seiner in-domänen Trainingsverteilung bereits gesättigt war.
Fehleranalyse: Die primären Fehlermodi, die durch Ensembling korrigiert wurden, waren Wertfehler (numerische Diskrepanzen) und fehlende Datenpunkte. Labelfehler waren vernachlässigbar. Die Methode war besonders effektiv beim Wiederherstellen fehlender Strukturen in komplexen Diagrammen (z. B. Flächen- und Liniendiagramme).
Kosten-Effizienz: Während Ensembling die API-Kosten erhöht (je nach Modell etwa das 4- bis 16-fache), mildert der Konvergenzerkennungsmechanismus dies erheblich, indem er bei einfacheren Stichproben frühzeitig stoppt. Auf WB-ChartExtract behielt die frühe Beendigung 99 % des Genauigkeitsgewinns des Ensembles bei, verwendete jedoch im Durchschnitt 1,24-mal weniger Stichproben.
Unsicherheitskorrelation: Die vorgeschlagene Unsicherheitsmetrik (Relative MAD) zeigte eine signifikante negative Korrelation mit RMSF1 (Spearman $\rho \approx -0,34$ bis $-0,37$), was bestätigt, dass eine höhere Uneinigkeit im Ensemble zuverlässig eine niedrigere Extraktionsgenauigkeit vorhersagt.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass dieser Ansatz die Extraktion von Diagrammen zu Tabellen durch die Adressierung der Sprödigkeit von Single-Pass-VLM-Generierung und der Einschränkungen aktueller Benchmarks näher an die reale Bereitstellung bringt. Durch die Einführung von WB-ChartExtract stellen die Autoren einen strengeren Testrahmen bereit, der genuine Unterschiede in den visuellen Schlussfolgerungsfähigkeiten verschiedener Modelle aufdeckt, insbesondere hinsichtlich Datendichte und stilistischer Variation. Die Selbst-Ensemble-Methode bietet eine praktische, modellagnostische Strategie, um tabellarische Daten zu erschließen, die zuvor in Diagrammbildern isoliert waren, und ermöglicht nachgelagerte Analysen mit quantifizierter Zuverlässigkeit.

Einschränkungen
Die Autoren räumen ein, dass die Methode durch die Fehlermodi des Basis-VLM begrenzt ist; systematische Fehler können verstärkt statt korrigiert werden. Das Konvergenzkriterium konzentriert sich auf numerische Stabilität und kann semantische Inkonsistenzen in der Tabellenstruktur übersehen. Darüber hinaus ist die Unsicherheitsschätzung heuristisch und keine kalibrierte Wahrscheinlichkeit der Richtigkeit. Schließlich ist WB-ChartExtract zwar vielfältig, aber synthetisch gerendert und erfasst möglicherweise nicht alle realen Artefakte wie niedrig aufgelöste Scans oder nicht-standardisierte Layouts.