💬 NLP

Self-Ensembling Vision-Language Models for Chart Data Extraction

Dit artikel stelt een methode voor voor een zelf-ensemble-vision-language-model die meerdere bemonsterde tabulaire uitvoeraggregaten samenvoegt om de nauwkeurigheid en betrouwbaarheid van het extraheren van gegevens van grafieken naar tabellen te verbeteren, wat gevalideerd wordt door een nieuwe complexe benchmark (WB-ChartExtract) die aanzienlijke prestatiewinsten toont ten opzichte van benaderingen met één doorgang.

Oorspronkelijke auteurs: Thomas Berkane, Qianyi Wang, Maimuna S. Majumder

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thomas Berkane, Qianyi Wang, Maimuna S. Majumder

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Grafieken zijn "Vergrendelde" Afbeeldingen

Stel je hebt een prachtige, kleurrijke grafiek in een PDF-rapport of op een website. Deze toont verkoopcijfers, temperatuurveranderingen of bevolkingsgroei. Voor een mens is het makkelijk om even te kijken en het trendpatroon te begrijpen. Maar voor een computer is die grafiek slechts een plaatje (een "gerasterde afbeelding"). De werkelijke cijfers zitten opgesloten in de pixels.

Als je die cijfers wilt gebruiken om rekenwerk te doen, ze wilt vergelijken met andere gegevens of een nieuw model wilt bouwen, kun je ze niet zomaar kopiëren en plakken. Je moet ze handmatig overtypen, wat traag, saai is en vol met typefouten zit.

De Huidige Oplossing (en haar Gebreken)

Onlangs hebben we "Vision-Language Models" (VLM's) gebouwd – AI-geesten die naar een plaatje kunnen kijken en het kunnen "lezen". Je kunt een AI vragen: "Wat zijn de cijfers in deze grafiek?" en het zal proberen ze in een tabel op te schrijven.

Echter, deze AI's zijn een beetje als een nerveuze student die een toets maakt. Als je dezelfde student twee keer dezelfde vraag stelt, kan het zijn dat hij je twee licht verschillende antwoorden geeft.

Run 1: "De verkoop was 100, 105 en 102."
Run 2: "De verkoop was 100, 104 en 103."

Soms mist de AI een cijfer volledig; andere keren verzon hij een cijfer dat er niet is. Huidige methoden nemen meestal gewoon het eerste antwoord dat de AI geeft en hopen op het beste. Dit is riskant omdat die ene gok misschien verkeerd is.

Het Nieuwe Idee: Het "Comité van Experts"

De auteurs van dit artikel stellen een slimme oplossing voor: Vertrouw niet op één gok; vertrouw op het gemiddelde van veel goks.

Ze hebben een methode bedacht die Self-Ensembling heet. Denk hier als volgt over na:

De Peiling: In plaats van de AI één keer te vragen, stel je dezelfde grafiekvraag 20 keer.
De Menigte: Je krijgt 20 verschillende tabellen terug. Sommige hebben 100, sommige 101, sommige 99.
Het Consensus: Het systeem rangschikt alle 20 tabellen. Voor elk enkel cijfer in de tabel kijkt het naar alle 20 versies en kiest de mediaan (de middelste waarde).
- Als 19 mensen "100" zeggen en 1 persoon "1000" (een fout), negeert het systeem de uitschieter en kiest voor 100.
- Als de AI in de war is en verschillende cijfers geeft, is het "middelpunt" meestal veel nauwkeuriger dan welke enkele gok dan ook.

Bonusfuncties: Weten Wanneer te Stoppen en Hoe Zeker Je Bent

Het artikel voegt twee slimme hulpmiddelen toe aan dit proces:

Het "Stopbord" (Convergentiedetectie): De AI 20 keer vragen kost tijd en geld. Het systeem controleert na elke paar goks: "Stabiliseren de antwoorden?" Als de laatste paar goks allemaal ongeveer hetzelfde zijn, zegt het systeem: "Oké, we hebben een stevig antwoord, laten we stoppen." Dit bespaart geld bij makkelijke grafieken.
De "Zekerheidsmeter" (Onzekerheidsschatting): Als de 20 goks van de AI allemaal zeer dicht bij elkaar liggen, weet het systeem dat het zeker is. Als de goks overal verspreid liggen (sommigen zeggen 50, sommigen 90), markeert het systeem dat specifieke cijfer als "Onbetrouwbaar". Dit helpt gebruikers te weten welke delen van de data ze kunnen vertrouwen en welke delen een mens moeten controleren.

De Nieuwe Test: "De Moeilijke Modus"

De auteurs beseften dat de standaardtests die worden gebruikt om deze AI's te controleren (zoals ChartQA), te makkelijk waren. Het was als een rijexamen op een leeg parkeerterrein. De grafieken waren simpel en de cijfers stonden vaak direct op de balken gedrukt, waardoor het voor de AI makkelijk was om gewoon de tekst "te lezen" in plaats van de grafiek daadwerkelijk te begrijpen.

Om dit te herstellen, bouwden ze een nieuwe, veel moeilijkere test genaamd WB-ChartExtract.

Bron: Ze gebruikten echte data van de Wereldbank.
Moeilijkheidsgraad: Deze grafieken zijn druk, complex en hebben geen cijfers erop gedrukt. De AI moet de hoogte van een balk of de positie van een lijn daadwerkelijk meten om het cijfer te raden.
Variatie: Ze gebruikten vier verschillende grafiektypen en vier verschillende softwaretools om ze te tekenen, zodat de AI niet zomaar één stijl kan memoriseren.
Schaal: Gemiddeld hebben deze grafieken 7 keer meer datapunten dan de oude tests.

De Resultaten

Toen ze hun methode "Comité van Experts" toepasten op zowel de makkelijke tests als de nieuwe moeilijke tests:

Het werkte overal: De methode verbeterde de nauwkeurigheid voor bijna elk AI-model dat ze probeerden.
Grote winst bij moeilijke grafieken: Op de moeilijke nieuwe test verbeterde de methode de nauwkeurigheid met tot wel 23% in vergelijking met het slechts één keer vragen aan de AI.
Kosten versus Opbrengst: Hoewel het vaker vragen aan de AI iets meer kost, stopt het systeem vroeg bij makkelijke grafieken, waardoor de totale kosten zeer laag blijven (vaak onder de 15 dollar voor een hele dataset).

Samenvatting

Het artikel zegt: "AI is geweldig in het lezen van grafieken, maar het is inconsistent. Als je het dezelfde vraag veel keer stelt en het middelste antwoord neemt, krijg je een veel nauwkeuriger resultaat. We hebben ook een moeilijkere test gebouwd om te bewijzen dat dit werkt op real-world, rommelige data, en we hebben een 'zekerheidsmeter' toegevoegd zodat je weet wanneer je de AI kunt vertrouwen."

Belangrijke Opmerking: De auteurs stellen expliciet dat hun methode beperkt wordt door de eigen fouten van de AI. Als de AI consequent een bepaald type grafiek verkeerd begrijpt, helpt het niet om het 20 keer te vragen. Ook is hun nieuwe test synthetisch (door de computer gegenereerd), dus hoewel het echte data nabootst, kan het misschien niet elke vreemde artefact vangen die voorkomt in een gescand, laagkwalitatief document.

Technische Samenvatting: Zelf-ensemble Vision-Language Modellen voor Chart Data Extractie

Probleemstelling
Diagrammen zijn een primair medium voor het communiceren van kwantitatieve informatie in wetenschappelijke en beleidscontexten, maar de onderliggende data is vaak vergrendeld in gerasterde imageformaten, waardoor deze ontoegankelijk is voor zoeken, koppelen of downstream-analyse. Hoewel handmatige digitalisering mogelijk is, is dit traag en foutgevoelig. Automatische extractie van diagram naar tabel is opgekomen als oplossing, waarbij recente benaderingen Vision-Language Modellen (VLM's) inzetten om diagrammen direct te "lezen" en tekstuele tabelrepresentaties te genereren. Echter, bestaande op VLM's gebaseerde methoden vertonen broosheid: een enkele forward pass levert vaak inconsistente resultaten op, zoals het weglaten van datapunten, het hallucineren van waarden of het verkeerd lezen van assen. Bovendien bevatten huidige benchmarks (bijv. ChartQA) vaak eenvoudige plots met beperkte stijlvariatie en gedrukte waardenlabels, wat leidt tot verzadigde prestatiemetrics die de moeilijkheid van real-world, complexe figuren niet weerspiegelen.

Methodologie
De auteurs stellen een model-agnostische zelf-ensemble methode voor die de stochasticiteit van VLM's benut om extractienauwkeurigheid en betrouwbaarheid te verbeteren. De kernworkflow omvat:

Iteratief Sampling: Voor een gegeven diagramafbeelding wordt het basis-VLM herhaaldelijk bevraagd (bij een specifieke sampling-temperatuur) om meerdere kandidaat-tabeloutput in TSV-formaat te genereren.
Parsing en Normalisatie: Raw-outputs worden geparsed naar TSV, waarbij rijen/columnen indien nodig worden gerepareerd. Cellen worden omgezet naar numerieke waarden, waarbij artefacten zoals valuta-symbolen worden verwijderd, terwijl niet-numerieke strings als ontbrekend worden behandeld.
Rij- en Kolomuitlijning: Aangezien de spelling en volgorde van labels kunnen variëren tussen samples, cluster de methode rij- en kolomlabels onafhankelijk met behulp van Average Normalized Levenshtein Similarity (ANLS). Labels worden gegroepeerd in canonieke clusters als ze een gelijkenisdrempel halen en niet afkomstig zijn uit dezelfde geteste tabel (om intra-tabel duplicaten te vermijden). Spurious clusters die in minder dan 20% van de tabellen voorkomen, worden verwijderd.
Cell-Wijze Aggregatie: Voor elke uitgelijnde cel (rij, kolom) verzamelt de methode alle numerieke voorspellingen uit de geteste tabellen. Een consensuswaarde wordt berekend als het mediaan van deze waarden.
Convergentiedetectie: Het samplingproces omvat een early-stopping mechanisme. Sampling stopt als, voor een bepaald aantal opeenvolgende updates, ten minste 95% van de geaggregeerde celwaarden niet meer verandert dan een relatieve tolerantie van 1%. Dit balanceert computatiekosten met marginale nauwkeurigheidswinsten.
Onzekerheidsschatting: Om betrouwbaarheid te beoordelen, berekent de methode de Relative Median Absolute Deviation (MAD) voor elke cel. Hoge dispersie over samples duidt op lage extractievertrouwen, wat een signaal biedt voor gebruikers om resultaten te verifiëren of meer samples aan te vragen.

Belangrijkste Bijdragen

Zelf-Ensemble Framework: Een model-agnostische aanpak die meerdere VLM-outputs op celniveau aggregeert om een nauwkeurigere consensus-tabel te produceren, waarbij outlier-voorspellingen en hallucinaties worden onderdrukt.
Convergentiedetectie: Een mechanisme om te identificeren wanneer extra samples de geaggregeerde resultaten onwaarschijnlijk zullen veranderen, waardoor praktische early stopping mogelijk is.
Onzekerheidskwalificatie: Een op ensemble gebaseerde onzekerheidsschatting (Relative MAD) die omgekeerd gecorreleerd is met extractienauwkeurigheid, waardoor gebruikers betrouwbaarheid kunnen inschatten.
WB-ChartExtract Benchmark: Een nieuwe benchmark opgebouwd uit tijdreeksdata van de Wereldbank, met 1.000 synthetische diagrammen. In tegenstelling tot bestaande datasets, bevat deze:
- Hogere Complexiteit: Diagrammen bevatten gemiddeld 7× meer datapunten dan die in ChartQA.
- Stijl Diversiteit: Diagrammen worden gerenderd met vier bibliotheken (Matplotlib, Seaborn, Plotly, Bokeh) over vier diagramtypes (lijn, area, gegroepeerde staaf, gestapelde staaf) met gerandomiseerde lettertypes, kleuren en lay-outs.
- Geen Gedrukte Labels: Waarden worden niet direct op het diagram gedrukt, waardoor modellen data moeten afleiden uit assen en geometrie in plaats van te vertrouwen op OCR-snelwegen.

Resultaten
De methode werd geëvalueerd op zowel de standaard ChartQA als de nieuwe WB-ChartExtract benchmarks over verschillende basismodellen, waaronder gespecialiseerde diagramextractors (OneChart, TinyChart, DePlot) en algemene open-source en closed-source VLM's (Qwen3-VL, Llama 4 Scout, Seed 1.6 Flash, GPT-5.1, Claude Opus 4.6, Gemini 2.5 Pro).

Nauwkeurigheidsverbeteringen: Zelf-ensemble verbeterde consistent de extractienauwkeurigheid (gemeten door Relative Mapping Similarity, RMSF1) ten opzichte van single-pass baselines.
- Op WB-ChartExtract varieerden de relatieve verbeteringen van 2,7% (TinyChart) tot 23,1% (Seed 1.6 Flash).
- Op ChartQA werden verbeteringen waargenomen voor algemene modellen (bijv. Qwen3-VL verbeterde van 91,43 naar 93,21), hoewel de winsten minimaal waren voor TinyChart, dat al verzadigd was op zijn in-domein trainingsverdeling.
Foutanalyse: De primaire faalmodi die door ensemble-correctie werden gecorrigeerd, waren Waardefouten (numerieke mismatches) en Ontbrekende datapunten. Labelfouten waren verwaarloosbaar. De methode was bijzonder effectief in het herstellen van ontbrekende structuur in complexe diagrammen (bijv. area- en lijndiagrammen).
Kosten-efficiëntie: Hoewel ensemble de API-kosten verhoogt (ongeveer 4–16× afhankelijk van het model), mitigeert het convergentiedetectiemechanisme dit aanzienlijk door vroeg te stoppen voor eenvoudigere samples. Op WB-ChartExtract behield early stopping 99% van de nauwkeurigheidsboost van het ensemble, terwijl er gemiddeld 1,24× minder samples werden gebruikt.
Onzekerheidscorrelatie: De voorgestelde onzekerheidsmetric (Relative MAD) toonde een significante negatieve correlatie met RMSF1 (Spearman $\rho \approx -0,34$ tot $-0,37$), wat bevestigt dat hogere ensemble-onenigheid betrouwbaar lagere extractienauwkeurigheid voorspelt.

Betekenis en Claims
Het artikel claimt dat deze aanpak de extractie van diagram naar tabel dichter bij real-world implementatie brengt door de broosheid van single-pass VLM-generatie en de beperkingen van huidige benchmarks aan te pakken. Door WB-ChartExtract in te voeren, bieden de auteurs een strengere testomgeving die echte verschillen in visuele redeneervermogens tussen modellen blootlegt, met name wat betreft datadichtheid en stijlvariatie. De zelf-ensemble methode biedt een praktische, model-agnostische strategie om tabulaire data die eerder geïsoleerd zat in diagramafbeeldingen, te ontsluiten, waardoor downstream-analyse mogelijk wordt met gekwalificeerde betrouwbaarheid.

Beperkingen
De auteurs erkennen dat de methode wordt begrensd door de faalmodi van het basis-VLM; systematische fouten kunnen worden versterkt in plaats van gecorrigeerd. Het convergentiecriterium richt zich op numerieke stabiliteit en kan semantische inconsistenties in tabelstructuur missen. Bovendien is de onzekerheidsschatting heuristisch en geen gekalibreerde waarschijnlijkheid van correctheid. Tot slot, hoewel WB-ChartExtract divers is, is het synthetisch gerenderd en mogelijk niet alle real-world artefacten zoals lage-resolutie scans of niet-standaard lay-outs.