RealChart2Code: Advancing Chart-to-Code Generation with Real Data and Multi-Task Evaluation

1. Het Probleem

Hoewel Vision-Language Models (VLMs) indrukwekkende prestaties leveren bij het genereren van code in diverse domeinen, blijft hun vermogen om complexe, multi-panel visualisaties te repliceren op basis van echte, wereldwijde data onvoldoende beoordeeld. Bestaande benchmarks voor "Chart-to-Code" (het omzetten van een afbeelding naar code) hebben drie belangrijke tekortkomingen:

• Synthetische Data: Ze vertrouwen vaak op synthetische data of bestaande code-paartjes uit het internet, wat risico's op data-lekkage met zich meebrengt en niet de complexiteit van echte datasets weerspiegelt.
• Eenvoudige Structuren: Ze focussen voornamelijk op simpele, single-panel grafieken, terwijl echte data-analyse vaak complexe, samengestelde lay-outs vereist.
• Gebrek aan Iteratie: Ze evalueren zelden het vermogen van modellen om code iteratief te verbeteren in een multi-turn conversatie (debugging), wat essentieel is in de echte wereldomgeving.

2. Methodologie: RealChart2Code Benchmark

De auteurs introduceren RealChart2Code, een nieuw, groot-schalig benchmark met 2.896 instances, specifiek ontworpen om VLMs te testen op realistische en complexe scenario's.

Data Curation:

• Bron: De dataset is gebaseerd op echte, open-source datasets van Kaggle (na strenge filtering van meer dan 8.000 datasets), in plaats van synthetisch gegenereerde data.
• Omvang: De benchmark bevat ongeveer 860 miljoen rijen data over 35 sub-thema's in 8 domeinen (zoals financiën, gezondheid, technologie).
• Ground Truth: Alle referentiecode is handmatig geschreven door een team van vijf expert Python-ontwikkelaars met Matplotlib en Seaborn, wat een hoogwaardige "gold standard" garandeert.

De Drie Kerntaken:
De benchmark evalueert modellen op drie varianten van de Chart-to-Code taak:

1. Chart Replication: Het omzetten van een afbeelding naar code zonder toegang tot de onderliggende data (reverse engineering van visuele elementen).
2. Chart Reproduction: Het genereren van code op basis van een afbeelding én de bijbehorende ruwe data (CSV-bestanden). Dit test het vermogen om data correct te mappen en te verwerken.
3. Chart Refinement: Een multi-turn conversatie waarbij het model een foutieve grafiek en instructies krijgt om de code te debuggen en te verbeteren. Dit test het vermogen tot iteratieve correctie.

Evaluatiemetrics:

• Pass Rate: Het percentage code dat succesvol wordt uitgevoerd in een gesandboxde Docker-omgeving.
• Visuele Nauwkeurigheid: Een multi-agent beoordelingssysteem (gebaseerd op LLM-judges) dat codeert op een schaal van 0-2 voor 8 criteria: chart type, ruimtelijke lay-out, tekst, as-configuratie, kleurenschema, stijl, componentvolledigheid en data-patroon consistentie.
• Data Alignment: Voor de Reproduction-taak wordt de code op programmatisch niveau vergeleken om te verifiëren of de data-transformaties identiek zijn aan de referentie.

3. Belangrijkste Resultaten

De auteurs hebben 14 toonaangevende VLMs geëvalueerd (5 proprietary en 9 open-weight modellen).

• Prestatieverval op Realistische Taken: Modellen die excelleren op bestaande benchmarks (zoals Plot2Code en ChartMimic), tonen een drastische daling in prestaties op RealChart2Code. Bijvoorbeeld, Qwen3-VL-235B scoort >75% op bestaande benchmarks, maar daalt naar ~3,6% op RealChart2Code.
• Kloof tussen Proprietary en Open-Weight: Er is een aanzienlijke prestatiekloof. Proprietary modellen zoals Claude-4.5-Opus (gemiddelde score 8,2) en Gemini-3-Pro-Preview (8,1) presteren significant beter dan open-weight modellen. De beste open-weight modellen (Qwen3-VL-235B, Intern-VL-3.5-241B) halen slechts ongeveer de helft van de score van de beste proprietary modellen.
• Foutpatronen:
  • Open-weight modellen lijden vooral aan syntaxis- en uitvoeringsfouten (hallucineren van bestaande bibliotheken of functies) en ruimtelijke redeneringsfouten (overlappende subplots).
  • Proprietary modellen hebben minder syntaxfouten, maar falen vaak bij data-mapping (de juiste data aan de verkeerde as koppelen) en behouden context niet goed tijdens iteratieve verbeteringen ("Regressive Editing").
• Complexiteitskloof: Zelfs de beste modellen struggle met complexe multi-panel lay-outs en de integratie van grote datasets.

4. Belangrijkste Bijdragen

1. RealChart2Code Benchmark: Het eerste benchmark dat systematisch chart-generatie evalueert op basis van echte, grote datasets en multi-turn conversaties voor code-refinement.
2. Uitgebreide Evaluatie: Een robuust evaluatiekader dat zowel functionele correctheid (Pass Rate) als visuele en semantische nauwkeurigheid meet, met een sterke correlatie met menselijke beoordelingen.
3. Inzicht in Modelbeperkingen: Het paper onthult dat huidige SOTA-modellen wel simpele syntax kunnen genereren, maar falen in complexe ruimtelijke planning, data-integratie en iteratief debuggen. Het onderscheidt duidelijk tussen modellen die "patronen hebben geleerd" en modellen die echt "redeneren".

5. Betekenis en Toekomst

De studie benadrukt dat bestaande benchmarks de capaciteiten van VLMs overschatten voor real-world toepassingen. RealChart2Code biedt een realistischer maatstaf voor het vermogen van AI om data-analyse en visualisatie te automatiseren.

Toekomstige richtingen:

• Ontwikkeling van geautomatiseerde pipelines om hoogwaardige synthetische data te genereren voor training, gezien het gebrek aan complexe voorbeelden.
• Verbetering van modellen in ruimtelijk redeneren en het handhaven van globale consistentie tijdens iteratieve code-aanpassingen.
• Uitbreiding van de benchmark naar andere visualisatiebibliotheken dan alleen Matplotlib.

Kortom, RealChart2Code zet een nieuwe standaard voor het evalueren van multimodale modellen in data-gedreven taken en toont aan dat er nog een aanzienlijke weg te gaan is voordat AI volledig autonoom complexe data-visualisaties kan repliceren en aanpassen.