Technische Samenvatting: ChartAct: Een Benchmark voor Dynamisch Chartbegrip

Probleemstelling

Bestaande benchmarks voor chartbegrip richten zich voornamelijk op statische charts, waarbij alle informatie wordt gepresenteerd binnen één enkel, onveranderlijk beeld. Echter, datavisualisatie in de echte wereld omvat vaak dynamische en interactieve charts die zijn ingebed in webpagina's of dashboards. In deze scenario's is kritieke informatie (bijvoorbeeld precieze datawaarden, details van specifieke series) vaak verborgen en wordt deze pas zichtbaar na gebruikersinteracties zoals hoveren, klikken, in- of uitzoomen, of slepen.

Huidige Multimodale Grootte Taalmodellen (MLLM's) en GUI-agenten worstelen met deze dynamische aard omdat:

1. Interactieversting: Ze niet alleen visuele inhoud moeten waarnemen, maar ook geschikte interface-acties moeten selecteren om verborgen bewijsmateriaal bloot te leggen.
2. Staatsevolutie: Ze moeten redeneren over continu veranderende chartstaten, waarbij observaties uit meerdere interactiestappen worden geïntegreerd.
3. Lokalisatie: Ze moeten interactieve elementen (bijvoorbeeld tooltips, legenda's, schuifbalken) nauwkeurig lokaliseren te midden van complexe pagina-indelingen, wat moeilijk is wanneer charts zijn ingebed in bredere dashboardcontexten.

Bestaande statische benchmarks falen in het evalueren van deze vaardigheden, aangezien ze modellen niet vereisen om sequentiële acties uit te voeren of statieveranderingen waar te nemen.

Methodologie

1. De ChartAct Benchmark

De auteurs stellen ChartAct voor, een interactieve benchmark ontworpen om dynamisch chartbegrip te evalueren. De benchmark bestaat uit:

• Datacollectie: 673 dynamische charts zijn verkregen uit 8 real-world charting-bibliotheken (bijvoorbeeld Apache ECharts, Highcharts, Plotly, AntV G2). Deze charts zijn handmatig gefilterd om duidelijke datasemantiek, rijke interactieve gedragingen en analytische waarde te waarborgen.
• Vraagconstructie: 1.440 hoogwaardige vraag-antwoordparen zijn samengesteld. De vragen zijn gegenereerd met GPT-5 en streng beoordeeld om te waarborgen dat ze:
  • Niet uitsluitend kunnen worden beantwoord vanuit het initiële statische beeld (interactie vereist).
  • Geen afhankelijkheid hebben van verborgen HTML/data die niet toegankelijk is via waarneembare UI-interacties.
  • Divers taken dekken: vragen over zichtbare staten, informatie die door interactie wordt onthuld, vergelijkingen over staten heen, en integratie van bewijsmateriaal uit meerdere charts.
• Evaluatieomgevingen: Elke steekproef wordt geïnstancieerd in twee verschillende omgevingen om verschillende niveaus van moeilijkheid te testen:
  • Dynamische Chart (DC): Een schone omgeving waarin de chart direct op de pagina wordt weergegeven.
  • Dashboard Chart (DB): Dezelfde chart is ingebed in een gegenereerde dashboardpagina met titels, metriekkaarten en andere visuele modules. Dit test het vermogen van het model om de doelchart te lokaliseren en visuele afleiding te negeren.

2. Experimentele Opzet

De benchmark evalueert 11 geavanceerde multimodale modellen en GUI-agenten (inclusief propriëtaire modellen zoals Claude-Opus-4.7, GPT-5.5, en open-source modellen zoals Kimi-K2.5, de Qwen-serie en Gemma).

• Unificatiekader: Alle modellen opereren binnen een uniforme interactieve omgeving gebaseerd op het OSWorld-kader. Modellen observeren screenshots, voeren pyautogui-acties uit (klikken, hoveren, scrollen) en dienen de uiteindelijke antwoorden in.
• Evaluatiemetriek: Prestaties worden gemeten aan de hand van het Slagingspercentage, bepaald door een LLM-rechter (DeepSeek-v4-pro) die het uiteindelijke antwoord van het model vergelijkt met de grondwaarheid. Een meerderheidsstemmechanisme (3 stemmen, 2 vereist) wordt gebruikt om stabiliteit te waarborgen.
• Subsetconstructie: Voor modellen met hoge kosten is een representatief subset van 300 steekproeven samengesteld met behulp van een greedy selectiealgoritme gebaseerd op pilotmodelprestaties, om de verdeling van moeilijkheidsgraad en dekking van charttypen te behouden terwijl de evaluatiekosten worden verlaagd.

Belangrijkste Resultaten

1. Algemene Prestaties

Dynamisch chartbegrip blijft een aanzienlijke uitdaging voor huidige modellen:

• Toppresteerder: Claude-Opus-4.7 behaalde het hoogste gemiddelde slagingspercentage van 84,5%.
• Prestatiekloof: Er is een duidelijke kloof tussen het topmodel en de anderen. GPT-5.5 scoorde 58,3%, terwijl de meeste open-source modellen en andere propriëtaire modellen onder de 60% scoorden (bijvoorbeeld Qwen3.6-Plus met 39,2%, Gemma-4-31B-IT met 23,1%).
• Beperkingen Open Source: Excluderend het grootschalige Kimi-K2.5 (66,0%), behaalde het beste open-source model (Qwen3.5-122B-A10B) slechts 41,9%, wat wijst op aanzienlijke ruimte voor verbetering binnen de open-source gemeenschap.

2. Impact van Omgeving (DC vs. DB)

De Dashboard Chart (DB)-omgeving verlaagde consistent de prestaties van alle modellen in vergelijking met de schone Dynamische Chart (DC)-omgeving.

• Contextgevoeligheid: Modellen zoals Gemini-3.1-Pro en Qwen3.6-Plus leden enorme dalingen (respectievelijk 30,0% en 30,8%) in de DB-omgeving, wat suggereert dat ze moeite hebben vaardigheden over te dragen van schone charts naar complexe dashboardcontexten.
• Robuustheid: Het sterkste model, Claude-Opus-4.7, toonde de grootste veerkracht, met slechts een daling van 1,7% in de DB-omgeving.

3. Analyse per Charttype

• Lijndiagrammen: Toonden de grootste prestatiedaling bij de overgang van DC naar DB, waarschijnlijk vanwege de complexiteit van het activeren van tooltips langs continue assen en het onderscheiden van aangrenzende lijnen in rommelige indelingen.
• Taartdiagrammen: Hoewel over het algemeen minder goed presterend, toonden ze de kleinste daling in DB. Veel modellen faalden echter bij taartdiagrammen door zelfverzekerd waarden te raden op basis van zichtbare percentages zonder te interageren om precieze data te onthullen.
• Geen Vaste Volgorde: De moeilijkheidsgraad van charttypen varieerde per modelarchitectuur; bijvoorbeeld, Claude-Opus-4.7 presteerde het beste bij taartdiagrammen, terwijl GPT-5.5 het beste presteerde bij boxplots.

4. Analyse van Falen

De auteurs identificeerden drie primaire faalmodi:

1. Niet slagen in het extraheren van bewijs: Modellen antwoordden direct vanuit de initiële screenshot zonder de nodige interacties te activeren.
2. Foutief gelokaliseerde interacties: Modellen inferreerden correct de noodzaak van interactie, maar richtten zich op het verkeerde element (bijvoorbeeld hoveren op een naburig datapunt).
3. Verkeerde identificatie van doelobjecten: In dashboardomgevingen verwarden modellen de doelchart met omringende componenten (bijvoorbeeld metriekkaarten of titels).

Betekenis en Claims

Het artikel claimt dat ChartAct een noodzakelijke nieuwe testomgeving biedt voor het bestuderen van chartbegrip in echte interactieve omgevingen. De betekenis hiervan ligt in:

• Overbruggen van de kloof: Het overstijgen van statische beeldanalyse om de volledige cyclus van interactie, observatie en redenering te evalueren die nodig is in data-analyse uit de echte wereld.
• Aan het licht brengen van beperkingen: Het aantonen dat huidige state-of-the-art-modellen, zelfs de sterkste propriëtaire modellen, duidelijke beperkingen hebben in dynamisch chartbegrip, met name bij fijnmazige bewerkingen en het verwerven van bewijsmateriaal.
• Standaardiseren van evaluatie: Het bieden van een beheersbare, reproduceerbare en realistische omgeving (via het op OSWorld gebaseerde kader) die de complexiteit van echte charts behoudt terwijl het systematische benchmarking mogelijk maakt.

De auteurs concluderen dat dynamische charts evaluatievereisten introduceren die verder gaan dan statisch chartbegrip, wat modellen vereist die capabel zijn in strategische interactie en statetracking.