ChartEditBench: Evaluating Grounded Multi-Turn Chart Editing in Multimodal Language Models

Probleemstelling

Hoewel Multimodale Grootte Taalmodellen (MLLM's) uitstekende prestaties leveren bij het genereren van grafieken in één enkele interactie (single-turn), blijft hun vermogen om real-world exploratieve data-analyse te ondersteunen, die vaak iteratief verloopt, onderbelicht. In de praktijk passen gebruikers bestaande visualisaties continu aan via meervoudige interacties (multi-turn). Dit vereist het behoud van een gedeelde context (common ground), het bijhouden van eerdere bewerkingen en het aanpassen aan veranderende voorkeuren. Bestaande benchmarks focussen voornamelijk op het genereren van een grafiek vanaf nul of het beantwoorden van vragen over een statische afbeelding, en negeren hierdoor de complexiteit van het bewerken van bestaande specificaties in een dialogische setting.

Methodologie: ChartEditBench

De auteurs introduceren ChartEditBench, een synthetisch benchmark-framework dat is ontworpen om de incrementele, code-gebaseerde bewerking van grafieken te evalueren.

1. Taakdefinitie:
Het benchmark omvat twee complementaire taken die realistische workflows nabootsen:

• Task 1 (Code-naar-Code): Gegeven de oorspronkelijke code en afbeelding, plus een doelfoto van de gewenste wijziging, moet het model de nieuwe code genereren.
• Task 2 (Natuurlijke Taal Delta): Gegeven de oorspronkelijke code/afbeelding en een tekstuele instructie (delta), moet het model de aangepaste code genereren.
  Beide taken worden uitgevoerd in een meervoudige conversatiecyclus (multi-turn), waarbij de output van een vorige ronde de input wordt voor de volgende. Dit test het vermogen van het model om fouten te accumuleren en context te behouden.

2. Dataset Constructie:

• Generatie: Een geautomatiseerde pipeline genereert 5.000 synthetische instances met 12 verschillende modificatietypes (verdeeld over 37 grafiektypen).
• Complexiteit: De moeilijkheidsgraad neemt toe per beurt: van eenvoudige stijlwijzigingen (kleuren, labels) naar structurele wijzigingen (as-schaling) en complexe transformaties (grafiektype-conversie, subplots).
• Validatie: Alle gegenereerde code wordt uitgevoerd in een zandbakomgeving. Slechts instances die een geldige afbeelding renderen, worden opgenomen.
• Human Verification: Een subset van 430 instances (400 voor analyse) is handmatig verifieerd door experts om de kwaliteit van de synthetische data en de evaluatiemetrics te garanderen.

3. Evaluatie Framework:
Om de beperkingen van bestaande methoden (zoals "LLM-as-a-Judge" die vaak wisselvallige scores geeft, of CLIP-achtige metrics die te oppervlakkig zijn) te overwinnen, stellen de auteurs een hybride evaluatieframework voor:

• Execution Rate: Meet of de gegenereerde code zonder fouten draait en een geldige afbeelding produceert.
• Instruction Following (IF):
  • Programmatiek: Voor objectieve instructies (bijv. "zet kleur op rood") worden asserties uitgevoerd op de code.
  • LLM-geoordeeld: Voor semantische instructies (bijv. "maak professioneler") wordt een gespecialiseerd model (Chart-R1) gebruikt.
• Code Quality (CQ): Controleert structurele correctheid (bijv. aanwezigheid van imports, plt.close()).
• Visual Similarity (VS): Een gespecialiseerd model vergelijkt de gegenereerde en doelgrafiek op pixelniveau en semantische verschillen (grote vs. kleine verschillen).

Belangrijkste Bijdragen

1. Formalisatie van Incrementele Bewerking: Het formaliseren van het updaten van een bestaande grafiek-specificatie als een benchmarktaak, in plaats van alleen generatie vanaf nul.
2. ChartEditBench Dataset: Een dataset van 5.000 instances met gecontroleerde moeilijkheidsgraden, inclusief een menselijk verifieerde subset, die multi-turn interacties simuleert.
3. Robuust Evaluatieframework: Een composite metric die uitvoerbaarheid, visuele gelijkenis en semantische correctheid combineert, wat betrouwbaarder is dan pure LLM-judges of embedding-metrics.

Resultaten

De auteurs hebben zes state-of-the-art modellen getest (inclusief GPT-5-mini, Claude Haiku 4.5, en diverse Qwen3-VL en InternVL3 varianten).

1. Prestatieverschillen:

• Propriëtaire modellen presteerden over het algemeen het beste. Claude Haiku 4.5 behaalde de hoogste totale score (2.187), met name sterk in visuele gelijkenis. GPT-5-mini was het sterkst in het volgen van instructies, maar minder goed in visuele trouw.
• Open-source modellen toonden grote variatie. De Qwen3-VL-30B-A3B (met slechts 3B actieve parameters dankzij MoE-architectuur) presteerde zeer competitief, terwijl kleinere modellen (zoals InternVL3-1B) aanzienlijke tekortkomingen vertoonden.

2. Degradatie door Conversatie (Error Accumulation):

• Er is een duidelijke monotone afname in prestaties te zien van beurt 1 tot beurt 5.
• Modellen verliezen gemiddeld 20-33% van hun initiële prestatie tegen het einde van de conversatie.
• Fouten in vroege rondes cumuleren en leiden tot een grotere kloof tussen sterke en zwakke modellen in latere rondes. Kleinere modellen herstellen zich slecht van eerdere fouten.

3. Type Bewerkingen:

• Stijl-wijzigingen (kleuren, labels) worden goed uitgevoerd.
• Data-gerichte transformaties (zoals "rolling average" of data-aggregatie) vormen een groot obstakel. Zelfs de beste modellen scoren hier laag (<1.5), vaak door fouten in indexering of wiskundige logica. Dit wijst op een kloof tussen visueel begrip en numeriek redeneren.

4. Evaluatie Type:

• Modellen presteren beter op programmatieke instructies (exacte code-eisen) dan op semantische instructies (vaagere eisen), hoewel de kloof tussen modellen kleiner is bij semantische taken.

Betekenis en Conclusie

ChartEditBench toont aan dat huidige MLLM's, hoewel ze goed zijn in eenmalige generatie, aanzienlijke beperkingen hebben in iteratieve, visueel verankerde code-bewerkingsworkflows.

• Realisme: Het benchmark benadrukt dat real-world data-analyse een meervoudig proces is, waarbij het behoud van context en het vermijden van foutaccumulatie cruciaal zijn.
• Richting voor Onderzoek: De resultaten wijzen op de noodzaak van modellen die beter kunnen redeneren over data-transformaties en die robuuster zijn tegen fouten in eerdere conversatiestappen.
• Evaluatie: Het paper biedt een nieuwe standaard voor evaluatie die verder gaat dan "werkende code" en ook kijkt naar visuele trouw en semantische consistentie over meerdere interacties heen.

Kortom, ChartEditBench vestigt een uitdagende testomgeving voor het ontwikkelen van conversatieve agents voor grafiekbewerking en blootlegt de grenzen van multimodaal redeneren over code, afbeeldingen en instructies.