💬 NLP

VisEditBench: Can Vision-Language Models Edit Visualization Code from Multimodal Feedback?

Dit artikel introduceert VisEditBench, een uitgebreide benchmark van 1.395 door mensen geannoteerde taken die ontworpen zijn om het vermogen van Vision-Language Modellen om visualisatiecode te bewerken op basis van multimodale feedback te evalueren, wat aanzienlijke prestatiekloven in huidige modellen onthult en VisEditAgent voorstelt, een render-gebaseerd framework dat de bewerkingsnauwkeurigheid substantieel verbetert.

Oorspronkelijke auteurs: Mizanur Rahman, Arshia Azimlu, Shadikur Rahman, Md Tahmid Rahman Laskar, Amran Bhuiyan, Shafiq Joty, Enamul Hoque Prince

Gepubliceerd 2026-08-12

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Mizanur Rahman, Arshia Azimlu, Shadikur Rahman, Md Tahmid Rahman Laskar, Amran Bhuiyan, Shafiq Joty, Enamul Hoque Prince

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die zojuist uit een kookboek de perfecte omelet heeft geleerd maken. Je kunt de instructies volgen, de eieren breken en de pan omdraaien. Maar wat gebeurt er als je vriend een hap neemt, een vies gezicht trekt en zegt: "Het is te zout, en de kaas is aan de onderkant aangebrand"? Of wat als ze je een foto van een andere omelet laten zien en zeggen: "Ik wil de mijne er precies zo uit laten zien als deze"? Plotseling gaat je werk niet alleen over het volgen van een recept; het gaat over het herstellen van een fout of het kopiëren van een stijl, terwijl je de eieren en de hitte precies goed houdt. Dit is de wereld van datavisualisatie, waar computers proberen cijfers om te zetten in plaatjes zoals grafieken en diagrammen.

Een tijdje hebben wetenschappers computers geleerd hoe ze de "recepten" (code) moeten schrijven om deze plaatjes vanaf nul te maken. Maar in de echte wereld willen we zelang niet gewoon een gloednieuw plaatje; meestal hebben we een bestaand plaatje dat er een beetje vreemd uitziet, of willen we de stijl ervan aanpassen om bij een rapport te passen. Dit wordt multimodale feedback genoemd: het gebruik van een mix van tekstuele instructies, de werkelijke afbeelding van de grafiek en de code die deze heeft gemaakt om de computer te vertellen wat hij moet aanpassen. De grote vraag is: kunnen deze slimme computers daadwerkelijk "zien" wat er mis is met een grafiek en deze repareren zonder de onderliggende data te beschadigen?

Dit artikel, getiteld VisEditBench, introduceert een nieuwe speeltuin om precies dat te testen. De onderzoekers hebben een enorme collectie van 1.395 echte uitdagingen voor het bewerken van grafieken gebouwd, zoals een "rijexamen" voor AI-grafiekmakers. Ze ontdekten dat hoewel de beste AI-modellen steeds beter worden in het schrijven van code, ze nog steeds vrij onhandig zijn in het repareren van grafieken op basis van visuele feedback. Het beste model, Claude-4.6-Sonnet, slaagde erin om ongeveer 74,46% van de tests te halen, maar de meeste open-source modellen hadden moeite en bleven onder de 50%. Het moeilijkste deel? De stijl van een grafiek aanpassen om overeen te komen met een referentieafbeelding; zelfs het beste model kreeg dit slechts in 55,71% van de gevallen goed.

Om deze modellen te helpen beter te worden, hebben de auteurs een nieuwe tool ontwikkeld genaamd VisEditAgent. Denk hierbij aan het geven van een "probeer, faal en herstel"-lus aan de AI. In plaats van één keer het antwoord te raden, schrijft de agent een paar verschillende versies van de code, tekent de grafieken daadwerkelijk, controleert of ze er goed uitzien en past ze vervolgens aan totdat ze perfect zijn. Wanneer ze deze methode gebruikten met een sterk model, steeg het succespercentage van 55,75% naar 67,99%. Dit suggereert dat het geheim van het repareren van grafieken niet alleen slim zijn is; het is het vermogen om naar je eigen werk te kijken, te beseffen dat het fout is, en het opnieuw te proberen. Het artikel concludeert dat hoewel we vooruitgang boeken, het aanleren van het bewerken van visualisaties met de zorg die een menselijke ontwerper zou hebben, nog steeds een werk in uitvoering is.

Technische Samenvatting: VisEditBench

Probleemstelling

Hoewel Vision-Language Models (VLM's) sterke capaciteiten hebben getoond in het genereren van visualisatiecode vanuit het niets (text-to-visualization) of het reconstrueren van code vanuit grafiekafbeeldingen (chart-to-code), zijn ze grotendeels geëvalueerd op one-shot generatietaken. Realistische visualisatie-creatie is inherent iteratief; gebruikers moeten bestaande visualisaties frequent aanpassen om gebreken te herstellen, de leesbaarheid te verbeteren of stijlen aan te passen op basis van multimodale feedback.

Huidige benchmarks slagen er niet in dit iteratieve bewerkingsproces te vatten. Ze evalueren niet het vermogen van modellen om bestaande visualisatiecode, een gerenderde grafiek (vaak met visuele fouten of gemarkeerde regio's) en natuurlijke taalinstructies te nemen om herziene, uitvoerbare code te produceren die de datasemantiek behoudt terwijl visuele problemen worden opgelost. Deze kloof laat de uitdaging van "visueel gegronde code-bewerking" grotendeels onverkend.

Methodologie

1. VisEditBench Dataset

De auteurs introduceren VisEditBench, een benchmark bestaande uit 1.395 door mensen geannoteerde visualisatiecode-bewerkingsopdrachten. De dataset is geconstrueerd uit twee primaire bronnen om realisme te waarborgen:

Real-world issues: 120 gevallen handmatig verzameld van Stack Overflow en GitHub issues (Matplotlib/Vega-Lite) die betrekking hebben op door gebruikers gerapporteerde bugs.
Model failures: Casussen gegenereerd door het opnieuw draaien van frontier- en open-source modellen op de Text2Vis benchmark, waarbij de gegenereerde outputs visuele, semantische of presentatiefouten vertoonden.

Taakformulering:
Elke taak $x_i$ wordt gedefinieerd als $(c_i, I_i, u_i, c'_i)$ , waarbij:

$c_i$ : Invoer visualisatiecode.
$I_i$ : Gerenderde grafiekafbeelding (ofwel een defecte/gemarkeerde grafiek of een referentiegrafiek).
$u_i$ : Natuurlijke taal bewerkingsinstructie.
$c'_i$ : Doelgerichte herziene uitvoerbare code.

Bewerkingsinstellingen:
De benchmark dekt twee praktische scenario's:

Feedback-gestuurde reparatie: Het model ontvangt een gebrekkige grafiek en tekstuele feedback om de visualisatie te herstellen terwijl de intentie behouden blijft.
Referentie-gestuurde restyling: Het model ontvangt een doelgrafiekafbeelding en moet de originele code aanpassen om aan de referentiestijl te voldoen zonder de datasemantiek te wijzigen.

Taxonomie:
Taken worden gecategoriseerd in acht bewerkingsintenties: Correctheid Reparatie, Kwaliteitsverbetering, Robuustheid/Generalisatie, Stijladaptatie, Constraatvervulling, Consistentie Harmonisatie, Refactor/Transformatie, en Stijl-bewuste Foutreparatie. De dataset beslaat diverse grafiektypen (Bar, Line, Boxplot, Scatter, etc.) en bibliotheken (Matplotlib en Vega-Lite).

2. Evaluatiekader

De auteurs stellen een gestructureerd evaluatieproces voor dat meet:

Code Executie: Of de code draait en een geldige grafiek rendert.
Taak Accuraatheid: Of de bewerking de instructie vervult terwijl de semantiek behouden blijft.
Leesbaarheid & Helderheid: Legibiliteit van labels, legenda's en assen.
Visuele Kwaliteit: Algehele presentatie, lay-out en afwerking.
Visuele Gelijkenis: Afstemming met de doel-/referentiegrafiek.
Final Pass Rate: Een strikte metriek die succesvolle executie, hoge taakaccuraatheid (≥4.5), hoge leesbaarheid/kwaliteit (≥4.0) en hoge visuele gelijkenis (≥90) vereist.

Een automatische VLM-gebaseerde evaluator (GPT-4o, of Gemini 2.5 Pro voor GPT-4o outputs om bias te vermijden) wordt gebruikt met een vast rubric, gevalideerd tegen menselijke oordelen.

3. VisEditAgent

Om een sterk baseline te vestigen en de waarde van iteratieve verfijning aan te tonen, stellen de auteurs VisEditAgent voor. In tegenstelling tot zero-shot prompting, bootst dit framework de menselijke iteratieve workflow na:

Edit Planning: Identificeert visuele problemen en relevante code-regio's.
Candidate Generation: Genereert meerdere code-variaties.
Execution & Rendering: Voert kandidaten uit om visuele outputs te produceren.
Visual Validation: Evalueert kandidaten tegen de instructie en referentie.
Refinement: Verfijnt iteratief de beste kandidaat op basis van executie-diagnostiek en visuele feedback.

Belangrijkste Resultaten

Zero-Shot Prestaties

De auteurs evalueerden 20 state-of-the-art VLMs (zowel closed-source als open-source).

Prestatiekloof: Er is een aanzienlijk gat tussen het genereren van uitvoerbare code en het uitvoeren van visueel getrouwe bewerkingen. Zelfs het beste model, Claude-4.6-Sonnet, behaalde een algehele pass rate van 74,46% in zero-shot settings, terwijl de meeste open-source modellen onder de 50% bleven.
Executabiliteit vs. Visuele Getrouwheid: Sterke modellen produceren vaak uitvoerbare code (bijv. Claude-4.6-Sonnet: 96,19% executie succes) maar falen op visuele gelijkenis (89,42%), wat aangeeft dat ze moeite hebben met het behouden van lay-outgetrouwheid en stilistische afstemming.
Taak Moeilijkheidsgraad: Prestaties variëren scherp per intentie. Modellen presteren relatief goed op correctheid reparatie (70,34% voor Claude-4.6-Sonnet) maar worstelen aanzienlijk met visueel gegronde stijladaptatie in zero-shot settings, waar zelfs het beste model slechts 55,71% behaalt.

VisEditAgent Resultaten

Door GPT-4o als basismodel te gebruiken, verbeterde VisEditAgent de algehele pass rate van 55,75% (zero-shot) naar 67,99%.

Iteratieve Verfijning: De grootste winsten werden waargenomen in visueel gegronde taken. Stijladaptatie verbeterde van 10,00% (GPT-4o zero-shot) naar 62,85%, en consistentie harmonisatie van 47,46% naar 64,41%.
Ablatie: Het verwijderen van multi-candidate generatie of de verfijningsstap degradeerde de prestaties aanzienlijk, wat bevestigt dat iteratieve validatie tegen gerenderde feedback cruciaal is voor succesvolle bewerking.

Betekenis en Bijdragen

Het artikel claimt vier primaire bijdragen:

VisEditBench: De eerste benchmark specifiek voor het evalueren van visualisatiecode-bewerking vanuit multimodale feedback, dekkend over 1.395 taken via diverse intenties en bibliotheken.
Gestructureerde Evaluatie: Een uitgebreid framework dat executabiliteit, taakaccuraatheid, leesbaarheid, visuele kwaliteit en visuele gelijkenis meet, bewegend voorbij eenvoudige code-generatiemetrieken.
Empirische Analyse: Zero-shot evaluaties van 20 VLMs die onthullen dat hoewel modellen code kunnen genereren, ze het vereiste multimodale redeneren missen voor getrouwe, iteratieve visualisatie-bewerking, met name bij stijladaptatie.
VisEditAgent: Een render-gegronde baseline die aantoont dat iteratieve generatie, executie en visuele validatie de prestaties van bewerkingen aanzienlijk verbeteren, wat suggereert dat betrouwbare visualisatie-creatie multimodale redeneerlussen vereist in plaats van single-pass generatie.

De auteurs concluderen dat VisEditBench en VisEditAgent een fundament leggen voor het ontwikkelen van gebruiker-gealigneerde, feedback-bewuste visualisatiesystemen, waarbij zij benadrukken dat het veld verder moet gaan dan one-shot generatie om de iteratieve aard van realistische datavisualisatie aan te pakken.