🤖 AI

Vector-Bench: Can Models Surgically Edit SVG Code?

Het artikel introduceert Vector-Bench, een rigoureuze benchmark van 40 SVG-reparatietaken ontworpen om instructiegebaseerde vectorbewerking te evalueren, wat onthult dat zelfs de sterkste modellen moeite hebben met het chirurgisch toepassen van gevraagde wijzigingen zonder ongevraagde elementen te veranderen, waarbij slechts 15,0% succes in volledige specificatie wordt behaald.

Oorspronkelijke auteurs: Yug Aditi Gupta, Prannay Hebbar

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yug Aditi Gupta, Prannay Hebbar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een digitale kunstenaar te zijn. Je geeft het een afbeelding gemaakt van code—zoals een digitale tekening opgebouwd uit instructies in plaats van verf—en je zegt: "Hé, de zon in deze afbeelding is te groot; maak hem kleiner, maar raak de wolken of de bergen niet aan." Dit is de wereld van vectorgraphics. In tegenstelling tot een standaardfoto, die slechts een raster van gekleurde puntjes is, is een vectorafbeelding een levend programma. Het is een lijst met commando's die een computer vertellen hoe hij lijnen, vormen en kleuren moet tekenen. Omdat het code is, als de robot de verkeerde lijn verandert, ziet de afbeelding niet alleen vreemd uit; het kan de hele file beschadigen, waardoor het later onmogelijk is om te openen of te bewerken.

De grote vraag die wetenschappers zich stellen is: kunnen deze slimme AI-modellen daadwerkelijk instructies opvolgen om een specififiek deel van deze code aan te passen zonder de rest te verpesten? Het is een beetje als vragen aan een chefkok om het zout in een soep te vervangen zonder de temperatuur, de pan of het recept voor het brood aan de zijkant te veranderen. Als de AI de soep alleen maar lekker maakt maar het brood laat aanbranden, dan is dat een mislukking, zelfs als de soep er goed uitziet. Dit is de uitdaging van instructiegebaseerde bewerking: precies doen wat je hebt gevraagd, en alleen datgene wat je hebt gevraagd, terwijl je de onzichtbare structuur van de code perfect houdt.

Maak kennis met Vector-Bench, een nieuwe en lastige test die ontworpen is om te zien of AI-modellen echt chirurgische editors kunnen zijn. De onderzoekers creëerden 40 specifieke puzzels waarbij een SVG-afbeelding is "gecorrumpeerd"—misschien zweeft een deur van een trein op de verkeerde plek, of heeft een kwal haar verloren. Ze gaven de AI-modellen een eenvoudige instructie in menselijke taal zoals: "Het amberkleurige signaal is gedimd; herstel het en laat het station met rust." De modellen moesten de code herschrijven om het signaal te herstellen zonder per ongeluk de trein te verplaatsen, het perron van het station te verwijderen of het bestandsformaat te breken.

De resultaten waren een flinke reality check. De onderzoekers testten 34 verschillende AI-modellen, variërend van goedkope, kleine modellen tot de krachtigste "frontier"-modellen die beschikbaar zijn. Het best presterende model, Claude Sonnet 5, slaagde erin om de volledige taak perfect uit te voeren—het fout herstellen, alles anders veilig houden en een geldig bestand produceren—slechts 15,0% van de tijd. Dat klopt: zelfs het slimste AI-model faalde om de volled kind instructies volledig op te volgen in meer dan 8 van de 10 pogingen.

Het verhaal gaat echter niet alleen over falen; het gaat over hoe ze faalden. Het onderzoek toonde aan dat de modellen eigenlijk best goed waren in het "herstellen"-gedeelte. Gemiddeld maakten ze ongeveer 43,7% van de tijd zichtbare vooruitgang op de gevraagde reparaties. Ze konden vaak het signaal helderder maken of de deur dichterbij bewegen. Maar ze waren verschrikkelijk in het "laat de rest met rust"-gedeelte. Ze hernoemden vaak dingen die ze niet mochten hernoemen, verschoven ongerelateerde objecten, of braken de codestructuur zodat het bestand ongeldig werd.

De studie sluit expliciet de gedachte uit dat "er goed uitzien" hetzelfde is als "correct werken". Een model kan een afbeelding produceren die er voor het menselijk oog gerepareerd uitziet, maar als de onderliggende code is herschreven of beschadigd, is dat een mislukking. De onderzoekers bewezen dit door een strikte, geautomatiseerde rechter te gebruiken die niet alleen naar de afbeelding kijkt, maar ook naar de code zelf. Ze ontdekten dat hoewel modellen sommige reparaties kunnen uitvoeren, het vermogen om chirurgisch code te bewerken zonder nevenschade aan te richten nog steeds een enorme hindernis is.

Kortom, het artikel suggereert dat hoewel AI beter wordt in het tekenen en repareren van plaatjes, het nog steeds moeite heeft om een precieze, voorzichtige editor te zijn van de code die deze plaatjes laat werken. De kloof tussen "een verandering aanbrengen" en "de juiste verandering aanbrengen zonder de rest te breken" blijft groot. De auteurs hebben al hun gegevens, code en resultaten vrijgegeven, waarmee ze laten zien dat zelfs de duurste en krachtigste modellen momenteel meer lijken op enthousiaste stagiairs die het probleem oplossen maar per ongeluk de boekenkast omverwerpen, dan op de precieze chirurgen die we nodig hebben voor het bewerken van digitale kunst.

Technische Samenvatting: Vector-Bench

Probleemdefinitie
Instructie-gebaseerde vectorbewerking vereist dat een model een specifieke wijziging uitvoert terwijl de volledige omliggende codestructuur behouden blijft. Hoewel metrieken voor rasterbeeldgeneratie succes vaak beoordelen op basis van het uiteindelijke visuele uiterlijk, is deze aanpak onvoldoende voor Structured Vector Graphics (SVG). In SVG veranderen "cosmetische" verschillen — zoals het hernoemen van elementen, het herschrijven van padgegevens, het verschuiven van ongerelateerde objecten of het verwijderen van metadata — de semantiek van het uitvoerbare artefact. Huidige benchmarks falen vaak in het onderscheid tussen een model dat een visueel defect succesvol heeft hersteld en een model dat onbedoeld de onderliggende programmastructuur heeft gecorrumpeerd. De kernuitdaging is het definiëren van een beloningssignaal dat tegelijkertijd de gevraagde reparaties verifieert, de semantische preservatie van ongevraagde elementen afdwingt en garandeert dat de output een valide, bruikbare SVG blijft.

Methodologie: Vector-Bench
De auteurs introduceren Vector-Bench, een compacte, hoog-densiteit benchmark bestaande uit 40 SVG-reparatietaken. De benchmark is ontworpen om "chirurgische" bewerkingsvaardigheden te testen via de volgende componenten:

Taakstructuur: Elke taak $\tau$ koppelt een gecorrumpeerde SVG ( $S_0$ ) aan een door een auteur geschreven natuurlijke taalinstructie ( $x$ ). De instructie beschrijft zichtbare defecten (bijv. "het amberkleurige signaal is donker geworden") zonder DOM-identifiers, coördinaten, kleurcodes of padgegevens te onthullen. De grondwaarheid is een verborgen doel-SVG ( $S^*$ ).
Annotaties: De dataset bevat 202 geannoteerde reparaties over 40 taken (gemiddeld 5,05 reparaties per taak) en definieert een set "beschermde objecten" (gemiddeld 60,55 per taak) die ongewijzigd moeten blijven.
Uitvoerbare Evaluatie: De auteurs stellen een deterministische, binaire specificatiebeloning ( $R_{spec}$ $R_{s p ec}$ ) voor op basis van een drie-poortensysteem:
1. Validiteitspoort: De output moet een goed gevormde, valide SVG zijn met oplosbare referenties.
2. Gevraagde Bewerkingspoort: Voor elke gevraagde bewerking $e$ controleert een attribuut-bewuste predicaat de output tegen de doelstelling. Dit gebruikt perceptuele toleranties (bijv. CIE Lab $\Delta E_{76}$ voor kleur, RMS voor coördinaten en pad-sampling) in plaats van exacte string-matching, waardoor equivalente SVG-commando's mogelijk zijn die hetzelfde visuele resultaat produceren.
3. Preservatiepoort: Het ongevraagde deel van het document (gemaskeerd door de bewerkingslocaties) moet semantisch onveranderd blijven. Dit controleert de structurele integriteit, de volgorde van elementen en de afwezigheid van onbedoelde wijzigingen aan beschermde objecten.
Diagnostische Metrieken: Naast de binaire pass/fail, houdt het framework "Repair Progress" (hoe dicht de output bij het doel ligt binnen de toleranties) en de "Unintended Change Rate" (UCR) bij om nevenschade te kwantificeren.

Belangrijkste Bijdragen

Een Bevroren Corpus: Een dichte set van 40 door auteurs beschreven SVG-reparatietaken met expliciete beoogde bewerkingen en brede preservatie-oppervlakken, waarbij instructies uitsluitend vertrouwen op visuele beschrijvingen.
Een Transparante Evaluator: Een uitvoerbaar evaluatieprotocol dat tolerante bewerkingscontroles combineert met strikte semantische preservatie en validiteitspoorten, waarbij geleerde judges of model-gebaseerde beoordelaars worden vermeden.
Uitgebreide Evaluatie: Een reproduceerbare studie van 34 model-endpoints (25 open-weight, 5 goedkope controles, 4 frontier closed modellen) over 1.360 verzoeken, waarbij alle prompts, outputs, score-code en kosten worden vrijgegeven.
Empirische Gap-analyse: Een gedetailleerde account van de divergentie tussen het voltooien van zichtbare reparaties en het behoud van de volledige vectorprogrammastructuur.

Resultaten
De evaluatie van 34 modellen onthult een aanzienlijke kloof tussen visuele reparatiecapaciteit en specificatie-getrouwe bewerking:

Lage Volledige Succesratio: De sterkste endpoint, Claude Sonnet 5, bereikte slechts 15,0% volledig specificatie-succes (het voldoen aan alle drie de poorten). Over alle 1.360 uitkomsten voldeed slechts 2,35% aan alle poorten.
Hoge Partiële Progressie: Ondanks het lage volledige succes, bereikte het beste model een gemiddelde reparatieprogressie van 43,7%, wat aangeeft dat modellen vaak de gevraagde visuele wijzigingen uitvoeren maar falen op preservatie of validiteit.
Validiteits- en Preservatieproblemen: Veel modellen produceerden ongeldige SVGs of introduceerden onbedoelde wijzigingen. Voor het topmodel was de SVG-validiteit 62,5%, en de Unintended Change Rate (UCR) van de valide output was 0,8%.
Foutmodi: De meerderheid van de fouten was te wijten aan onvolledige of onbruikbare outputs (bijv. afkorting, ongeldige XML) of collaterale wijzigingen aan beschermde objecten, in plaats van een totaal onvermogen om het doelobject te bewerken.
Kosten vs. Capaciteit: De studie vond geen directe correlatie tussen modelkosten en prestaties; dure frontier-modellen presteerden niet consistent beter dan kleinere of goedkopere alternatieven in termen van volledig specificatie-succes.

Significantie
Het paper beweert dat Vector-Bench een kritieke beperking in huidige Large Language Models blootlegt: het onvermogen om lokale bewerkingen uit te voeren op gestructureerde code zonder de integriteit van de omliggende context in gevaar te brengen. De resultaten laten zien dat "schijnbare reparatieprogressie" (het herstellen van het visuele defect) en "specificatie-getrouwe bewerking" (het herstellen van het defect terwijl de rest van het programma ongewijzigd blijft) substantieel verschillende capaciteiten zijn. De benchmark biedt een rigoureuze, deterministische standaard voor het evalueren van vectorbewerking die verder gaat dan raster-gebaseerde visuele gelijkenis, en benadrukt de noodzaak voor modellen om de semantische structuur van uitvoerbare artefacten beter te begrijpen en te behouden. De auteurs benadrukken dat hun bevindingen stabiel zijn over gematigde tolerantieveranderingen, wat suggereert dat de moeilijkheid inherent is aan de taak en niet een artefact van strikte evaluatiecriteria.

Meer zoals dit