VectorGym: A Multitask Benchmark for SVG Code Generation, Sketching, and Editing

Probleemstelling

Scalable Vector Graphics (SVG) worden veel gebruikt in webdesign en digitale media. In tegenstelling tot rasterafbeeldingen zijn SVG's in feite programma's die geometrie, stijl en structuur via code definiëren. Dit maakt ze ideaal voor precieze bewerking en schaalbaarheid. Echter, het evalueren van modellen op SVG-taken is complex omdat het zowel visueel begrip als syntaxisbewust code-generatie vereist.

Bestaande benchmarks voor SVG-generatie hebben belangrijke beperkingen:

• Ze richten zich vaak op simpele iconen of basisvormen.
• Ze vertrouwen op synthetische, programmeerbare bewerkingen in plaats van menselijke intentie.
• Ze missen taken zoals het omzetten van handgetekende schetsen naar vectorcode (Sketch2SVG).
• Ze ontberen "gold-standard" menselijke annotaties voor complexe bewerkingen en beschrijvingen.

Er is dus een gebrek aan een realistische, uitdagende benchmark die aansluit bij professionele ontwerpwerkstromen en visueel begrip, vectorgeneratie en gestructureerde code-manipulatie simultaan test.

Methodologie: VectorGym Benchmark

De auteurs introduceren VectorGym, een uitgebreide benchmark-suite die bestaat uit vier complementaire taken, allemaal gebaseerd op menselijke annotaties van real-world SVG-data (gehaald van GitHub via het SVG-Stack dataset).

De vier kern-taken:

1. VG-Sketch (Sketch2SVG): Het converteren van ruwe, handgetekende schetsen (raster) naar schone, schaalbare SVG-code. Dit test ruimtelijk redeneren en het抽象eren van ruis naar geometrische primitieven.
2. VG-Edit (SVG Editing): Het toepassen van complexe, natuurlijke taal-bewerkingsinstructies op bestaande SVG-bestanden. Dit vereist semantisch begrip, multi-stap redenering en het manipuleren van geavanceerde primitieven (tekst, gradiënten, animaties).
3. VG-Text (Text2SVG): Het genereren van volledige SVG-code op basis van tekstuele beschrijvingen, variërend van simpele vormen tot complexe illustraties.
4. VG-Cap (SVG Captioning): Het genereren van natuurlijke taal-beschrijvingen van bestaande SVG-code (de inverse van Text2SVG), wat visueel begrip en code-comprehensie test.

Dataset Constructie:

• Bron: 7.000 gecureerde samples van SVG-Stack (icons, diagrammen, emoji's, lettertypes).
• Filtering: Toepassing van token-lengte constraints (2k-8k tokens), kleurentropie-drempels en menselijke inspectie.
• Annotatie: Menselijke experts (ontwerpers en ontwikkelaars) hebben schetsen getekend, complexe bewerkingen uitgevoerd en gedetailleerde beschrijvingen geschreven. Dit garandeert dat de bewerkingen echte ontwerprichtlijnen volgen en niet slechts simpele algoritmen zijn.

Evaluatiemethode (VLM-as-a-Judge):
Traditionele metrics (zoals pixel-MSE) zijn onvoldoende voor SVG. De auteurs introduceren een VLM-as-a-Judge (VLMAJ) protocol. Ze evalueren of Vision-Language Modellen (VLM's) de output kunnen scoren op basis van semantische juistheid, structurele validiteit en instructie-opvolging. De beste VLM-judges (zoals Gemini 3 Pro en GPT-5.1) werden geselecteerd op basis van correlatie met menselijke beoordelingen.

Trainingsmethode (Reinforcement Learning):
De auteurs stellen een multi-task Reinforcement Learning (RL) methode voor om een Qwen3-VL 8B model te trainen:

• RLRF (Reinforcement Learning from Rendering Feedback): Het model genereert SVG-code, deze wordt gerenderd naar een rasterafbeelding, en de output wordt vergeleken met de ground truth.
• Beloningen: Voor generatie-taken worden perceptuele similariteitsmetrics (LPIPS, Dino) en pixel-afstanden gebruikt. Voor captioning wordt embedding-similariteit (BGE-M3) gebruikt.
• Optimalisatie: Gebaseerd op GRPO (Group Relative Policy Optimization) met curriculum learning. Samples worden gesorteerd op complexiteit (lengte van respons) om het model stapsgewijs te laten leren van eenvoudig naar complex.

Belangrijkste Bijdragen

1. VectorGym Benchmark: Een nieuwe, multi-task benchmark met menselijke "gold-standard" annotaties voor vier kritieke SVG-taken, inclusief de eerste dataset voor complexe, mens-gemaakte SVG-bewerkingen.
2. Sketch2SVG Taak: Introductie van een nieuwe taak voor het omzetten van handgetekende schetsen naar vectorcode.
3. RL-gebaseerde Training: Een methode die modellen op alle vier de taken simultaan optimaliseert, wat leidt tot state-of-the-art prestaties voor open-source modellen.
4. VLM-as-a-Judge: Een nieuwe evaluatiemeta-metric voor SVG-generatie, gevalideerd door menselijke correlatiestudies.

Resultaten

De auteurs hebben de benchmark gebruikt om zowel proprietaire als open-source state-of-the-art VLM's te evalueren.

• Overige Prestaties: Gemini 3 Pro behaalde de hoogste totale score (73.17), gevolgd door GPT-5.1 (71.36). Dit bevestigt dat gespecialiseerde multimodale modellen superieur zijn in visueel-code redenering.
• Open-Source Doorbraak: Het getrainde Qwen3-VL 8B Gym model (8 miljard parameters) presteerde opmerkelijk goed:
  • Het versloeg het veel grotere Qwen3-VL 235B model in de totale score (66.05 vs 62.32).
  • Het versloeg GPT-4o in de totale score en in specifieke taken zoals Sketch2SVG en SVG Editing.
  • Het bereikte prestaties die vergelijkbaar zijn met de grootste gesloten modellen.
• Taakcomplexiteit: De resultaten tonen een duidelijke hiërarchie in moeilijkheidsgraad:
  1. Text2SVG (eenvoudigst)
  2. SVG Editing
  3. Sketch2SVG
  4. SVG Captioning (moeilijkst, vereist abstractie van code naar semantiek).

Betekenis en Impact

VectorGym stelt een strenge standaard voor voor de evaluatie van visuele code-generatie. Het paper demonstreert dat:

1. Kwaliteit boven kwantiteit: Een kleiner model (8B), getraind met hoogwaardige, taakspecifieke curriculum learning en RL, kan grotere, generieke modellen (235B+) verslaan in specifieke domeinen.
2. Menselijke intentie is cruciaal: Synthetische datasets zijn onvoldoende; complexe, menselijke annotaties zijn nodig om echte ontwerptaken te simuleren.
3. Toekomstige richting: De benchmark en de RL-methode bieden een kader voor het verder ontwikkelen van modellen die niet alleen afbeeldingen kunnen genereren, maar ook de onderliggende, bewerkbare code kunnen begrijpen en manipuleren, wat essentieel is voor de integratie van AI in professionele ontwerptools.

De dataset en code zijn openbaar beschikbaar gesteld via HuggingFace.