VFIG: Vectorizing Complex Figures in SVG with Vision-Language Models

Probleemstelling

Scalable Vector Graphics (SVG) zijn een essentieel formaat voor technische illustraties en digitaal ontwerp vanwege hun resolutie-onafhankelijkheid en bewerkbaarheid. In de praktijk zijn de originele vectorbestanden van complexe diagrammen (zoals die in wetenschappelijke papers) echter vaak verloren gegaan of ontoegankelijk, waardoor alleen "platte" rasterafbeeldingen (PNG, JPEG) overblijven. Het handmatig reconstrueren van deze figuren is uiterst arbeidsintensief en vereist specialistische expertise om de oorspronkelijke geometrische intentie, styling en compositie te herstellen.

Bestaande methoden voor het converteren van raster naar vector (zoals contour-tracing of eerdere ML-modellen) zijn vaak beperkt tot simpele iconen of kleine diagrammen. Ze falen bij complexe figuren met meerdere panelen, dichte annotaties, hiërarchische groeperingen en precieze connectiviteit. De uitdaging ligt in het gezamenlijk redeneren over visuele inhoud (ruimtelijke lay-out, styling) en het genereren van gestructureerde, syntactisch correcte SVG-code die niet alleen visueel lijkt, maar ook semantisch bewerkbaar is.

Methodologie: VFig

De auteurs stellen VFig voor, een familie van Vision-Language Models (VLM's) die zijn getraind voor het converteren van complexe rasterfiguren naar hoogwaardige, bewerkbare SVG-code. De aanpak bestaat uit drie pijlers:

1. Data: VFig-Data

Om het gebrek aan geschikte trainingsdata voor complexe diagrammen aan te pakken, hebben de auteurs VFig-Data ontwikkeld, een dataset van 66.000 hoogwaardige figuur-SVG-paren.

• Bronnen: De dataset combineert echte wetenschappelijke figuren uit papers (gecrawld van arXiv) met procedurally gegenereerde diagrammen.
• Generatiepijplijn: Voor de echte figuren wordt een twee-staps proces gebruikt: eerst genereert een VLM een gestructureerde tekstuele beschrijving van de figuur (geometrie, tekst, relaties), waarna een tweede prompt de SVG-code genereert op basis van zowel de afbeelding als de beschrijving. Dit verbetert de lay-outnauwkeurigheid aanzienlijk ten opzichte van single-pass generatie.
• Filtering: Er wordt streng gefilterd om figuren te verwijderen die niet geschikt zijn voor vectorisatie (zoals natuurlijke foto's, zware texturen of wiskundige formules die beter in LaTeX passen). Ook wordt SVG-code gefilterd om te voorkomen dat het wordt gedomineerd door <path>-elementen (die vaak lange coördinatenreeksen bevatten en moeilijk te bewerken zijn). In plaats daarvan wordt prioriteit gegeven aan semantische primitieven (zoals <rect>, <circle>, <line>).

2. Training: Coarse-to-Fine Curriculum & RL

De training volgt een gestructureerde aanpak om de complexiteit van diagrammen te beheersen:

• Supervised Fine-Tuning (SFT) Curriculum: In plaats van direct te trainen op de meest complexe figuren, wordt een "coarse-to-fine" strategie gebruikt. Het model begint met het leren van eenvoudige primitieven en basislay-outs (op basis van simpele diagrammen) en schakelt daarna over naar complexe, wetenschappelijke figuren. Dit stabiliseert de training en voorkomt degeneratie.
• Reinforcement Learning (RL) met Visuele Feedback: Na de SFT-fase wordt Reinforcement Learning (specifiek GRPO - Group Relative Policy Optimization) toegepast om de visuele kwaliteit en structurele correctheid te optimaliseren.
  • Reward Functie: In plaats van alleen pixel-gebaseerde metrics (zoals L2 of SSIM), gebruiken de auteurs een rubric-based VLM-judge (Gemini-3-Flash) die de gegenereerde SVG rendert en beoordeelt op vier criteria:
    1. Presence: Zijn alle elementen aanwezig?
    2. Layout: Is de ruimtelijke rangschikking en uitlijning correct?
    3. Connectivity: Verbinden pijlen en lijnen de juiste eindpunten?
    4. Details: Zijn tekst en fijne styling (kleur, lettertype) accuraat?
  • Deze aanpak zorgt ervoor dat het model leert op structurele consistentie in plaats van alleen op pixel-overeenkomst.

3. Evaluatie: VFig-Bench

De auteurs introduceren VFig-Bench, een uitgebreide benchmark specifiek voor complexe figuren. Deze bevat een nieuw evaluatieprotocol dat gebruikmaakt van:

• Pixel-niveau metrics (LPIPS, SSIM).
• Component-niveau scores (regelgebaseerde matching van pijlen en vormen).
• Image-level oordelen via VLM's (Gemini en GPT) die de algehele compositie beoordelen.

Belangrijkste Resultaten

• State-of-the-Art Performance: VFig presteert beter dan alle bestaande open-source modellen (zoals OmniSVG en StarVector) en komt in de buurt van gesloten, proprietaire systemen zoals GPT-5.2 en Gemini 3 Pro.
• Scores: Op de VFig-Bench bereikt VFig een VLM-Judge score van 0.829, wat een aanzienlijke verbetering is ten opzichte van baselines.
• Effectiviteit van de Methode:
  • Het coarse-to-fine curriculum verbetert de stabiliteit van de generatie van composities aanzienlijk.
  • RL met visuele feedback verbetert de geometrische nauwkeurigheid en het herstel van fijne details.
  • Structurele beloningen (via VLM-judge) bleken effectiever dan puur pixel-gebaseerde beloningen voor het optimaliseren van complexe diagrammen.
• Kwaliteit: VFig produceert SVG-code met een hoge "cleanliness" (veel semantische primitieven in plaats van paths) en een hoge render-succesratio, wat essentieel is voor bewerkbaarheid.

Betekenis en Impact

Dit paper markeert een belangrijke stap in het automatiseren van de conversie van raster naar vector voor complexe technische illustraties.

1. Praktische Toepassing: Het opent de deur voor het efficiënt hergebruiken en bewerken van wetenschappelijke diagrammen, wat handmatige reconstructie overbodig maakt.
2. Data en Benchmark: De introductie van VFig-Data en VFig-Bench vult een kritiek gat in de literatuur, aangezien eerdere datasets zich vooral richtten op simpele iconen.
3. Methodologische Vooruitgang: Het paper demonstreert dat een combinatie van gestructureerde data-curatie, een gefaseerd trainingscurriculum en reinforcement learning met semantische beloningen (in plaats van alleen pixel-verlies) essentieel is voor het genereren van complexe, bewerkbare code.

Samenvattend biedt VFig een robuuste oplossing voor een lang bestaand probleem in de technische visualisatie, waarbij het de kloof overbrugt tussen visuele waarneming en gestructureerde code-generatie voor complexe diagrammen.