WildSVG: Towards Reliable SVG Generation Under Real-Word Conditions

Deze paper introduceert WildSVG, een nieuw benchmark met natuurlijke en synthetische datasets om de uitdagingen van het extraheren van SVG's uit realistische, onzuivere afbeeldingen te adresseren en vast te stellen dat huidige multimodale modellen hier nog tekortschieten, hoewel iteratieve verfijning veelbelovend is.

De kern

Stel je voor dat je een foto van een drukke stadstraat maakt. Ergens in die foto staat een bekend logo, zoals dat van een biermerk of een sportteam. Nu wil je dat logo niet als een gewone foto (een rasterafbeelding met pixels), maar als een vectorafbeelding (SVG).

Wat is het verschil? Een foto is als een mozaïek van miljoenen kleine steentjes; als je het vergroot, wordt het wazig. Een SVG is als een tekening gemaakt met een onuitwisbare stift en meetlat: het is wiskundig perfect, oneindig schaalbaar en je kunt elk onderdeel later makkelijk aanpassen.

Het probleem? Hoe krijg je dat perfecte vector-logo uit een rommelige, echte foto?

Dit is precies wat het nieuwe onderzoekspapier "WildSVG" aanpakt. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Rommelige Werkplaats"

Tot nu toe waren slimme AI-modellen (zoals die van Google, OpenAI of Claude) heel goed in het tekenen van vectorafbeeldingen als je ze een schoon, wit canvas gaf. Het was alsof je een chef-kok vroeg om een perfecte taart te bakken, maar je gaf hem alleen de ingrediënten in een schone keuken.

Maar in de echte wereld is de keuken rommelig. Er is stof op de tafel, het licht is raar, en er staan andere dingen op de foto die niet bij het logo horen (zoals een boom of een auto).

• De uitdaging: De AI moet niet alleen het logo "zien", maar ook de rommel negeren en het logo omzetten in die perfecte wiskundige instructies.
• Huidige situatie: De beste AI's proberen het, maar ze maken veel fouten. Ze tekenen soms de achtergrond mee, of ze vergeten de kleuren precies goed te krijgen. Het is alsof je een kind vraagt om een foto van een auto na te tekenen, maar het kind tekent ook de boom erachter en de wolken erboven.

2. De Oplossing: De "WildSVG" Testbaan

Omdat er geen goede manier was om te testen hoe goed AI dit doet, hebben de onderzoekers een nieuwe testbaan gebouwd, genaamd WildSVG. Ze hebben dit gedaan met twee soorten "spelletjes":

• De "Natuurlijke" Test (Natural WildSVG):
  Ze hebben echte foto's van reclameborden, auto's en gebouwen genomen waar logo's op staan. Ze hebben er handmatig de perfecte vector-tekening bij gezocht. Dit is als het testen van een auto op een modderig bosweggetje.
• De "Synthetische" Test (Synthetic WildSVG):
  Ze hebben een computer gebruikt om echte vector-logo's in kunstmatige, realistische scènes te plakken. Dit is als een simulatie in een videospel: je weet precies wat er moet gebeuren, maar het ziet eruit als de echte wereld.

Met deze twee sets hebben ze een meetlat gemaakt om te zien welke AI het beste presteert.

3. Wat hebben ze ontdekt? (De Resultaten)

Toen ze de slimste AI's van vandaag de dag (zoals GPT-5, Claude, en Qwen) op deze test lieten werken, zagen ze drie belangrijke dingen:

1. De "Schoonheid vs. Betekenis" Dilemma:
   De AI's zijn heel goed in het begrijpen wat er op de foto staat (de betekenis), maar slecht in het perfect nabootsen van hoe het eruitziet (de details).
   • Vergelijking: Stel je voor dat je een schilderij moet kopiëren. De AI zegt: "Ah, dit is een rode auto!" en tekent een rode auto. Maar de wielen zijn iets te groot en de kleur is net niet diep genoeg. De AI heeft de idee van de auto, maar niet de perfecte uitvoering.
2. De "Twee-Stappen" Methode werkt beter:
   Als je de AI eerst zegt: "Kijk alleen naar dit kleine vierkantje waar het logo zit" (in plaats van de hele foto), maakt de AI veel minder fouten.
   • Vergelijping: Het is alsof je iemand vraagt om een woord te spellen. Als je zegt "Spel het hele boek", maakt hij fouten. Als je zegt "Spel alleen dit ene woord", lukt het veel beter.
3. Er is nog veel ruimte voor verbetering:
   Zelfs de slimste AI's halen niet het niveau dat nodig is voor professioneel gebruik. Ze blijven steken op een bepaald punt. Het is alsof je een auto hebt die 100 km/u haalt, maar voor de race heb je er eentje nodig die 200 km/u kan.

4. Waarom is dit belangrijk?

Voorheen was het moeilijk om een vectorafbeelding te maken van een foto. Je moest vaak een menselijke ontwerper inhuren om het logo handmatig na te tekenen.
Als AI dit in de toekomst goed kan, betekent dit:

• Snelheid: Je kunt direct een vector-logo maken van een foto van een nieuw product.
• Flexibiliteit: Je kunt het logo later makkelijk verkleinen, verkleuren of aanpassen zonder dat het wazig wordt.
• Toegang: Iedereen kan vector-afbeeldingen maken, niet alleen experts.

Conclusie

Het papier zegt eigenlijk: "We hebben een nieuwe test gemaakt om te zien hoe goed AI logo's uit echte foto's kan halen. De huidige AI's zijn slim, maar nog niet perfect. Ze begrijpen het idee, maar de details zijn nog rommelig. We hebben nu de tools om ze te trainen om dit in de toekomst wel perfect te doen."

Het is een eerste stap naar een wereld waar je gewoon een foto kunt nemen en de AI het perfecte, bewerkbare ontwerp voor je maakt.

Technische samenvatting

Probleemstelling

Huidige multimodale modellen (MLLMs) presteren goed bij het genereren van Scalable Vector Graphics (SVG) vanuit schone renderings of tekstuele beschrijvingen. Echter, deze modellen falen in realistische scenario's waar natuurlijke afbeeldingen ruis, rommel (clutter), en domeinverschuivingen bevatten.

De kernuitdaging is het ontbreken van een geschikt benchmark voor de taak van SVG-extractie. Dit is het proces waarbij specifieke visuele elementen (zoals logo's, iconen of pictogrammen) uit een complexe natuurlijke afbeelding worden geïdentificeerd en omgezet naar gestructureerde SVG-code. In tegenstelling tot volledige beeldvectorisatie vereist extractie:

1. Selectieve abstractie: Het isoleren van het doelobject terwijl irrelevante visuele content wordt genegeerd.
2. Omgaan met ruis: Het verwerken van texturen, schaduwen, occlusies en perspectiefvervormingen die de extractie van de juiste kenmerken bemoeilijken.

Bestaande datasets richten zich óf op logo-detectie (alleen bounding boxes, geen vector-code) óf op SVG-generatie (alleen schone renderings, geen natuurlijke context). Er is geen dataset die vector-annotaties koppelt aan natuurlijke afbeeldingen.

Methodologie

De auteurs introduceren een nieuwe taak, een benchmark en een evaluatiekader om dit gat te dichten.

1. De WildSVG Benchmark

De benchmark bestaat uit twee complementaire datasets die samen de eerste grondslag vormen voor systematische evaluatie:

• Natural WildSVG: Gebaseerd op de dataset Logos-in-the-Wild. Bestaande logo-detecties in echte foto's worden gekoppeld aan hun corresponderende SVG-bestanden (gehaald van worldvectorlogo.com). De koppeling wordt gevalideerd met een VLM-beoordelaar en gesorteerd op visuele gelijkenis (DINOv2 features).
• Synthetic WildSVG: Complex SVG-ontwerpen (uit SVG-Stack) worden geïntegreerd in realistische scènes met behulp van een beeldgeneratiemodel (Nano Banana). Dit simuleert moeilijke visuele condities (zoals schaduwen en perspectief) terwijl de "ground truth" SVG bekend blijft.

Beide datasets omvatten bounding boxes, focus-prompts (die het doelobject specificeren) en tekstuele beschrijvingen.

2. Evaluatiekader

De prestaties worden gemeten via vier dimensies:

• Pixel-niveau fideliteit: L2-fout en SSIM.
• Perceptuele en semantische gelijkenis: LPIPS en DINO-score.
• Code compactheid: Token-length difference (verschil in lengte tussen gegenereerde en ground truth SVG).
• Bewerkbaarheid (Editability): Gemeten via "Primitive Diversity" (aantal unieke SVG-primitieven), aangezien diverse, simpele vormen makkelijker aan te passen zijn voor ontwerpers.

3. Baselines en Experimenten

De auteurs testen state-of-the-art multimodale modellen in twee scenario's:

1. Een-staps extractie: Het model ontvangt de volledige afbeelding en een focus-prompt.
2. Twee-staps extractie: De afbeelding wordt eerst perfect gecropd (gebruikmakend van perfecte bounding boxes) voordat de SVG wordt gegenereerd. Dit dient als een bovengrens voor methoden die externe detectiemodules gebruiken.

Geëvalueerde modellen omvatten families zoals Qwen, Gemini, Claude, GLM, GPT, en gespecialiseerde modellen zoals Qwen2.5VL-8B SVG RL (getraind met StarVector-pipeline) en VCode (een iteratieve verfijningsmethode).

Kernresultaten

De benchmarkresultaten tonen drie duidelijke trends:

1. Prestatieverschil tussen Synthetisch en Natuurlijk: Modellen presteren consistent beter op de synthetische dataset dan op de natuurlijke dataset. De natuurlijke dataset introduceert complexiteit (schaduwen, occlusies) die de vectorisatie aanzienlijk bemoeilijkt.
2. Semantische vs. Aesthetische Fideliteit: De meeste VLM's (Visual Language Models) optimaliseren voor semantische gelijkenis in plaats van pixel-perfecte fideliteit. Ze gebruiken vaak tekst-primitieven om letters na te bootsen in plaats van ze als vormen te tekenen. Dit leidt tot goede scores op semantische metrics (LPIPS, DINO), maar zwakkere scores op pixel-metrics (L2, SSIM).
   • Uitzondering: Modellen zoals Qwen2.5VL-8B SVG RL en VCode neigen naar visuele esthetiek (gebruik van vormen voor letters) ten koste van de semantische score, maar produceren visueel dichter bij het origineel.
3. Prestatieplafond: Zelfs de sterkste modellen (zoals Claude Opus 4.1 en GPT 5) blijven onder de drempel voor betrouwbare extractie. Ze bereiken bijvoorbeeld een DINO-score van ~90 en LPIPS van ~30, terwijl voor hoge fideliteit DINO >95 en LPIPS <10 nodig zou zijn.
   • De twee-staps methode verbetert de prestaties niet consistent voor alle families, behalve voor het StarVector-getrainde model, wat suggereert dat het trainingstraject van StarVector een zwakke link heeft in de afstemming tussen prompt en beeldkenmerken.
   • Iteratieve verfijning (VCode) toont veelbelovende resultaten, waarbij de prestaties van Claude Sonnet 4.5 worden verbeterd zonder de focuscapaciteiten te verliezen.

Belangrijkste Bijdragen

1. Definitie van SVG-extractie: De paper formaliseert de taak van het isoleren en vectoriseren van specifieke elementen uit natuurlijke afbeeldingen, een stap voorbij de bestaande "image-to-SVG" taken.
2. WildSVG Dataset: De introductie van de eerste benchmark voor deze taak, bestaande uit een natuurlijke en een synthetische split, die het ontbrekende linkje vormt tussen logo-detectie en vector-generatie.
3. Systematische Evaluatie: Een uitgebreide benchmarking van toonaangevende multimodale modellen, inclusief gespecialiseerde en iteratieve benaderingen, met een focus op zowel visuele als code-kwaliteit.
4. Identificatie van Research Gaps: De paper toont aan dat huidige modellen moeite hebben met de afstemming tussen prompts en gestructureerde vector-output, en dat er een duidelijke behoefte is aan training die zowel SVG-generatie als -extractie integreert.

Significantie en Toekomstperspectief

Dit werk is een mijlpaal in het veld van gestructureerde grafische generatie. Het benadrukt dat het genereren van SVG's uit "in het wild" afbeeldingen een aanzienlijk moeilijker probleem is dan eerder gedacht, en dat huidige VLM's nog niet klaar zijn voor productieve toepassingen zonder menselijke tussenkomst.

De studie wijst de weg voor toekomstig onderzoek in vijf richtingen:

• Verbetering van de afstemming tussen prompts en vector-output.
• Integratie van extractie- en generatietaken in de VLM-training.
• Uitbreiding van twee-staps benaderingen zonder taak-specifieke fine-tuning.
• Onderzoek naar de impact van iteratieve methoden op beter getrainde modellen.
• Uitbreiding van de WildSVG-datasets om bredere training mogelijk te maken.

Kortom, WildSVG biedt de noodzakelijke infrastructuur om de volgende generatie modellen te ontwikkelen die betrouwbaar vectorgrafiek kunnen genereren uit de chaotische realiteit.