VFIG: Vectorizing Complex Figures in SVG with Vision-Language Models

1. Il Problema

I grafici vettoriali in formato SVG (Scalable Vector Graphics) sono fondamentali per l'illustrazione tecnica e il design digitale grazie alla loro indipendenza dalla risoluzione e alla possibilità di modifica semantica. Tuttavia, nella pratica, i file vettoriali originali sono spesso persi o inaccessibili, lasciando solo versioni rasterizzate "piatte" (es. PNG, JPEG).
Ricostruire manualmente questi grafici è un processo proibitivamente laborioso che richiede competenze specializzate. Le soluzioni automatizzate esistenti (metodi di tracciamento classico o modelli di apprendimento precedenti) falliscono spesso su grafici complessi (come diagrammi scientifici con layout multi-pannello, annotazioni dense e connessioni precise), producendo output privi di struttura semantica, basati su percorsi (<path>) complessi e difficili da modificare, o fallendo completamente nel renderizzare il codice.

2. Metodologia

Il paper propone VFig, una famiglia di modelli Vision-Language (VLM) progettata per convertire immagini raster complesse in codice SVG strutturato e modificabile. L'approccio si articola in tre pilastri principali:

A. VFig-Data: Un Dataset su Larga Scala

Per addestrare il modello su grafici complessi, gli autori hanno creato VFig-Data, un dataset di 66.000 coppie immagine-SVG ad alta qualità.

• Origine: Combinazione di figure reali estratte da articoli scientifici (convertite da raster a SVG) e diagrammi generati proceduralmente (forme, frecce, layout randomizzati).
• Filtraggio Rigoroso: È stato implementato un pipeline di filtraggio per escludere immagini non adatte alla vettorializzazione (es. foto naturali, equazioni matematiche pure, grafici di dati) e per pulire il codice SVG.
• Pulizia del Codice: Il codice SVG è stato filtrato per ridurre l'uso eccessivo di elementi <path> (che generano token lunghi e privi di semantica) a favore di primitive geometriche semantiche (rettangoli, cerchi, linee) e gruppi gerarchici, garantendo l'editabilità.

B. Strategia di Addestramento Coarse-to-Fine

Per gestire la complessità della generazione di codice strutturato, VFig utilizza una strategia di addestramento in due fasi:

1. Supervised Fine-Tuning (SFT) con Curriculum:
   • Fase 1: Addestramento su diagrammi semplici e composizioni gerarchiche di base per apprendere la generazione affidabile di primitive atomiche e layout semplici.
   • Fase 2: Addestramento su figure scientifiche complesse per affinare il ragionamento composizionale e la fedeltà strutturale.
2. Reinforcement Learning (RL) con Feedback Visivo:
   • Dopo l'SFT, viene applicato l'algoritmo GRPO (Group Relative Policy Optimization).
   • Reward Function: Invece di ottimizzare solo la probabilità dei token, il modello riceve un feedback basato sul rendering. Un VLM giudice (Gemini-3-Flash) valuta l'immagine renderizzata del SVG generato rispetto all'originale su quattro dimensioni:
     • Presenza: Tutti gli elementi sono presenti?
     • Layout: Posizionamento spaziale e allineamento corretti?
     • Connessione: Le frecce e le linee collegano i punti giusti?
     • Dettagli: Accuratezza del testo, font e stili.
   • Questo approccio corregge errori strutturali che le metriche pixel-level (come LPIPS o SSIM) potrebbero non catturare.

C. VFig-Bench: Valutazione Olistica

È stato introdotto un nuovo benchmark (VFig-Bench) con metriche specifiche per valutare l'integrità strutturale, non solo la similarità visiva. Include metriche a livello di pixel, componenti (corrispondenza regole per frecce e forme) e giudizi olistici tramite VLM.

3. Risultati Chiave

Gli esperimenti dimostrano che VFig supera significativamente lo stato dell'arte (SOTA) tra i modelli open-source:

• Performance: VFig (basato su Qwen3-VL-4B con SFT+RL) ottiene un punteggio VLM-Judge di 0.829 su VFig-Bench, superando modelli open-source precedenti (come OmniSVG e StarVector) e avvicinandosi alle prestazioni di sistemi proprietari molto più grandi come GPT-5.2 e Gemini-3-Pro.
• Qualità del Codice: Il modello produce SVG molto più "puliti" (alta percentuale di primitive semantiche rispetto a percorsi complessi) e con un tasso di rendering riuscito superiore al 96%.
• Ablation Study:
  • Il curriculum SFT (coarse-to-fine) migliora drasticamente la stabilità composizionale.
  • L'RL con feedback visivo strutturale è superiore all'ottimizzazione basata solo su perdita pixel, migliorando la fedeltà geometrica e la correttezza delle connessioni.
  • I modelli più grandi (8B) offrono miglioramenti marginali rispetto ai 4B, rendendo la versione 4B un'opzione efficiente ed efficace.

4. Significato e Impatto

Il lavoro di VFig è significativo per diversi motivi:

1. Democratizzazione della Modifica: Permette di recuperare e modificare figure scientifiche e diagrammi tecnici da immagini raster, accelerando i flussi di lavoro di revisione e riutilizzo.
2. Superamento dei Limiti Attuali: Dimostra che i modelli VLM, se addestrati con dati curati e tecniche di ottimizzazione strutturale (RL), possono comprendere e generare la complessità semantica dei diagrammi scientifici, un compito che i metodi di tracciamento classico non riescono a svolgere.
3. Nuovo Standard di Valutazione: Introduce metriche e un benchmark che valutano la "struttura" e non solo l'aspetto visivo, spingendo la ricerca verso una generazione di codice più affidabile e semanticamente corretta.
4. Risorsa Open: Gli autori rilasciano il modello, il dataset (VFig-Data) e gli strumenti di valutazione, fornendo una base solida per futuri sviluppi nella generazione di grafici vettoriali editabili.

In sintesi, VFig colma il divario tra la visione artificiale e la generazione di codice strutturato, offrendo una soluzione pratica ed efficace per la vettorializzazione di figure complesse, fondamentale per la comunità scientifica e il design tecnico.