Technische Samenvatting: Vision2Code

Probleemstelling

Afbeelding-naar-code-generatie evalueert of een Vision-Language Model (VLM) de structuur van een afbeelding kan reconstrueren naar uitvoerbare code. In tegenstelling tot pixelgebaseerde generatie is code-uitvoer bewerkbaar, verifieerbaar en herbruikbaar. Bestaande benchmarks lijden echter onder drie primaire beperkingen:

1. Beperkte Scope: De meeste benchmarks richten zich op enkele visuele domeinen (bijvoorbeeld alleen diagrammen of alleen web-UI's).
2. Afhankelijkheid van Referentiecode: Veel benchmarks vereisen gekoppelde uitvoerbare referentiecode voor evaluatie, wat de toepasbaarheid beperkt tot datasets waar bronprogramma's niet beschikbaar zijn (bijvoorbeeld gescande documenten, diagrammen uit leerboeken).
3. Generieke Evaluatie: Bestaande metrieken vertrouwen vaak op generieke rubrieken of inbeddingsimilariteiten die domeinspecifieke reconstructiefouten niet vastleggen (bijvoorbeeld incorrecte chemische bindingen, ingestorte 3D-diepte of een verkeerde grafentopologie).

Methodologie

De auteurs introduceren Vision2Code, een benchmark en evaluatiekader zonder referentiecode, ontworpen om afbeelding-naar-code-generatie te beoordelen over 15 brondatasets die zes visuele domeinen bestrijken: diagrammen/plotten, geometrie, grafen, wetenschappelijke beelden, documenten en 3D-ruimtelijke scènes.

Constructie van de Benchmark

• Schaal: De benchmark bevat 2.169 testvoorbeelden (plus een subset van 539 voorbeelden, "test-mini", voor goedkopere evaluatie).
• Domeinen: De zes domeinen zijn geselecteerd om verschillende reconstructie-uitdagingen bloot te leggen:
  • Diagrammen/Plotten: As-schalen, tikafstanden, legende-binding.
  • Geometrie: Labeling van hoekpunten/hoeken en ruimtelijke nabijheid.
  • Grafen: Identiteit van knopen, connectiviteit van randen en richting.
  • Wetenschappelijke Beelden: Gespecialiseerde notatie (chemie, fysica, schakelingen).
  • Documenten: Dichte OCR, kolomstructuur en leesvolgorde.
  • 3D-ruimtelijke scènes: Identiteit van objecten, dieptevolgorde en ruimtelijke relaties.
• Data Bron: Voorbeelden zijn ontleend aan publieke datasets (bijvoorbeeld ChartQA, DocVQA, ChemVQA-2K) waar de originele renderingprogramma's vaak niet beschikbaar zijn.

Evaluatiekader

In plaats van gegenereerde code te vergelijken met een referentieprogramma, evalueert Vision2Code de gerende output van de gegenereerde code tegen de bronafbeelding.

1. Uitvoering: Gegenereerde Python-code (standaard met Matplotlib/NumPy) wordt uitgevoerd in een afgeschermde omgeving. Code die niet wordt uitgevoerd, time-outt of geen geldige afbeelding produceert, ontvangt een score van 0,0.
2. VLM Beoordelaar: Succesvolle renders worden beoordeeld door een VLM-beoordelaar (Qwen3.5-122B) met behulp van dataset-specifieke rubrieken.
   • Elke dataset heeft een unieke rubriek met vier gewogen categorieën (die samen 1,0 opleveren).
   • Scores worden toegekend op een schaal van 0–5.
   • Guardrails: Deterministische caps worden toegepast om hoge scores voor ernstige semantische fouten te voorkomen (bijvoorbeeld een verkeerde moleculaire structuur, afgeplatte 3D-scènes of een verkeerde diagramoriëntatie).
3. Diagnostics: Het kader scheidt "render-succes" (code-uitvoering) van "reconstructiekwaliteit" (visuele fideliteit).

Validatie

De auteurs valideren het evaluatieprotocol tegen menselijke oordelen en automatische baselines:

• Menselijke Alignering: De dataset-specifieke rubriek bereikt een Pearson-correlatie van 0,723 en een Spearman-correlatie van 0,703 met menselijke beoordelingen.
• Baselines: Dit presteert beter dan een generieke rubriek (0,626/0,633) en baselines op inbeddingsimilariteit (0,407/0,498), wat aantoont dat domeinspecifieke criteria essentieel zijn voor een accurate evaluatie.

Belangrijkste Resultaten

De auteurs evalueerden negen modellen (vijf open-weight, vier propriëtaire) op de benchmark.

• Algemene Prestatie: Het beste model, GPT-5.4 Mini met redenering, behaalde een macro-gemiddelde score van 4,06/5,0 op de volledige testset. Zelfs top-tier modellen vertonen aanzienlijke ruimte voor verbetering.
• Domein-Afhankelijkheid: De prestaties variëren drastisch per domein.
  • Modellen excelleren bij regelmatige diagrammen en grafen (bijvoorbeeld GPT-5.4 scoort ~4,7 op DVQA en GraphVQA).
  • Modellen worstelen met ruimtelijke en symbolische domeinen. De beste score op de 3D SpatialVLM-QA dataset is slechts 2,42/5,0, en scores voor chemie (ChemVQA-2K) dalen tot ~0,74 voor sommige modellen.
• Redenering: Het inschakelen van redeneercapaciteiten verbetert de scores bij alle modellen (bijvoorbeeld Qwen3.5-397B verbetert van 2,27 naar 2,95), maar lost niet volledig de fouten op in de meest complexe domeinen (ruimtelijk, chemie).
• Foutanalyse:
  • Uitvoeringsfouten: Variëren per model; kleinere modellen falen vaak vanwege syntaxis/truncatie, terwijl grotere modellen falen vanwege gehallucineerde API's of vormmismatches.
  • Reconstructiefouten: Zodra de code wordt uitgevoerd, verschuiven de fouten naar semantische inhoud (bijvoorbeeld ontbrekende tekst, verkeerde topologie).
• Zelf-Training: Het gebruik van de beoordelaar om modeloutput te filteren voor zelf-training verbetert de prestaties. Fine-tuning van Qwen3.5-9B op "door de beoordelaar gefilterde" data (waar het model eenmaal goed reconstrueert maar inconsistent is) verbeterde de score van 1,60 naar 1,86 zonder gekoppelde broncode.
• Scaling tijdens Testtijd: Herhaalde verfijning tijdens inferentie levert beperkte winst op en kan semantische drift introduceren.

Betekenis en Claims

Het artikel claimt dat Vision2Code een reproduceerbaar testbed biedt voor het meten, diagnosticeren en verbeteren van afbeelding-naar-code-generatie in situaties waar gekoppelde referentiecode niet beschikbaar is. De primaire bijdragen zijn:

1. Een Multi-Domein Benchmark: Evaluatie mogelijk maken over 15 datasets en 6 visuele domeinen, verder gaand dan de beperkte scope van eerdere benchmarks die alleen gericht waren op diagrammen of UI's.
2. Een Domein-bewust Evaluatiekader: Aantonen dat dataset-specifieke rubrieken en deterministische guardrails noodzakelijk zijn om automatische evaluatie af te stemmen op menselijk oordeel, met name voor het detecteren van domeinspecifieke semantische fouten.
3. Een Bron voor Trainingssignalen: Aantonen dat door de beoordelaar gefilterde output kan dienen als effectieve supervisie voor het verbeteren van VLM-capaciteiten zonder dat grondwaarheid-code vereist is.

De auteurs concluderen dat hoewel huidige VLM's regelmatige visuele primitieven kunnen reconstrueren, ze zwak blijven bij taken die een nauwkeurige behoud van domeinspecifieke structuren vereisen (ruimtelijke relaties, chemische symbolen, schakelingstopologie). De benchmark benadrukt dat hoge aggregate scores significante fouten in specifieke, kritieke domeinen kunnen maskeren.