Technische Samenvatting: Symbolische Grafische Programmering met Large Language Models

Probleemstelling

Large Language Models (LLMs) hebben sterke capaciteiten getoond in programma-synthese, maar hun vermogen om Symbolische Grafische Programma's (SGPs) te genereren—specifiek code die rendert naar precieze, uitvoerbare visuele inhoud—blijft onderbelicht. In tegenstelling tot standaard tekst-naar-afbeelding generatie, die vertrouwt op latente pixelrepresentaties, vereisen SGPs dat het model natuurlijke taal vertaalt naar formele, gestructureerde code (bijv. Scalable Vector Graphics of SVG). Deze taak vereist nauwkeurige ruimtelijke redenering, geometrische precisie en compositionele logica, waarmee de kloof wordt overbrugd tussen abstracte linguïstische beschrijvingen en deterministische visuele outputs. Het artikel adresseert twee primaire vragen:

1. In welke mate kunnen huidige LLM's effectief SGPs genereren?
2. Hoe kan het generatievermogen van LLM's, met name open-source modellen, worden verbeterd om die van vooraanstaande propriëtaire systemen te evenaren?

Methodologie

1. Benchmark Constructie: SGP-GenBench

Om de generatie van SGPs systematisch te evalueren, introduceren de auteurs SGP-GenBench, een grootschalige benchmark bestaande uit drie complementaire componenten:

• Scène Generatie (COCO-val): 1.024 voorbeelden uit MS-COCO die complexe scènes evalueren met meerdere objecten en interacties.
• Object Generatie (SGP-Object): 930 voorbeelden gericht op hoogwaardige rendering van enkelvoudige objecten.
• Compositionele Generatie (SGP-CompBench): 3.200 prompts die drie specifieke compositionele dimensies testen:
  • Attribute Binding: Consistentie in kleur, vorm en textuur.
  • Ruimtelijke Relaties: 2D, 3D en impliciete ruimtelijke relaties.
  • Numeracy: Nauwkeurige generatie van specifieke objectaantallen (3–10 items).

Evaluatiemetrieken omvatten semantische getrouwheid (CLIP-Score, DINO-Score, VQA-Score, HPS v2) en compositionele kwaliteit (beoordeeld via specifieke prompts voor attributen, relaties en telnauwkeurigheid).

2. Reinforcement Learning met Verifieerbare Beloningen (RLVR)

Om de SGP-generatie te verbeteren, stellen de auteurs een Reinforcement Learning (RL) aanpak voor met behulp van Group Relative Policy Optimization (GRPO). De methode vereist geen ground-truth SVG-programma's of gekoppelde beeld-code datasets. In plaats daarvan maakt het gebruik van externe vision foundation models om verifieerbare beloningssignalen te leveren.

Beloningsontwerp:
De beloningsfunctie $r(s, c, x)$ voor een gegenereerde SVG $s$, bijschrift $c$, en optionele referentieafbeelding $x$ is gefactoriseerd in:

• Format-Validity Gate ($r_{fmt}$): Een binaire controle die garandeert dat de output een specifieke <THINK>/<ANSWER> structuur volgt en succesvol rendert in een rasterafbeelding zonder fouten. Ongeldige outputs ontvangen een beloning van nul.
• Perceptuele Uitlijning:
  • Text-Image Alignment ($r_{Text}$): Berekent de cosinus-gelijkenis tussen het bijschrift en de gerenderde afbeelding met behulp van een contrastieve vision-language encoder (bijv. SigLIP).
  • Image-Image Alignment ($r_{Image}$): Wanneer een referentieafbeelding beschikbaar is, berekent het de gelijkenis tussen de gerenderde afbeelding en de referentie met behulp van een self-supervised vision encoder (bijv. DINO).

De totale beloning is een gewogen som van deze componenten, afgeschermd door validiteit. Dit stelt het model in staat om te leren van ruwe afbeeldingen en tekstprompts zonder expliciete programma-annotaties.

Belangrijkste Bijdragen

1. SGP-GenBench: De introductie van een uitgebreide benchmark die LLM's evalueert op objectgetrouwheid, scène-coherentie en compositionele consistentie (attributen, ruimtelijke relaties en numeracy).
2. RL-gestuurde SGP Generatie: Een nieuw post-training framework dat cross-modale alignment-beloningen (text-image en image-image gelijkenis) gebruikt om LLM's te finetunen voor SVG-generatie. Deze aanpak stelt open-source modellen in staat om prestaties te behalen die vergelijkbaar zijn met vooraanstaande propriëtaire systemen.
3. Emergent Gedragsanalyse: Een diepgaande analyse die onthult dat RL-training specifieke emergente strategieën induceert:
   • Decompositie: Het model leert complexe objecten op te splitsen in eenvoudigere, controleerbare primitieven (bijv. een motorfiets scheiden in wielen, frame en lichten) in plaats van monolithische codeblokken te genereren.
   • Contextuele Details: Het model genereert spontaan semantisch relevante, niet-gevraagde details (bijv. golven toevoegen aan een strandscène of sprenkels aan een taart) om scène-coherentie en realisme te verbeteren.

Experimentele Resultaten

Benchmark Prestaties

• Propriëtair vs. Open-Source: Vooraanstaande propriëtaire modellen (bijv. Claude 3.7 Sonnet Thinking, Gemini 2.5 Pro) presteren aanzienlijk beter dan open-source modellen op SGP-GenBench. Prestaties correleren sterk met algemene programmeervaardigheden.
• Impact van RL: Het via RL gefinetunede Qwen-2.5-7B model verkleint de kloof met propriëtaire systemen aanzienlijk.
  • Het verbeterde de algehele compositionele score van 8.8 (base) naar 60.8, waarmee het andere open-source modellen zoals DeepSeek-R1 en QwQ-32B overtreft.
  • Het behaalde de hoogste VQA-Score (0.596) van alle modellen, waarmee het Claude 3.7 Sonnet Thinking licht overtrof.
  • Het demonstreerde superieure detailgetrouwheid in kwalitatieve vergelijkingen, waarbij het nauwkeurigere geometrische vormen en scène-elementen genereerde dan de baseline modellen.

Ablatie Studies

• Embedding Modellen: Het gebruik van SigLIP als de text-image encoder leverde een sterkere grounding en diversiteit op vergeleken met CLIP, met name op real-world image splits (COCO).
• Chain-of-Thought (CoT): Expliciete CoT prompting bleek niet essentieel voor kwantitatieve prestaties; de SVG-code zelf dient als een impliciet redeneerspoor.
• Best-of-N vs. RL: Analyse van Best-of-N sampling toonde aan dat hoewel het verhogen van het aantal samples de prestaties verbetert, de winst van RL-training kwalitatief is en niet gereproduceerd kan worden door standaard sampling binnen praktische rekenbudgetten (het vereist miljoenen samples om de winst van 1.000 RL-stappen te evenaren).

Betekenis en Claims

Het artikel stelt dat symbolische grafische programmering een precieze en interpreteerbare lens biedt voor het bestuderen van cross-modale grounding. Door LLM's te dwingen uitvoerbare code te genereren in plaats van latente pixels, legt deze taak specifieke tekortkomingen in ruimtelijke redenering en compositionele logica bloot.

De auteurs beweren dat Reinforcement Learning met Cross-Modale Beloningen een schaalbare mechanisme biedt om visuele kennis in LLM's te injecteren zonder de noodzaak van kostbare, gecureerde beeld-programma datasets. De resultaten demonstreren dat open-source modellen getraind kunnen worden om de capaciteiten van vooraanstaande closed-source systemen te benaderen bij het genereren van complexe, semantisch uitgelijnde vectorgraphics. Bovendien suggereren de geobserveerde emergente gedragingen (decompositie en contextuele detaillering) dat RL niet alleen optimaliseert voor het beloningssignaal, maar ook een dieper, meer gestructureerd begrip van visuele scènes bevordert.