Technische Samenvatting: Self-Distillation Policy Optimization via Visuele Feedback

1. Probleemstelling

Code-genererende Large Language Models (LLMs) krijgen steeds vaker de taak om visuele artefacten (grafieken, webpagina's, dia's) te produceren door uitvoerbare code te schrijven. Er bestaat een fundamentele discrepantie tussen het optimalisatiestarget van het model (syntactisch geldige code) en het evaluatiestarget van de gebruiker (de gerenderde visuele output). Omdat het renderproces niet-differentieerbaar is, moet het model zich vastleggen op code voordat het het visuele resultaat kan waarnemen. Bijgevolg produceert zelfs uitvoerbare code regelmatig artefacten met saillante visuele defecten, zoals overlappende elementen, afgekapte tekst, gebroken uitlijning, laag contrast en overflow.

Bestaande benaderingen om deze "code–visie kloof" te overbruggen, kampen met significante beperkingen:

• Visuele reflectie tijdens inferentie: Iteratieve render–kritiek–revisie lussen vereisen het herhaaldelijk uitvoeren van renderers en het bevragen van critici tijdens de inferentiefase, wat leidt tot hoge implementatiekosten en latentie.
• Visuele belonings-Reinforcement Learning (RL): Methoden die optimaliseren tegen beeldniveau scalaire beloningen (bijv. via GRPO of DPO) lijden aan ijle, trajectniveau-supervisie. Ze reduceren per-element diagnostiek tot een enkel getal voordat gradiënten gevormd kunnen worden, waardoor ruimtelijke granulariteit verloren gaat.

2. Methodologie: Visual-SDPO

Het paper stelt Visual-SDPO voor, een self-distillation policy-optimization framework dat gerenderde visuele feedback behandelt als "geprivilegieerde context" voor een weight-sharing teacher-model, waarbij deze feedback wordt gedistilleerd naar een coding student-model dat zonder de renderer opereert tijdens inferentie.

2.1 Visuele-Feedback Self-Distillation

Het framework maakt gebruik van een teacher-student architectuur waarbij beide dezelfde gewichten ($\pi_\theta$) delen:

• Student: Genereert een code-rollout $y$ geconditioneerd op enkel de oorspronkelijke prompt $x$.
• Teacher: Her-scoret de tokens van de student geconditioneerd op de prompt $x$ plus de geprivilegieerde visuele context $v$. De context $v$ wordt afgeleid van de eigen rollout van de student:
  • Afbeeldingskanaal: Het ruwe gerenderde artefact (of foutmeldingen bij rendering-fouten).
  • Rubriekskanaal: Een gestructureerde binaire defectentabel (bijv. uitlijning, overlap, kleur) geëxtraheerd uit het artefact.
• Doelstelling: De student minimaliseert de Kullback-Leibler (KL) divergentie tussen zijn tokenverdeling en de verdeling van de teacher, die toegang heeft tot de visuele uitkomst. Dit draagt visueel begrip over naar de student zonder dat er tijdens inferentie een renderer nodig is.

2.2 Visual-Grounded Code Credit Weighting

Standaard token-level distillatie behandelt alle output-tokens gelijk, wat kan leiden tot policy drift op niet-visuele scaffolding (bijv. imports, control flow). Om dit aan te pakken, introduceren de auteurs Visual-Grounded Code Credit Weighting, dat de supervisie ruimtelijk target:

1. Defectdetectie: Een detector identificeert visuele defecten $D$ (regio's en ernst) op het gerenderde artefact.
2. Regio-naar-Code Mapping ($M$): Een mapping-mechanisme herleidt elke defect-regio naar de specifieke code-statements die verantwoordelijk zijn voor de getroffen elementen. Dit wordt bereikt via:
   • Runtime Introspectie: Het instrumenteren van renderers (matplotlib, Playwright, python-pptx) om de bronstatements voor elk element vast te leggen.
   • VLM-gebaseerde Mapping: Het gebruik van de teacher VLM om verantwoordelijke statements te identificeren vanuit code en geannoteerde afbeeldingen.
3. Statement-Gewogen Verlies: Een verantwoordelijkheidsscore $resp(s)$ wordt berekend voor elk statement $s$ op basis van de overlap (IoU) tussen de gegenereerde regio's en gedetecteerde defecten. Deze score wordt omgezet in een per-token gewicht $w_t$:
   $$w_t = 1 + (\alpha - 1) \cdot resp(s(t))$$
   waarbij $\alpha \ge 1$ een amplificatiefactor is. Tokens in statements die defecten veroorzaken, ontvangen hogere gewichten, waardoor de distillatiegradiënt geconcentreerd wordt op de specifieke code die verantwoordelijk is voor visuele fouten.

2.3 Finale Trainingsdoelstelling

Het framework combineert de dichte, lokaliseerbare token-level distillatieverlies met een sequentie-level Group Relative Policy Optimization (GRPO) beloning:
$$L(\theta) = L_{VSDPO}(\theta) + \beta \cdot L_{GRPO}(\theta)$$

• Distillatie-term ($L_{VSDPO}$): Biedt dichte, sample-efficiënte supervisie gewogen door visuele defecten.
• GRPO-term ($L_{GRPO}$): Gebruikt een multiplicatieve beloning $r(y) = r_{exec}(y) \cdot r_{vis}(y)$, waarbij $r_{exec}$ de uitvoerbaarheid van de code waarborgt en $r_{vis}$ een gegradeerde score is gebaseerd op de rubriek-extractor. Dit verankert de training over domeinen heen en biedt een signaal zelfs wanneer code niet uitvoerbaar is (via foutmelding-feedback).

3. Belangrijkste Bijdragen

1. Visual-SDPO Framework: Een self-distillation benadering voor code-gegenereerde visuele artefacten waarbij een weight-sharing teacher de gerenderde artefacten observeert als geprivilegieerde context, en visuele feedback distilleert naar een student die geen renderer vereist tijdens inferentie.
2. Visual-Grounded Code Credit Weighting: Een mechanisme dat visuele defecten herleidt naar de verantwoordelijke code-statements om de token-level distillatie te wegen, waardoor gradiënten zich focussen op ruimtelijk relevante code in plaats van uniforme token-matching.
3. Verenigde Evaluatie: Een uitgebreide instantiatie en evaluatie over drie verschillende domeinen (grafieken, web/UI, dia's) met behulp van een enkele Qwen3-VL-8B-Instruct backbone, wat de veelzijdigheid van de methode aantoont.

4. Experimentele Resultaten

De methode werd geëvalueerd op ChartMimic (grafieken), Design2Code (web/UI) en AeSlides (dia's).

• Prestatiewinst: Visual-SDPO verbeterde ten opzichte van de zero-shot baseline met meer dan 10 absolute punten in primaire metrieken over alle benchmarks.
  • ChartMimic: +10,7 punten over zero-shot; +1,6 punten over de sterkste single-signal baseline (OPSD).
  • Design2Code: +10,5 punten over zero-shot; +2,6 punten over GRPO.
  • AeSlides: +11,2 punten over zero-shot; +2,5 punten over GRPO.
• Ablatie-inzichten:
  • Complementariteit: De combinatie van dichte token-level distillatie (met credit weighting) en sequentie-level GRPO presteerde beter dan elk signaal afzonderlijk. Token-level supervisie was bijzonder effectief voor laag-niveau structurele details (bijv. matplotlib API's, CSS-eigenschappen), terwijl GRPO de algehele traject verankerde.
  • Efficiëntie: Visual-SDPO bereikte prestaties die vergelijkbaar zijn met volledige GRPO-training met aanzienlijk minder rollout-generaties (ongeveer 29% van het GRPO-budget) en minder rekentijd, wat een superieure sample-efficiëntie aantoont.
• Backbone: Alle experimenten maakten gebruik van een verenigde Qwen3-VL-8B-Instruct backbone.

5. Betekenis en Claims

Het paper positioneert Visual-SDPO op het snijvlak van geprivilegieerde self-distillatie, visuele-feedback training en code-gegenereerde visuele artefacten. De primaire betekenis ligt in:

• Het overbruggen van de kloof: Het adresseert effectief de code–visie kloof door gerenderde feedback te gebruiken als een geprivilegieerd signaal zonder inferentie-tijd kosten te veroorzaken.
• Granulaire Supervisie: In tegen tegenstelling tot scalaire beloningsmethoden, biedt het lokaliseerbare, ruimtelijk gerichte feedback, waarbij exact wordt geïdentificeerd welke code-statements specifieke visuele defecten veroorzaken.
• Stabiliteit en Efficiëntie: Door dichte distillatie te combineren met traject-niveau beloningen, bereikt het een stabiele training die meer sample-efficiënt is dan pure RL-benaderingen.

De auteurs merken op dat deze benadering het overbodig maakt om externe VLM-critici of renderers tijdens inferentie te gebruiken, wat het geschikt maakt voor implementatie in omgevingen met beperkte middelen, terwijl de hoge visuele getrouwheid van de artefacten behouden blijft.