🤖 AI

Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual Artifacts

Dieses Paper führt Visual-SDPO ein, ein Framework zur Selbstdistillations-Policy-Optimierung, das visuelles Feedback von gerenderten Artefakten nutzt, um die Codegenerierung durch den Einsatz von räumlich gezielter Gewichtung der Credit-Zuweisung und sequenzweiser Reinforcement Learning signifikant zu verbessern und so die visuelle Qualität sowie die Ausführbarkeit generierter Diagramme, Web-Interfaces und Folien zu steigern, ohne die Inferenzkosten zu erhöhen.

Ursprüngliche Autoren: Haoyu Dong

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haoyu Dong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Bild zu zeichnen, indem Sie ihm Computercode schreiben. Der Roboter schreibt den Code, und eine separate Maschine (der „Renderer“) versucht, das zu zeichnen, was der Code vorgibt.

Das Problem ist, dass der Roboter die Zeichnung erst sehen kann, nachdem er den Code fertig geschrieben hat. Es ist, als würde man ein Rezept schreiben, ohne jemals die Suppe probiert zu haben. Wenn die Suppe zu salzig ist, weiß der Roboter nicht, welche Zutat das Problem verursacht hat, bis es zu spät ist, um diesen spezifischen Satz im Rezept noch einmal zu korrigieren.

Dieses Paper stellt eine neue Trainingsmethen namens Visual-SDPO vor, um dieses Problem zu lösen. So funktioniert es, unterteilt in einfache Konzepte:

1. Der „Lehrer“ und der „Schüler“ (Self-Distillation)

Betrachten Sie das KI-Modell als ein Modell mit zwei Hüten:

Der Schüler: Dies ist die Version, die tatsächlich den Code schreibt. Er sieht nur die ursprüngliche Anfrage (z. B. „Zeichne ein Balkendiagramm“).
Der Lehrer: Dies ist dieselbe KI, aber sie erhält einen „Spickzettel“. Nachdem der Schüler den Code geschrieben hat und der Renderer das Bild gezeichnet hat, darf der Lehrer das fertige Bild (oder eine Liste von Fehlern im Bild) sehen, bevor er versucht zu erraten, wie der Code hätte gelauten sollen.

Der Lehrer betrachtet die unordentliche Zeichnung und sagt: „Oh, dieser Text ist abgeschnitten, weil du den Code hier falsch geschrieben hast.“ Dann lehrt er den Schüler, beim nächsten Mal besseren Code zu schreiben. Da der Lehrer und der Schüler denselben „Kern“ (Weights) teilen, lernt der Schüler, das Bild in seinem Geist zu „sehen“, obwohl er das Bild während des eigentlichen Tests niemals wirklich sieht.

2. Das „Spotlight“ (Visual-Grounded Code Credit Weighting)

In der Vergangenheit erhielt eine KI bei einem Fehler oft ein generisches „Schlechte Arbeit“-Signal für den gesamten Code-Absatz. Aber Code ist lang! Vielleicht waren die ersten 90 % des Codes perfekt, und nur die letzte Zeile hat dazu geführt, dass der Text abgeschnitten wurde.

Dieses Paper führt ein Spotlight (einen Scheinwerfer) ein.

Wenn der Renderer einen Defekt findet (wie etwa überlappenden Text), verfolgt das System diesen Defekt bis zur exakten Codezeile zurück, die ihn verursacht hat.
Es wirft ein helles Spotlight auf diese spezifische Zeile und sagt: „Diese Zeile ist das Problem! Achte besonders auf diese!“
Die Zeilen, die in Ordnung waren, erhalten ein schwächeres Licht.

Dies stellt sicher, dass die KI keine Zeit damit verschwendet, Dinge zu korrigieren, die bereits funktionierten. Sie konzentriert ihre Lernenergie genau dort, wo das visuelle Chaos entstanden ist.

3. Die „Doppelkontrolle“ (Kombination zweier Signale)

Das System nutzt zwei Arten von Feedback, um die KI zu trainieren:

Die detaillierte Karte (Token-Level): Die oben genannte „Spotlight“-Methode, die sehr spezifische Korrekturen basierend auf visuellen Defekten liefert (Zeile für Zeile).
Das Zeugnis (Sequence-Level): Eine einfache Bewertung, die fragt: „Hat das Ganze funktioniert? Ja/Nein. Ist es allgemein ansprechend? Ja/Nein.“

Das Paper argumentt, dass man beides benötigt. Das Zeugnis hält die KI auf dem richtigen Weg, während die detaillierte Karte hilft, die spezifischen, kniffligen Fehler zu beheben, die ein einfacher Score vielleicht übersehen würde.

Was wurde erreicht?

Die Forscher haben dies an drei verschiedenen Aufgaben getestet:

Diagramme: Verwandlung von Beschreibungen in Grafiken.
Web/UI: Verwandlung von Beschreibungen in Website-Layouts.
Folien: Verwandlung von Beschreibungen in Präsentationsfolien.

Die Ergebnisse:

Ihre neue Methode (Visual-SDPO) verbesserte die Qualität der generierten Visuals um mehr als 10 Punkte im Vergleich zur Standard-„Zero-Shot“-KI (die einfach nur ohne dieses spezielle Training rät).
Sie übertraf auch andere fortgeschrittene Trainingsmethoden (wie GRPO) um eine deutliche Marge.
Effizienz: Sie lernte schneller und benötigte weniger Versuche (Rollouts), um gute Ergebnisse zu erzielen.
Keine Zusatzkosten: Sobald das Training abgeschlossen ist, arbeitet die KI genauso schnell wie zuvor. Sie muss das Bild nicht sehen oder zusätzliche Prüfungen durchführen, wenn sie tatsächlich die Aufgabe für einen Nutzer erledigt; sie nutzt einfach das Wissen, das sie während des Trainings erworben hat.

Zusammenfassende Analogie

Stellen Sie sich einen Schüler vor, der das Malen lernt.

Der alte Weg: Der Schüler malt ein Bild, der Lehrer bewertet es mit einer einfachen „Note 3“ und der Schüler versucht es erneut. Der Schüler weiß nicht, ob die „3“ wegen des Himmels, der Bäume oder der Unterschrift vergeben wurde.
Der Visual-SDPO-Weg: Der Schüler malt ein Bild. Der Lehrer betrachtet das Gemälde, zeigt mit einem Laserpointer auf die matschigen Bäume und sagt: „Deine Pinselstriche waren hier zu schwer. Korrigiere genau diesen Teil.“ Der Schüler lernt genau, wo er seine Hand anpassen muss. Das nächste Mal, wenn er malt, weiß er genau, wie er den Pinsel halten muss, um die Bäume richtig hinzubekommen – selbst wenn der Lehrer nicht mehr mit dem Laserpointer auf sie zeigt.

Diese Methode ermöglicht es Code-schreibenden KIs, wesentlich besser darin zu werden, Dinge ansprechend zu gestalten, indem sie lernt, ihren Code direkt mit den visuellen Ergebnissen zu verknüpfen, die sie erzeugen.

Technisches Resümee: Self-Distillation Policy Optimization via Visual Feedback

1. Problemstellung

Code-generierende Large Language Models (LLMs) werden zunehmend damit beauftragt, visuelle Artefakte (Diagramme, Webseiten, Folien) durch das Schreiben von ausführbarem Code zu erzeugen. Es besteht eine fundamentale Diskrepanz zwischen dem Optimierungsziel des Modells (syntaktisch korrekter Code) und dem Evaluierungsziel des Nutzers (das gerenderte visuelle Ergebnis). Da der Rendering-Prozess nicht differenzierbar ist, muss das Modell sich bereits festlegen, bevor es das visuelle Ergebnis sieht. Infolgedessen erzeugt selbst ausführbarer Code häufig Artefakte mit markanten visuellen Defekten, wie etwa überlappenden Elementen, abgeschnittenem Text, fehlerhafter Ausrichtung, geringem Kontrast oder Überlauf.

Bestehende Ansätze zur Überbrückung dieser „Code–Vision-Lücke“ stehen vor erheblichen Einschränkungen:

Visuelle Reflexion zur Inferenzzeit: Iterative Render–Kritik–Revision-Schleifen erfordern die erneute Ausführung von Renderern und das Abfragen von Kritikern zur Inferenzzeit, was zu hohen Bereitstellungskosten und Latenzen führt.
Visual-Reward Reinforcement Learning (RL): Methoden, die gegen bildbasierte skalare Belohnungen optimieren (z. B. via GRPO oder DPO), leiden unter spärlicher, Trajektorien-basierter Überwachung. Sie kollabieren die Diagnose pro Element zu einer einzigen Zahl, bevor Gradienten geformt werden können, wodurch die räumliche Granularität verloren geht.

2. Methodik: Visual-SDPO

Das Paper schlägt Visual-SDPO vor, ein Self-Distillation-Policy-Optimization-Framework, das gerendertes visuelles Feedback als „privilegierten Kontext“ für ein gewichtsteiltes Teacher-Modell behandelt und dieses Feedback in ein Coding-Student-Modell destilliert, das zur Inferenzzeit ohne den Renderer operiert.

2.1 Visual-Feedback Self-Distillation

Das Framework verwendet eine Teacher-Student-Architektur, bei der beide dieselben Gewichte ( $\pi_\theta$ ) teilen:

Student: Generiert einen Code-Rollout $y$ , der nur von dem ursprünglichen Prompt $x$ abhängig ist.
Teacher: Bewertet die Token des Studenten neu, bedingt durch den Prompt $x$ $x$ plus den privilegierten visuellen Kontext $v$ $v$ . Der Kontext $v$ $v$ wird aus dem eigenen Rollout des Studenten abgeleitet:
- Bild-Kanal: Das rohe gerenderte Artefakt (oder Fehlermeldungen der Ausführung, falls das Rendering fehlschlägt).
- Rubrik-Kanal: Eine strukturierte binäre Defekt-Tabelle (z. B. Ausrichtung, Überlappung, Farbe), die aus dem Artefakt extrahiert wurde.
Zielsetzung: Der Student minimiert die Kullback-Leibler-Divergenz zwischen seiner Token-Verteilung und der Verteilung des Teachers, welcher Zugriff auf das visuelle Ergebnis hat. Dies überträgt das visuelle Verständnis in den Studenten, ohne zur Inferenzzeit einen Renderer zu benötigen.

2.2 Visual-Grounded Code Credit Weighting

Standardmäßige Token-Level-Distillation behandelt alle Output-Token gleich, was zu einem Policy-Drift bei nicht-visuellem Scaffolding (z. B. Imports, Kontrollfluss) führen kann. Um dies zu adressieren, führen die Autoren Visual-Grounded Code Credit Weighting ein, welches die Überwachung räumlich gezielt steuert:

Defekterkennung: Ein Detektor identifiziert visuelle Defekte $D$ (Regionen und Schweregrad) auf dem gerenderten Artefakt.
Region-zu-Code-Mapping ( $M$ ): Ein Mapping-Mechanismus verfolgt jede Defektregion zurück zu den spezifischen Code-Anweisungen, die für die betroffenen Elemente verantwortlich sind. Dies wird erreicht durch:
- Runtime-Introspektion: Instrumentierung der Renderer (matplotlib, Playwright, python-pptx), um die Quell-Statements für jedes Element aufzuzeichnen.
- VLM-basiertes Mapping: Verwendung des Teacher-VLM, um die verantwortlichen Statements aus Code und annotierten Bildern zu identifizieren.
Statement-gewichtete Verlustfunktion: Ein Verantwortlichkeitswert $resp(s)$ wird für jede Anweisung $s$ berechnet, basierend auf der Überlappung (IoU) zwischen den generierten Regionen und den erkannten Defekten. Dieser Score wird in ein pro-Token-Gewicht $w_t$ umgewandelt:
$w_t = 1 + (\alpha - 1) \cdot resp(s(t))$
wobei $\alpha \ge 1$ ein Verstärkungsfaktor ist. Tokens in Anweisungen, die Defekte verursachen, erhalten höhere Gewichte, wodurch der Distillations-Gradient auf den spezifischen Code konzentriert wird, der für die visuellen Fehler verantwortlich ist.

2.3 Finale Trainingszielsetzung

Das Framework kombiniert die dichte, lokalisierbare Token-Level-Distillationsverlustfunktion mit einer Sequenz-Level Group Relative Policy Optimization (GRPO) Belohnung:
$L(\theta) = L_{VSDPO}(\theta) + \beta \cdot L_{GRPO}(\theta)$

Distillations-Term ( $L_{VSDPO}$ ): Bietet dichte, beispiel-effiziente Überwachung, die durch visuelle Defekte gewichtet ist.
GRPO-Term ( $L_{GRPO}$ ): Verwendet eine multiplikative Belohnung $r(y) = r_{exec}(y) \cdot r_{vis}(y)$ , wobei $r_{exec}$ die Ausführbarkeit des Codes sicherstellt und $r_{vis}$ eine abgestufte Punktzahl basierend auf dem Rubrik-Extraktor ist. Dies verankert das Training über verschiedene Domänen hinweg und liefert auch dann ein Signal, wenn der Code nicht ausführbar ist (via Fehlermeldungen).

3. Zentrale Beiträge

Visual-SDPO Framework: Ein Self-Distillation-Ansatz für Code-generierte visuelle Artefakte, bei dem ein gewichtsteiler Teacher das gerenderte Artefakt als privilegierten Kontext beobachtet und visuelles Feedback in einen Studenten destilliert, der zur Inferenzzeit keinen Renderer benötigt.
Visual-Grounded Code Credit Weighting: Ein Mechanismus, der visuelle Defekte zu den verantwortlichen Code-Anweisungen zurückverfolgt, um die Token-Level-Distillation zu gewichten, wodurch sichergestellt wird, dass Gradienten auf räumlich relevanten Code statt auf uniformem Token-Matching fokussiert sind.
Vereinheitlichte Evaluierung: Eine umfassende Instanziierung und Evaluierung über drei verschiedene Domänen (Charts, Web/UI, Slides) unter Verwendung eines einheitlichen Qwen3-VL-8B-Instruct Backbones, was die Vielseitigkeit der Methode demonstriert.

4. Experimentelle Ergebnisse

Die Methode wurde auf ChartMimic (Charts), Design2Code (Web/UI) und AeSlides (Slides) evaluiert.

Leistungssteigerungen: Visual-SDPO verbesserte sich gegenüber dem Zero-Shot-Base um mehr als 10 absolute Punkte in den Primärmetriken über alle Benchmarks hinweg.
- ChartMimic: +10,7 Punkte gegenüber Zero-Shot; +1,6 Punkte gegenüber dem stärksten Single-Signal-Baseline (OPSD).
- Design2Code: +10,5 Punkte gegenüber Zero-Shot; +2,6 Punkte gegenüber GRPO.
- AeSlides: +11,2 Punkte gegenüber Zero-Shot; +2,5 Punkte gegenüber GRPO.
Ablations-Erkenntnisse:
- Komplementarität: Die Kombination aus dichter Token-Level-Distillation (mit Credit Weighting) und Sequenz-Level GRPO übertraf entweder das eine oder das andere Signal allein. Die Token-Level-Überwachung war besonders effektiv für niedrigschwellige strukturelle Details (z. B. matplotlib APIs, CSS-Eigenschaften), während GRPO die gesamte Trajektorie verankerte.
- Effizienz: Visual-SDPO erreichte eine Leistung vergleichbar mit dem vollen GRPO-Training mit signifikant weniger Rollout-Generationen (ca. 29 % des GRPO-Budgets) und weniger Zeitaufwand, was eine überlegene Sample-Effizienz demonstriert.
Backbone: Alle Experimente nutzten ein einheitliches Qwen3-VL-8B-Instruct Backbone.

5. Bedeutung und Ansprüche

Das Paper positioniert Visual-SDPO an der Schnittstelle von privilegiertem Self-Distillation, visuellem Feedback-Training und Code-generierten visuellen Artefakten. Seine primäre Bedeutung liegt in:

Überbrückung der Lücke: Es adresst effektiv die Code-Vision-Lücke, indem es gerendetes Feedback als privilegiertes Signal nutzt, ohne Inferenzzeit-Kosten zu verursachen.
Granulare Überwachung: Im Gegensatz zu skalaren Reward-Methoden bietet es lokalisierbares, räumlich gezieltes Feedback, das genau identifiziert, welche Code-Anweisungen spezifische visuelle Defekte verursachen.
Stabilität und Effizienz: Durch die Kombination von dichter Distillation mit Trajektorien-basierten Rewards erreicht es ein stabiles Training, das sample-effizienter als reine RL-Ansätze ist.

Die Autoren merken an, dass dieser Ansatz die Notwendigkeit externer VLM-Kritiker oder Renderer während der Inferenz vermeidet, was ihn für den Einsatz in ressourcenbeschränkten Umgebungen geeignet macht, während gleichzeitig eine hohe visuelle Treue der generierten Artefakte beibehalten wird.