🤖 AI

Self-Distillation Policy Optimization via Visual Feedback: Bridging Code and Visual Artifacts

Cet article introduit Visual-SDPO, un cadre d'optimisation de politique par auto-distillation qui exploite le retour visuel provenant d'artefacts rendus pour guider la génération de code, en utilisant une pondération de crédit spatialement ciblée et un apprentissage par renforcement au niveau de la séquence pour améliorer considérablement la qualité visuelle et l'exécutabilité des graphiques, des interfaces web et des diapositives générés sans augmenter les coûts d'inférence.

Auteurs originaux : Haoyu Dong

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoyu Dong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à dessiner un tableau en écrivant du code informatique. Le robot écrit le code, et une machine distincte (le « moteur de rendu ») tente de dessiner ce que le code ordonne.

Le problème est que le robot ne peut pas voir le dessin avant d'avoir fini d'écrire le code. C'est comme écrire une recette sans jamais goûter la soupe. Si la soupe est trop salée, le robot ne saura pas quel ingrédient a causé le problème avant qu'il ne soit trop tard pour corriger cette phrase précise dans la recette.

Ce document présente une nouvelle méthode d'entraînement appelée Visual-SDPO pour résoudre cela. Voici comment elle fonctionne, décomposée en concepts simples :

1. Le « Professeur » et l'« Élève » (Auto-distillation)

Considérez le modèle d'IA comme portant deux chapeaux :

L'Élève : C'est la version qui écrit réellement le code. Il ne voit que la requête d'origine (par exemple, « Dessine un diagramme à barres »).
Le Professeur : C'est la même IA, mais elle bénéficie d'un « aide-mémoire ». Après que l'Élève a écrit le code et que le moteur de rendu a dessiné l'image, le Professeur peut voir l'image finale (ou une liste d'erreurs dans l'image) avant d'essayer de deviner quel aurait dû être le code.

Le Professeur regarde le dessin raté et dit : « Oh, ce texte est coupé parce que tu as mal écrit le code ici. » Il enseigne ensuite à l'Élève comment écrire un meilleur code la prochaine fois. Comme le Professeur et l'Élève partagent le même cerveau (les mêmes poids), l'Élève apprend à « voir » l'image dans son esprit, même s'il ne voit jamais l'image pendant le test final.

2. Le « Projecteur » (Pondération du crédit de code ancré visuellement)

Par le passé, lorsqu'une IA faisait une erreur, elle pouvait recevoir un signal générique de « mauvais travail » pour tout le paragraphe de code. Mais le code est long ! Peut-être que les 90 % premiers du code étaient parfaits, et que seule la dernière ligne a causé la coupure du texte.

Ce document introduit un Projecteur.

Lorsque le moteur de rendu trouve un défaut (comme un texte qui se chevauche), le système remonte jusqu'à la ligne de code exacte qui l'a causé.
Il place un projecteur lumineux sur cette ligne spécifique et dit : « Cette ligne est le problème ! Porte une attention particulière à celle-ci. »
Les lignes qui étaient correctes reçoivent une lumière plus faible.

Cela garantit que l'IA ne perd pas de temps à essayer de réparer des choses qui fonctionnaient déjà. Elle concentre son énergie d'apprentissage exactement là où le désordre visuel s'est produit.

3. La « Double Vérification » (Combinaison de deux signaux)

Le système utilise deux types de retours pour entraîner l'IA :

La Carte Détaillée (Niveau Token) : La méthode du « Projecteur » ci-dessus, qui donne des corrections très spécifiques, ligne par ligne, basées sur les défauts visuels.
Le Bulletin de Notes (Niveau Séquence) : Un score simple qui demande : « Est-ce que l'ensemble a fonctionné ? Oui/Non. Est-ce que c'est globalement joli ? Oui/Non. »

Le document soutient que vous avez besoin des deux. Le Bulletin de Notes maintient l'IA sur la bonne voie globale, tandis que la Carte Détaillée l'aide à corriger les erreurs spécifiques et délicates qu'un simple score pourrait manquer.

Qu'ont-ils accompli ?

Les chercheurs ont testé cela sur trois tâches différentes :

Graphiques : Transformer des descriptions en graphiques.
Web/UI : Transformer des descriptions en mises en page de sites web.
Diapositives : Transformer des descriptions en diapositives de présentation.

Les Résultats :

Leur nouvelle méthode (Visual-SDPO) a amélioré la qualité des visuels générés de plus de 10 points par rapport à l'IA « zero-shot » standard (qui se contente de deviner sans cet entraînement spécial).
Elle a également battu d'autres méthodes d'entraînement avancées (comme GRPO) par une marge significative.
Efficacité : Elle a appris plus rapidement, nécessitant moins de tentatives (rollouts) pour obtenir de bons résultats.
Aucun coût supplémentaire : Une fois entraînée, l'IA fonctionne aussi vite qu'avant. Elle n'a pas besoin de voir l'image ou d'effectuer des vérifications supplémentaires lorsqu'elle fait réellement le travail pour un utilisateur ; elle utilise simplement les connaissances acquises pendant l'entraînement.

Analogie de Résumé

Imaginez un étudiant apprenant à peindre.

L'ancienne méthode : L'étudiant peint un tableau, le professeur lui donne une note de « B », et l'étudiant essaie de nouveau. L'étudiant ne sait pas si le « B » était dû au ciel, aux arbres ou à la signature.
La méthode Visual-SDPO : L'étudiant peint. Le professeur regarde la peinture, pointe un laser vers les arbres boueux et dit : « Tes coups de pinceau ici étaient trop lourds. Corrige cette partie spécifique. » L'étudiant apprend exactement comment ajuster sa main. La prochaine fois qu'il peint, il sait exactement comment tenir son pinceau pour réussir les arbres, même sans que le professeur ne le lui montre.

Cette méthode permet aux IA de rédaction de code de devenir bien meilleures pour créer des éléments visuels esthétiques, simplement en leur apprenant à connecter leur code directement aux résultats visuels qu'elles produisent.

Résumé Technique : Optimisation de la Politique par Auto-Distillation via Retour Visuel

1. Énoncé du Problème

Les grands modèles de langage (LLM) générateurs de code sont de plus en plus chargés de produire des artefacts visuels (graphiques, pages web, diapositives) en écrivant du code exécutable. Un décalage fondamental existe entre la cible d'optimisation du modèle (un code syntaxiquement valide) et la cible d'évaluation de l'utilisateur (le résultat visuel rendu). Parce que le processus de rendu est non différentiable, le modèle doit s'engager sur un code avant d'observer le résultat visuel. Par conséquent, même un code exécutable produit fréquemment des artefacts présentant des défauts visuels saillants, tels que des éléments superposés, du texte tronqué, un alignement brisé, un faible contraste ou un débordement.

Les approches existantes pour combler ce « fossé code-vision » font face à des limitations significatives :

Réflexion visuelle au moment de l'inférence : Les boucles itératives de rendu–critique–révision nécessitent de réexécuter les moteurs de rendu et de solliciter des critiques lors de l'inférence, ce qui entraîne des coûts de déploiement et une latence élevés.
Apprentissage par renforcement (RL) à récompense visuelle : Les méthodes optimisant des récompenses scalaires au niveau de l'image (par exemple, via GRPO ou DPO) souffrent d'une supervision parcellaire au niveau de la trajectoire. Elles réduisent les diagnostics par élément en un nombre unique avant que les gradients ne puissent être façonnés, perdant ainsi la granularité spatiale.

2. Méthodologie : Visual-SDPO

Le papier propose Visual-SDPO, un cadre d'optimisation de politique par auto-distillation qui traite le retour visuel rendu comme un « contexte privilégié » pour un modèle enseignant partageant les mêmes poids, distillant ce retour vers un modèle étudiant de codage qui fonctionne sans le moteur de rendu lors de l'inférence.

2.1 Auto-Distillation par Retour Visuel

Le cadre emploie une architecture enseignant-étudiant où les deux partagent les poids ( $\pi_\theta$ ) :

Étudiant : Génère un déroulement de code $y$ conditionné uniquement par le prompt original $x$ .
Enseignant : Re-score les tokens de l'étudiant conditionnés par le prompt $x$ $x$ plus le contexte visuel privilégié $v$ $v$ . Le contexte $v$ $v$ est dérivé du propre déroulement de l'étudiant :
- Canal Image : L'artefact rendu brut (ou les messages d'erreur d'exécution si le rendu échoue).
- Canal Rubrique : Un tableau binaire structuré de défauts (ex: alignement, superposition, couleur) extrait de l'artefact.
Objectif : L'étudiant minimise la divergence de Kullback-Leibler (KL) entre sa distribution de tokens et la distribution de l'enseignant, qui a accès au résultat visuel. Cela transfère la compréhension visuelle dans l'étudiant sans nécessiter de moteur de rendu lors de l'inférence.

2.2 Pondération du Crédit de Code Fondée sur le Visuel

La distillation standard au niveau du token traite tous les tokens de sortie de manière égale, ce qui peut induire une dérive de la politique sur les structures non visuelles (ex: imports, flux de contrôle). Pour y remédier, les auteurs introduisent la Pondération du Crédit de Code Fondée sur le Visuel, qui cible spatialement la supervision :

Détection de Défauts : Un détecteur identifie les défauts visuels $D$ (régions et sévérité) sur l'artefact rendu.
Cartographie Région-Code ( $M$ ) : Un mécanisme de cartographie trace chaque région de défaut vers les instructions de code spécifiques responsables des éléments affectés. Ceci est réalisé via :
- Introspection au Runtime : Instrumentation des moteurs de rendu (matplotlib, Playwright, python-pptx) pour enregistrer les instructions sources de chaque élément.
- Cartographie basée sur un VLM : Utilisation du VLM enseignant pour identifier les instructions responsables à partir du code et des images annotées.
Perte Pondérée par Instruction : Un score de responsabilité $resp(s)$ est calculé pour chaque instruction $s$ basé sur le chevauchement (IoU) entre ses régions générées et les défauts détectés. Ce score est converti en un poids par token $w_t$ :
$w_t = 1 + (\alpha - 1) \cdot resp(s(t))$
où $\alpha \ge 1$ est un facteur d'amplification. Les tokens dans les instructions causant des défauts reçoivent des poids plus élevés, concentrant le gradient de distillation sur le code spécifique responsable des erreurs visuelles.

2.3 Objectif d'Entraînement Final

Le cadre combine la perte de distillation dense et localisable au niveau du token avec une optimisation de politique relative de groupe (GRPO) au niveau de la séquence :
$L(\theta) = L_{VSDPO}(\theta) + \beta \cdot L_{GRPO}(\theta)$

Terme de Distillation ( $L_{VSDPO}$ ) : Fournit une supervision dense et efficace en termes d'échantillonnage, pondérée par les défauts visuels.
Terme GRPO ( $L_{GRPO}$ ) : Utilise une récompense multiplicative $r(y) = r_{exec}(y) \cdot r_{vis}(y)$ , où $r_{exec}$ assure l'exécutabilité du code et $r_{vis}$ est un score gradué basé sur l'extracteur de rubriques. Cela ancre l'entraînement à travers les domaines et fournit un signal même lorsque le code ne s'exécute pas (via le feedback des messages d'erreur).

3. Contributions Clés

Cadre Visual-SDPO : Une approche d'auto-distillation pour les artefacts visuels générés par code où un enseignant partageant les poids observe les artefacts rendus comme contexte privilégié, distillant le retour visuel vers un étudiant qui ne nécessite aucun moteur de rendu lors de l'inférence.
Pondération du Crédit de Code Fondée sur le Visuel : Un mécanisme qui trace les défauts visuels vers les instructions de code responsables afin de pondérer la distillation au niveau du token, garantissant que les gradients se concentrent sur le code spatialement pertinent plutôt que sur une correspondance uniforme des tokens.
Évaluation Unifiée : Une instanciation et une évaluation complètes sur trois domaines distincts (graphiques, web/UI, diapositives) utilisant un seul backbone Qwen3-VL-8B-Instruct, démontrant la polyvalence de la méthode.

4. Résultats Expérimentaux

La méthode a été évaluée sur ChartMimic (graphiques), Design2Code (web/UI) et AeSlides (diapositives).

Gains de Performance : Visual-SDPO a amélioré le zero-shot de base de plus de 10 points absolus dans les métriques principales sur tous les benchmarks.
- ChartMimic : +10,7 points par rapport au zero-shot ; +1,6 point par rapport à la base la plus forte à signal unique (OPSD).
- Design2Code : +10,5 points par rapport au zero-shot ; +2,6 points par rapport à GRPO.
- AeSlides : +11,2 points par rapport au zero-shot ; +2,5 points par rapport à GRPO.
Insights d'Ablation :
- Complémentarité : La combinaison de la distillation dense au niveau du token (avec pondération du crédit) et de la GRPO au niveau de la séquence a surpassé l'un ou l'autre des signaux seuls. La supervision au niveau du token a été particulièrement efficace pour les détails structurels de bas niveau (ex: API matplotlib, propriétés CSS), tandis que GRPO a ancré la trajectoire globale.
- Efficacité : Visual-SDPO a atteint des performances comparables à un entraînement GRPO complet avec nettement moins de générations de déroulement (environ 29 % du budget de GRPO) et moins de temps de calcul, démontrant une efficacité d'échantillonnage supérieure.
Backbone : Toutes les expériences ont utilisé un backbone unifié Qwen3-VL-8B-Instruct.

5. Signification et Revendications

Le papier positionne Visual-SDPO à l'intersection de l'auto-distillation à privilège, du retour visuel d'entraînement et des artefacts visuels générés par code. Sa principale signification réside dans :

Combler le Fossé : Il traite efficacement le fossé code-vision en utilisant le retour rendu comme un signal privilégié sans engendrer de coûts d'inférence.
Supervision Granulaire : Contrairement aux méthodes de récompense scalaire, il fournit un feedback localisable et spatialement ciblé, identifiant exactement quelles instructions de code causent des défauts visuels spécifiques.
Stabilité et Efficacité : En combinant la distillation dense avec les récompenses au niveau de la trajectoire, il permet un entraînement stable qui est plus efficace en termes d'échantillonnage que les approches de pur RL.

Les auteurs notent que cette approche évite le besoin de critiques VLM externes ou de moteurs de rendu lors de l'inférence, ce qui la rend adaptée au déploiement dans des environnements à ressources contraintes tout en maintenant une haute fidélité visuelle des artefacts générés.