技術要約：視覚的フィードバックによる自己蒸留方策最適化

1. 問題提起

コード生成を行う大規模言語モデル（LLM）は、実行可能なコードを書くことで、視覚的なアーティファクト（チャート、ウェブページ、スライド）を生成するタスクをますます多く課されるようになっている。モデルの最適化対象（構文的に正しいコード）と、ユーザーの評価対象（レンダリングされた視覚的出力）の間には、根本的な乖離が存在する。レンダリングプロセスは微分不可能であるため、モデルは視覚的な結果を観察する前にコードを確定させなければならない。その結果、たとえ実行可能なコードであっても、要素の重なり、テキストのクリッピング、配置の崩れ、低コントラスト、オーバーフローといった顕著な視覚的欠陥を持つアーティファクトを生成してしまうことが頻繁にある。

この「コードと視覚のギャップ」を埋める既存のアプローチには、以下のような重大な限界がある：

• 推論時の視覚的リフレクション： 反復的な「レンダリング–批評–修正」のループは、推論時にレンダラーの再実行とクリティック（批評家）への問い合わせを必要とするため、デプロイコストとレイテンシが高くなる。
• 視覚的報酬を用いた強化学習（RL）： 画像レベルのスカラ報酬（例：GRPOやDPOを介したもの）に対して最適化を行う手法は、スパースな軌跡レベルの監督に苦しむ。これらは、勾配を形成する前に、空間的な粒度を失い、個々の要素の診断を単一の数値へと崩壊させてしまう。

2. 手法：Visual-SDPO

本論文では、レンダリングされた視覚的フィードバックを、重みを共有するティーチャー（教師）モデルのための「特権的コンテキスト（privileged context）」として扱う自己蒸留方策最適化フレームワーク、Visual-SDPOを提案する。これにより、推論時にはレンダラーを使用せずに動作するコーディング・スチューデント（生徒）モデルへと、このフィードバックを蒸留する。

2.1 視覚的フィードバック自己蒸留

本フレームワークは、両者が重み $\pi_\theta$ を共有するティーチャー・スチューデント構造を採用している：

• スチューデント（生徒）： 元のプロンプト $x$ のみに条件付けられたコードのロールアウト $y$ を生成する。
• ティーチャー（教師）： プロンプト $x$ に加えて、特権的な視覚的コンテキスト $v$ に条件付けられたスチューデントのトークンを再スコアリングする。コンテキスト $v$ は、スチューデント自身のロールアウトから派生する：
  • 画像チャンネル： 生のレンダリングされたアーティファクト（またはレンダリング失敗時の実行エラーメッセージ）。
  • ルーブリック（評価基準）チャンネル： アーティファクトから抽出された、構造化されたバイナリ形式の欠陥テーブル（例：配置、重なり、色）。
• 目的： スチューデントは、自身のトークン分布と、視覚的な結果にアクセスできるティーチャーの分布との間のカルバック・ライブラー（KL）ダイバージェンスを最小化する。これにより、推論時にレンダラーを必要とすることなく、視覚的理解をスチューデントへと転移させる。

2.2 視覚に基づいたコード・クレジット・ウェイティング（Visual-Grounded Code Credit Weighting）

標準的なトークンレベルの蒸留は、すべての出力トークンを等しく扱うため、非視覚的なスキャフォールディング（例：インポート、制御フロー）において方策のドリフトを引き起こす可能性がある。これを解決するために、著者らは空間的に監督をターゲットとするVisual-Grounded Code Credit Weightingを導入した。

1. 欠陥検出： ディテクターが、レンダリングされたアーティファクト上の欠陥 $D$（領域と深刻度）を特定する。
2. 領域とコードのマッピング ($M$)： マッピングメカニズムが、各欠陥領域を、影響を受けた要素に責任を持つ特定のコード文へと遡って追跡する。これは以下を通じて実現される：
   • ランタイム・イントロスペクション（実行時内省）： レンダラー（matplotlib、Playwright、python-pptx）を計装し、各要素のソース文を記録する。
   • VLMベースのマッピング： ティーチャーVLMを使用して、コードと注釈付き画像から責任のある文を特定する。
3. 文重み付け損失： 生成された領域と検出された欠陥との重なり（IoU）に基づいて、各文 $s$ の責任スコア $resp(s)$が計算される。このスコアは、以下のパー・トークン重み$w_t$ に変換される：
   $$w_t = 1 + (\alpha - 1) \cdot resp(s(t))$$
   ここで $\alpha \ge 1$ は増幅係数である。視覚的欠陥を引き起こしている文に含まれるトークンは、より高い重みを受け取り、視覚的エラーに責任のある特定のコードに対して蒸留の勾配を集中させる。

2.3 最終的な学習目的

本フレームワークは、高密度で局所化可能なトークンレベルの蒸留損失と、シーケンスレベルのグループ相対方策最適化（GRPO）報酬を組み合わせる：
$$L(\theta) = L_{VSDPO}(\theta) + \beta \cdot L_{GRPO}(\theta)$$

• 蒸留項 ($L_{VSDPO}$): 視覚的欠陥によって重み付けされた、高密度でサンプル効率の高い監督を提供する。
• GRPO項 ($L_{GRPO}$): 乗法的報酬 $r(y) = r_{exec}(y) \cdot r_{vis}(y)$ を使用する。ここで $r_{exec}$ はコードの実行可能性を保証し、$r_{vis}$ はルーブリック抽出器に基づく段階的なスコアである。これは、ドメインを横断して学習を固定し、コードが実行できなかった場合でも（エラーメッセージのフィードバックを介して）信号を提供する。

3. 主な貢献

1. Visual-SDPOフレームワーク： コード生成による視覚的アーティファクトのための自己蒸留アプローチ。重みを共有するティーチャーがレンダリングされたアーティファクトを特権的コンテキストとして観察し、推論時にはレンダラーを必要としないスチューデントへと視覚的フィードバックを蒸留する。
2. Visual-Grounded Code Credit Weighting： 視覚的欠陥を責任のあるコード文へと追跡し、トークンレベルの蒸留に重み付けを行うメカニズム。これにより、勾配が均一なトークンマッチングではなく、空間的に関連するコードに集中することを保証する。
3. 統一された評価： 単一のQwen3-VL-8B-Instructバックボーンを用い、チャート、ウェブ/UI、スライドの3つの異なるドメインにわたる包括的な実装と評価を行い、本手法の汎用性を実証した。

4. 実験結果

本手法は、ChartMimic（チャート）、Design2Code（ウェブ/UI）、AeSlides（スライド）で評価された。

• 性能向上： Visual-SDPOは、すべてのベンチマークにおいて、主要な指標でゼロショットベースラインに対して10ポイント以上の絶対的な向上を示した。
  • ChartMimic: ゼロショットに対し+10.7ポイント、最強のシングルシグナル・ベースライン（OPSD）に対し+1.6ポイント。
  • Design2Code: ゼロショットに対し+10.5ポイント、GRPOに対し+2.6ポイント。
  • AeSlides: ゼロショットに対し+11.2ポイント、GRPOに対し+2.5ポイント。
• アブレーション研究の洞察：
  • 相補性： 高密度なトークンレベルの蒸留（クレジット・ウェイティング付き）とシーケンスレベルのGRPOの組み合わせは、いずれか一方の信号のみを用いるよりも優れた性能を示した。トークンレベルの監督は、特に低レベルの構造的詳細（例：matplotlib API、CSSプロパティ）に対して効果的であり、一方でGRPOは全体的な軌跡を固定する役割を果たした。
  • 効率性： Visual-SDPOは、GRPOの予算の約29%という大幅に少ないロールアウト生成回数で、フルGRPOトレーニングと同等の性能を達成し、優れたサンプル効率を実証した。
• バックボーン： すべての実験において、統一された Qwen3-VL-8B-Instruct バックボーンを使用した。

5. 重要性と主張

本論文は、Visual-SDPOを、特権的自己蒸留、視覚的フィードバック訓練、およびコード生成による視覚的アーティファクトの交差点に位置づけている。その主な重要性は以下の通りである：

• ギャップの解消： レンダリングされたフィードバックを特権的信号として使用することで、推論時のコストを発生させることなく、コードと視覚のギャップを効果的に解決している。
• 粒度の高い監督： スカラー報酬メソッドとは異なり、どのコード文が特定の視覚的欠陥を引き起こしているかを特定する、局所化可能で空間的にターゲットを絞ったフィードバックを提供する。
• 安定性と効率性： 密な蒸留と軌跡レベルの報酬を組み合わせることで、純粋なRLアプローチよりもサンプル効率が高く、安定した学習を実現している。

著者らは、このアプローチが推論時における外部のVLMクリティックやレンダラーを必要としないため、高い視覚的忠実度を維持しつつ、リソース制約のある環境でのデプロイに適していると述べている。