VisCoder2: 多言語可視化コーディングエージェントの構築

技術的サマリー（日本語）

本論文「VisCoder2: Building Multi-Language Visualization Coding Agents」は、大規模言語モデル（LLM）を用いた可視化コード生成タスクにおける既存の課題を解決し、多言語対応かつ自己修正能力を持つエージェントを構築するための包括的なフレームワークを提案するものです。

1. 背景と課題 (Problem)

近年、LLM を活用したコーディングエージェントは、自然言語指示から可視化コードを生成・実行・修正する能力を示しつつあります。しかし、実用的なワークフローにおいて以下の重大な課題が存在します。

• 言語カバレッジの限界: 既存のモデルやデータセットは Python や Vega-Lite などの特定言語に偏っており、LaTeX、LilyPond、Asymptote などの記号的・コンパイラ依存言語への対応が不十分です。
• 実行の信頼性不足: 生成されたコードがエラーを起こしたり、意図した図が描画されなかったりするケースが多く見られます。
• 反復的修正メカニズムの欠如: 既存のベンチマークやデータセットは「一度の生成」を重視しており、実行フィードバックに基づいた多ターンでの自己修正（Self-Debug）を評価・学習させる仕組みが不足しています。
• 検証可能なデータ不足: 実行可能で、かつレンダリング結果が検証された大規模な可視化コードデータセットが存在しませんでした。

2. 提案手法と主要貢献 (Methodology & Key Contributions)

著者らは、これらの課題を解決するために、以下の 3 つの相補的なリソースとモデルを提案しました。

2.1 大規模指令調整データセット: VisCode-Multi-679K

• 規模と構成: 12 種類のプログラミング言語（Python, LaTeX, LilyPond, HTML, SVG, Asymptote, Mermaid, Vega-Lite など）にまたがる、679,000 件の実行可能な可視化コードサンプルと、多ターン修正ダイアログを含むデータセットです。
• 構築プロセス:
  1. データ収集: the-stack-v2, svg-diagrams, CoSyn-400K などのオープンソースリポジトリからコードを抽出。
  2. フィルタリングと抽出: 特定の可視化ライブラリを呼び出すコードブロックを抽出し、スタンドアロンで実行可能な形式に整形（ダミーデータの注入など）。
  3. ランタイム検証: Jupyter 環境で厳密な実行チェックを行い、エラーなく画像が生成されたもののみを採択。
  4. 指令生成: 生成されたコードと画像に基づき、GPT-4.1 を用いて自然言語の指示（Setup, Data, Style などの構成要素を含む）を自動生成。
  5. 多ターン対話の統合: Code-Feedback データセットからの 66,000 件の多ターン修正対話を追加し、モデルに「エラーフィードバックに基づくコード修正」を学習させます。

2.2 多言語ベンチマーク: VisPlotBench

• 概要: 8 言語、13 種類の可視化カテゴリ（バー、ライン、3D、階層、音楽記譜など）、116 のサブタイプにわたる 888 件のタスクから構成される評価ベンチマークです。
• 特徴:
  • 実行ベースの評価: 生成されたコードが実際に実行可能か、意図した図が描画されるかを検証。
  • 自己修正評価プロトコル: 初期生成だけでなく、最大 3 ラウンドの自己修正（実行ログとエラーメッセージをフィードバックとして利用）を含む評価が可能。
  • 指標: 実行パス率（Execution Pass Rate）、タスクスコア（指示への準拠度）、ビジュアルスコア（参照画像との視覚的類似度）を測定。

2.3 多言語可視化モデルファミリー: VisCoder2

• アーキテクチャ: Qwen2.5-Coder (3B, 7B, 14B, 32B) をベースに、VisCode-Multi-679K で微調整（Fine-tuning）を行ったモデル群。
• 学習戦略: 単一言語の生成だけでなく、多言語の構文と、実行フィードバックに基づく反復的修正（Self-Debug）を同時に学習。

3. 実験結果 (Results)

VisPlotBench における評価結果は以下の通りです。

• 全体性能: VisCoder2-32B は、自己修正（Self-Debug）を適用した場合、82.4% の全体実行パス率を達成しました。これは、プロプライエタリモデルである GPT-4.1 に匹敵する性能であり、GPT-4.1-mini や既存のオープンソースモデル（Qwen2.5-Coder, DeepSeek-Coder など）を大きく上回ります。
• 言語別性能:
  • 記号的・コンパイラ依存言語: LilyPond, LaTeX, Asymptote などの言語において、VisCoder2 は特に顕著な改善を示しました。例えば、7B モデルにおいて LilyPond の実行パス率はベースライン（5.5%）から VisCoder2（69.1%）へと劇的に向上しました。
  • 自己修正の効果: 自己修正プロセスにより、すべてのモデルで実行パス率が向上しました。特に構文エラーやインターフェースエラーが多い言語では、修正ラウンドを重ねるごとに成功率が上昇しました。
• アブレーション研究:
  • 自然言語コード（The-Stack-V2）のみでは記号言語の性能向上に限界がある一方、合成データ（CoSyn）は構文の網羅性を高めるのに有効でした。
  • 多ターン対話データ（Code-Feedback）は、単発生成の性能には直接的な影響を与えませんが、自己修正時の回復能力を大幅に向上させることが確認されました。

4. 誤り分析と洞察 (Error Analysis & Insights)

• 回復可能なエラー: 構文エラー（SyntaxError）や型エラー（TypeError）は、実行ログからのフィードバックにより自己修正で高い確率で解決されました。
• 解決が困難なエラー: 意味論的な不一致（Semantic Mismatch）や、レンダリング環境に依存するエラー、記号言語におけるマクロ展開やスコープ解決の失敗は、現在の自己修正プロトコルでは解決が困難でした。これらは実行ログに明確な手がかりを残さないためです。
• 実行パス率と品質の乖離: 一部の言語（SVG など）では、コードは実行成功しても、視覚的な品質（Visual Score）が低いケースが見られました。これは、実行エラーがないことと、意図したデザインが正確に再現されていることは同義ではないことを示しています。

5. 意義と結論 (Significance & Conclusion)

VisCoder2 は、可視化コーディングエージェントの分野において以下の点で重要な意義を持ちます。

1. 多言語対応の実現: Python だけでなく、LaTeX や LilyPond などの専門的な記号言語を含む 12 言語での高品質なコード生成を可能にしました。
2. 反復的修正の標準化: 「生成 - 実行 - 修正」という実世界の開発ワークフローをシミュレートし、モデルの自己修正能力を体系的に評価・向上させるフレームワークを提供しました。
3. オープンソースとプロプライエタリモデルの性能差の縮小: 適切なデータセットと学習戦略により、オープンソースモデルがプロプライエタリモデル（GPT-4.1）と同等の性能を達成できることを実証しました。

本論文は、データ分析やレポート作成における信頼性の高い AI コーディングアシスタントの実現に向けた基盤を確立し、今後の多言語・多モーダルなコーディングエージェント研究の進展を加速させることが期待されます。