🤖 AI

Vector-Bench: Can Models Surgically Edit SVG Code?

本論文は、指示に基づくベクター編集を評価するために設計された40個のSVG修復タスクからなる厳格なベンチマークであるVector-Benchを紹介し、最強のモデルであっても、要求された変更を未要求の要素を変更することなく外科的に適用することには苦戦し、完全な仕様への成功率はわずか15.0%にとどまることを明らかにしている。

原著者： Yug Aditi Gupta, Prannay Hebbar

公開日 2026-07-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yug Aditi Gupta, Prannay Hebbar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたはロボットにデジタルアーティストになるよう教えていると想像してください。あなたは、コードで作られた画像――絵の具ではなく指示によって構築されたデジタル図画のようなもの――をロボットに与え、こう言います。「ねえ、この絵の太陽が大きすぎるよ。小さくして。でも、雲や山には触れないでね」。これがベクターグラフィックスの世界です。標準的な写真とは異なり、ベクター画像は単なる色の点のグリッドではなく、生きたプログラムなのです。それは、コンピュータに線、形、色を描く方法を伝えるコマンドのリストです。コードであるため、もしロボットが間違った行を変更してしまうと、単に絵が変になるだけでなく、ファイル全体を壊してしまい、後で開いたり編集したりすることが不可能になるかもしれません。

科学者たちが投げかけている大きな問いは、「これらのスマートなAIモデルは、ファイル全体を台無しにすることなく、特定のパーツのコードを修正するという指示を実際に実行できるのか？」ということです。これは、スープの中の塩分を、温度や鍋、あるいは横にあるパンのレシピを変えずに置き換えるようシェフに頼むようなものです。もしAIがスープの味を正しくしたとしても、パンを焦がしてしまったら、たとえスープが美味しくても、それは失敗です。これが**指示に基づく編集（instruction-based editing）**の課題です。つまり、指示されたことだけを、正確に、かつ「それだけ」を行う一方で、コードの目に見えない構造を完璧に保つことです。

そこで登場するのが、AIモデルが本当に外科手術のような編集ができるかどうかを試すための、新しくトリッキーなテスト、Vector-Benchです。研究者たちは、SVG画像が「破損」している40個の特定のパズルを作成しました。例えば、電車のドアが間違った場所に浮いていたり、クラゲが触手を失っていたりするようなケースです。彼らはAIモデルに対し、「琥珀色の信号が消えました。それを直し、駅には触れないでください」といった、単純な人間言語による指示を与えました。モデルは、列車を動かしたり、駅のプラットフォームを削除したり、ファイル形式を壊したりすることなく、信号を修正するためにコードを書き換えなければなりませんでした。

結果は、少し厳しい現実を突きつけるものでした。研究者たちは、安価で小さなモデルから、利用可能な最も強力な「フロンティア」モデルに至るまで、34種類の異なるAIモデルをテストしました。最も優れた性能を示したモデルであるClaude Sonnet 5でさえ、エラーを修正し、他のすべてを安全に保ち、有効なファイルを作成するという「全工程」を完璧にやり遂げられたのは、わずか**15.0%**でした。そうです、最も賢いAIでさえ、10回中8回以上は指示を完全には遂行できなかったのです。

しかし、物語は失敗だけではありません。彼らが「どのように失敗したか」についても物語は続いています。論文によると、モデルは「修正」の部分については実はかなり優れていました。平均して、依頼された修理に対して目に見える進展を見せたのは**43.7%**の時でした。彼らは信号を明るくしたり、ドアを近くに動かしたりすることはしばしばできました。しかし、「他の部分には触れない」という部分については非常に不得意でした。彼らは頻繁に触れるべきではないものの名前を変えたり、無関係な物体を動かしたり、あるいはコードの構造を壊してファイルを無効にしてしまいました。

この研究は、「見た目が良いこと」と「正しく機能すること」は同じではないという考えを明確に否定しています。モデルが人間の目には修正されたように見える画像を作成したとしても、その背後のコードが書き換えられたり損傷したりしていれば、それは失敗です。研究者たちは、絵だけでなくコード自体もチェックする厳格なコンピュータ・ジャッジを用いることで、これを証明しました。彼らは、モデルがいくらかの修理はできるものの、副次的被害を出さずにコードを外科的に編集する能力は、依然として大きな障壁であることを明らかにしました。

要するに、この論文は、AIは絵を描いたり直したりすることは上手くなっているものの、それらの絵を機能させるコードの精密で注意深いエディターになることには、依然として苦戦していることを示唆しています。「変更を加えること」と「他のものを壊さずに正しい変更を加えること」の間には、依然として大きな隔たりがあります。著者たちはすべてのデータ、コード、および結果を公開しており、最も高価で強力なモデルでさえ、現在は、精密な外科医というよりも、問題を解決しようとして誤って本棚を倒してしまうような、熱心なインターンに近い状態であることを示しています。

技術要約：Vector-Bench

問題の定義
指示に基づくベクター編集には、周囲のコード構造全体を保持しながら、特定の変更を実行するモデルの能力が求められる。ラスター画像の生成指標は、最終的な見た目の美しさに基づいて成功を判断することが多いが、このアプローチは構造化ベクターグラフィックス（SVG）においては不十分である。SVGにおいては、「外見上の」差異（要素の名称変更、パスデータの書き換え、無関係なオブジェクトの移動、メタデータの削除など）が、実行可能なアーティファクトのセマンティクス（意味論）を変化させてしまう。現在のベンチマークは、モデルが視覚的な欠陥の修正に成功したのか、それとも意図せず基礎となるプログラム構造を破損させたのかを区別できないことが多い。核心となる課題は、要求された修復を検証し、かつ要求されていない要素のセマンティクスを強制し、さらに出力が有効で利用可能なSVGであることを同時に保証する報酬信号を定義することである。

手法：Vector-Bench
著者らは、40個のSVG修復タスクからなるコンパクトで高密度なベンチマークであるVector-Benchを導入する。このベンチマークは、以下のコンポーネントを通じて「外科的」な編集能力をテストするように設計されている。

タスク構造: 各タスク $\tau$ は、破損したSVG ( $S_0$ ) と、著者が作成した自然言語による指示 ( $x$ ) をペアにしている。指示は、DOM識別子、座標、カラーコード、またはパスデータを露出させることなく、目に見える欠陥（例：「アンバー信号が消灯した」）を記述する。正解（グランドトゥース）は、隠されたターゲットSVG ( $S^*$ ) である。
アノテーション: データセットには、40タスクにわたる202個のアノテーション済み修復が含まれており（タスクあたり平均5.05個の修復）、変更されてはならない「保護対象オブジェクト」（タスクあたり平均60.55個）を定義している。
実行可能評価: 著者らは、以下の3つのゲートからなる決定論的なバイナリ仕様報酬（ $R_{spec}$ $R_{s p ec}$ ）を提案している。
1. 妥当性ゲート (Validity Gate): 出力は、参照が解決可能な、適切に構成された有効なSVGでなければならない。
2. 要求された編集ゲート (Requested Edit Gate): 各要求された編集 $e$ に対して、属性を考慮した述語が、ターゲットに対する出力をチェックする。これは、厳密な文字列一致ではなく、知覚的な許容範囲（例：色のためのCIE Lab $\Delta E_{76}$ 、座標のためのRMS、およびパスサンプリング）を使用しており、同じ視覚的結果を生み出す同等のSVGコマンドを許容する。
3. 保存ゲート (Preservation Gate): 編集箇所によってマスクされたドキュメントの未要求部分は、セマンティクスが変更されていない必要がある。これは、構造的な完全性、要素の順序、および保護されたオブジェクトへの意図しない変更の不在をチェックする。
診断メトリクス: バイナリの合否判定を超えて、フレームワークは「修復進捗（Repair Progress）」（出力が許容範囲内でどれだけターゲットに近いか）と「意図しない変更率（Unintended Change Rate: UCR）」（付随的な被害を定量化するため）を追跡する。

主な貢献

凍結されたコーパス: 明示的な意図を持つ編集と広範な保存領域を備えた、著者が記述した40個の密なSVG修復タスク。指示は視覚的な記述のみに依存している。
透明なエバリュエーター: 寛容な編集チェックと厳格なセマンティック保存および妥当性ゲートを組み合わせた、実行可能な評価プロトコル。学習されたジャッジやモデルベースの採点器を回避している。
包括的な評価: 1,360のリクエストにわたる34のモデルエンドポイント（25のオープンウェイトモデル、5つの安価なコントロール、4つのフロンティア・クローズドモデル）の再現可能な研究。すべてのプロンプト、出力、スコアリングコード、およびコストを公開している。
経験的なギャップ分析: 視覚的な修復を完了することと、完全なベクタープログラム構造を保持することの間の乖離に関する詳細な報告。

結果
34のモデルの評価により、視覚的な修復能力と仕様に忠実な編集との間の大きな隔たりが明らかになった。

低い完全成功率: 最も強力なエンドポイントである Claude Sonnet 5 でさえ、完全な仕様成功率（3つのゲートすべてを満たすこと）はわずか 15.0% であった。全1,360の結果を通じて、すべてのゲートを通過したのは2.35%のみであった。
高い部分的進捗: 完全な成功率は低いものの、最良のモデルは 43.7% の平均修復進捗を達成した。これは、モデルが要求された視覚的変更は行うものの、保存または妥当性の面で失敗することが多いことを示している。
妥当性と保存の問題: 多くのモデルが無効なSVGを生成するか、意図しない変更を導入した。トップモデルにおいて、SVGの妥当性は62.5%であり、有効な出力における意図しない変更率（UCR）は0.8%であった。
失敗モード: 失敗の大部分は、ターゲットオブジェクトの編集能力の完全な欠如ではなく、不完全または使用不可能な出力（例：切り詰め、無効なXML）や、保護されたオブジェクトへの付随的な変更によるものであった。
コスト vs 能力: 本研究では、モデルのコストと性能の間に直接的な相関関係は見られなかった。高価なフロンティアモデルが、完全な仕様成功の観点で、必ずしも小型または安価な代替モデルよりも優れた性能を示すわけではなかった。

意義
本論文は、Vector-Benchが現在の大規模言語モデルにおける決定的な限界を露呈していると主張している。それは、周囲のコンテキストの完全性を損なうことなく、構造化されたコードに対してローカルな編集を行う能力の欠如である。結果は、「見かけ上の修復進捗」（視覚的な欠陥の修正）と「仕様に忠実な編集」（欠陥を修正しつつ、プログラムの残りの部分をそのままにする）が、実質的に異なる能力であることを示している。このベンチマークは、ラスターベースの視覚的類似性を超えた、ベクター編集を評価するための厳格で決定論的な標準を提供し、実行可能なアーティファクトのセマンティックな構造をより良く理解し保持する必要性を浮き彫りにしている。著者らは、これらの知見が中程度の許容範囲の変化に対しても安定していることを強調しており、これは問題が厳格な評価基準の産物ではなく、タスク自体に固有のものであることを示唆している。

技術要約：Vector-Bench

関連論文