技術概要：DiffSpot

問題定義

ビジョン・ランゲージモデル（VLM）は、高レベルの画像・テキスト整合性および言語誘導推論において顕著な進歩を遂げています。しかし、微細な視覚的差異を知覚する能力は依然として限られています。この限界は、GUI エージェントやデザインツールなど、レンダリングされた Web インターフェースを操作するシステムにとって決定的です。これらのシステムは、画面が変化したかどうかだけでなく、どの視覚的特性が変化し、どこで変化し、その変化が意図された要素に限定されたかどうかを検証する必要があります。

既存の VLM ベンチマークは、Web インターフェース向けの専用「違いを見つけろ（spot-the-difference）」タスクをほとんど欠いています。現在のアプローチは、2 つのボトルネックに直面しています：

1. データ不足：実際の Web ページでは、要素、特性、難易度レベル全体にわたってバランスよくカバーされ、1 つの小さな UI 特性のみが異なるほぼ同一の前後スクリーンショットを提供することは稀です。
2. 注釈バイアス：人間のラベリングは選択的であり、注意力に依存するため、顕著または意味的に重要な変化が過剰に代表され、微妙な特性レベルの視覚的差異が見落とされがちです。

手法：DiffSpot パイプライン

著者らは、Web インターフェースにおけるオープンエンドな「違いを見つけろ」タスクのためのコード駆動型ベンチマークであるDiffSpotを導入します。核心的な洞察は、差異の構築を画像空間からコード空間へ移行させることです。Web インターフェースは HTML/CSS から生成されるプログラム的アーティファクトであるため、視覚的差異はレンダリング前に定義・制御可能です。

構築パイプラインは 5 つの段階で構成されます：

1. コーパスキュレーション：

   • シードは Chrome User Experience Report および Majestic Top-1M ドメイン（200 万ドメイン）から抽出されます。
   • URL はサイトマップを通じて拡張され、構造的な一意性を確保するために HTML 構造のフィンガープリントでフィルタリングされます。
   • ページはヘッドレス Chromium（1280×800 ビューポート）でレンダリングされ、サードパーティの依存関係を除去するために LLM によって再生成された自己完結型 HTML とペアリングされます。
   • ペアは、再生成された HTML が元の視覚構造と一致していることを確認するために CLIP 類似度（≥0.70）でフィルタリングされます。

2. プログラム的突然変異：

   • システムは、単一のターゲット要素の単一の CSS 特性に対してアトミックで局所的な突然変異を適用します。
   • 13 の CSS 特性演算子が 4 つのファミリーに定義されています：タイポグラフィ（font_weight, font_size, letter_spacing, line_height, text）、カラー（color, opacity, gradient）、レイアウト（position, spacing, justify）、形状（border, rounded）。
   • 突然変異は、Tailwind CSS クラスの交換またはインラインスタイルのオーバーライドを通じて実行されます。
   • 難易度層別化：各演算子は、変化の大きさ（離散特性の場合は Tailwind スケールステップ、連続特性の場合は em オフセットなど）に基づいて Easy、Medium、Hard の 3 つのティアに分割されます。

3. グラウンディングゲート検証：

   • 突然変異がクリーンで局所的な視覚的変化に対応していることを確認するため、「グラウンディングゲート」がレンダリング結果を検証します。
   • 3 つの述語をチェックします：
     1. 有効性：ターゲットバウンディングボックス（bbox）内のピクセル変化がゼロでないこと。
     2. 局所性：ターゲット bbox 外のピクセル変化がゼロであること（レイアウト再フローの汚染がないこと）。
     3. セレクタ解決：ターゲット要素が DOM 内で正しく解決されること。
   • 全ての述語を通過したペアのみが保持されます。

4. 仕上げとフィルタリング：

   • 構造化された突然変異レコードは、LLM を使用して自然言語記述に変換されます。
   • コンテンツフィルタは、テキストの切り捨て、ビューポートのオーバーフロー、またはフォントレンダリングの問題を含むケースを除去します。

5. 層別サンプリングと「違いなし」コントロール：

   • 最終データセットには4,400 組の画像ペアが含まれます：
     • 「違いあり」ペア 3,900 組：13 演算子 × 3 難易度ティアの各セルあたり 100 組。
     • 「違いなし」ペア 500 組：ハルシネーション率を測定するために、同一のスクリーンショットを 2 回レンダリングしたもの。

評価設定

• モデル：13 の最先端 VLM がゼロショットで評価されました。これには、プロプライエタリ API（Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.7）とオープンウェイトモデル（Kimi K2.5, Qwen3.5-VL, GLM-4.6V, InternVL3.5）が含まれます。
• タスク：モデルは前後のスクリーンショットを受け取り、例やヒントなしで全ての観察された視覚的差異をリストアップするように求められます。
• 指標：
  • 精度：(TP + TN) / 総数。
  • 再現率：真の突然変異が特定された割合（難易度ティア別に内訳）。
  • 「違いなし」精度（特異度）：変化がないと正しく識別された不変ペアの割合（1 - ハルシネーション率）。
• 判定：回答は、言い換えを許容する視覚的効果同等性の基準を用いて LLM ジュジ（gpt-oss-120b）によって評価されます。2 人の他のジュジによる堅牢性チェックでランキングの安定性が確認されました。

主要な結果

1. 微細な知覚における低い天井

最も高性能なモデルであるGemini 3.1 Proでさえ、真の視覚的変化に対する**再現率は 40.7%**に留まりました。

• Hard ティアの再現率は、評価された全てのモデルで23% 未満でした。
• 13 モデルのうち 7 モデルは、全体の精度が 30% 未満でした。
• 一部のモデル（例：InternVL3.5）は、単なる精度の低さではなく、変化を検出できないことを示す「常に違いなし」という自明なベースラインをわずかに上回る程度でした。

2. 特性固有の失敗モード

性能は、変化がどこに現れたかではなく、何が変化したかに強く依存します。

• 高再現率演算子：justify（Gemini 3.1 Pro で 87.0%）、text（Claude Opus 4.7 で 70.3%）、opacity（Kimi K2.5 で 58.3%）は検出されやすいです。
• 低再現率演算子：gradient（最大 26.7%）、line_height（中央値 4.0%）、rounded（中央値 13.3%）は依然として極めて困難です。
• ドメイン独立性：再現率は 15 のソースドメイン間で最小限の変動（最大差 7.1 ポイント）しか示しませんでしたが、演算子間の変動は有意でした。これは、能力の格差がドメイン固有ではなく特性固有であることを示唆しています。

3. 視覚的規模は難易度を予測しない

この論文は、ピクセル規模も CLIP 距離もモデルの性能を信頼性高く予測しないことを実証しています：

• ピクセル変化：大きなピクセル変化を伴う演算子（例：gradient, line_height）はしばしば低い再現率を示し、小さなピクセル変化を伴うもの（例：text, position）は高い再現率を示します。相関係数 $r \approx -0.08$。
• CLIP 距離：CLIP 埋め込み距離は圧縮されており、再現率との相関はほぼゼロです（$r \approx +0.06$）。
• 結論：モデルは単に大きな画像の違いを検出できないのではなく、特定の CSS レベルの視覚的特性を知覚し、命名することに苦労しています。

4. 感度と抑制のトレードオフ

「違いなし」ペアは、重要なトレードオフを明らかにしました：

• 攻撃的な報告者：GLM-4.6V-Flash などのモデルは、「違いなし」ペアの 24.2% で変化をハルシネートしました。
• 過度に保守的：InternVL3.5 などのモデルはほとんど何も報告せず、特異度は 100% でしたが、再現率はほぼゼロでした。
• パレートフロンティア：「正確かつ抑制的」な領域（再現率 ≥30%、ハルシネーション ≤5%）に到達したのは、Gemini 3.1 Pro、Claude Opus 4.7、GPT-5.4 の 3 つのクローズドソースモデルのみでした。オープンウェイトモデルはこのバランスを達成できませんでした。

5. スケーリングと推論

• 推論モード：Qwen3-VL ファミリーにおいて、「Thinking」モードへの切り替えは、30B パラメータではなく 235B パラメータのより大規模なスケールでのみ性能を大幅に向上させました。
• スケーリング：パラメータサイズを増加させることのみ（例：Instruct モードでの Qwen3-VL 30B から 235B へ）では性能は向上せず、このタスクにはスケールだけでは不十分で、特定のアーキテクチャまたはトレーニングの調整が必要であることを示唆しています。

意義と主張

この論文は、DiffSpotがレンダリングされた Web インターフェースにおけるオープンエンドな「違いを見つけろ」タスクの最初のベンチマークであると主張しています。その意義は以下の点にあります：

1. 方法論的転換：人間による注釈付き画像ペアからコード駆動型のプログラム的突然変異へ移行することで、制御され、バランスが取れ、バイアスフリーな真実を確保します。
2. 診断精度：現在の VLM は微細な視覚的知覚において脆く、性能は突然変異された特定の CSS 特性によって大きく左右されることを明らかにします。
3. 実用性：このベンチマークは GUI エージェントやデザインツールのニーズに直接対応し、現在のモデルが局所的な UI 変化を信頼性高く検証できないことを浮き彫りにします。
4. 評価の厳密性：「違いなし」コントロールを含めることで、真の視覚的感度とハルシネーションを分離し、集計指標では隠れがちな感度と抑制のトレードオフを露呈させます。

著者らは、Web インターフェースにおける微細な視覚的差異の検出は「遠く未解決」であると結論付けています。最も強力なモデルでさえ、特に Hard ティアのシナリオでは、真の視覚的変化の約 5 分の 3 を見逃しています。