技術概要：Web からピクセルへ：エージェント型検索を視覚知覚へ統合する

1. 問題定義：知覚深層研究

本論文は、現在の視覚知覚システムにおける重要なギャップを特定しています。既存のマルチモーダル大規模言語モデル（MLLM）は、可視カテゴリの認識から、内部知識に基づいた暗黙のターゲットの特定へと進化しましたが、オープンワールド環境においては依然として困難に直面しています。これらのシナリオでは、対象物体が画像内に可視化されていますが、それを特定するために必要な決定的な証拠は画像の外にあり、モデルの凍結されたパラメトリック知識の範囲を超えています。

著者らは、この課題を**知覚深層研究（Perception Deep Research）**として形式化しました。標準的な参照表現理解や推論セグメンテーションが視覚的または内部的な手がかりに依存するのに対し、この設定ではモデルが以下のことを要求されます：

1. 外部事実（例：最近の出来事、ロングテールなエンティティ、多段関係、制作者の所属）から対象のアイデンティティを特定する。
2. この特定されたアイデンティティを、画像内の具体的な視覚インスタンス（バウンディングボックス、マスク、または領域レベルの回答）に紐付ける。

核心的な難しさは、2 つのステップの結合にあります。間接的な事実的手がかりを明示的なターゲット仮説に変換し、その後、この仮説が観察された視覚領域と整合しているかを確認し、妨害物や視覚的に類似する物体と区別することです。

2. 手法

2.1 WebEyes ベンチマーク

この分野の進捗を測定するため、著者らは検証可能な証拠と精密な注釈を備えた、オブジェクトにアンカーされたベンチマークWebEyesを導入しました。

• 構築: データセットは「オブジェクトファースト」のワークフローに従います。アノテーターはマルチインスタンス画像を選択し、前景のオブジェクトにマークを付け、その後エージェントを用いて連鎖的なウェブ検索を実行して証拠（役割、リリース日、ブランド所属など）を収集し、知識集約的なクエリを生成します。
• 規模: 120 枚の画像、473 個の注釈付きオブジェクトインスタンス、645 組の一意な QA ペアから構成され、合計 1,927 のタスクサンプルとなります。
• タスクビュー: WebEyes は 3 つの補完的なタスクを評価します：
  1. 検索ベースのグラウンディング: 外部知識を必要とするクエリからバウンディングボックスを予測する。
  2. 検索ベースのセグメンテーション: ピクセルレベルのマスクを予測する。
  3. 検索ベースの VQA: 強調表示された領域に対して、知識に富んだ記述から正しいものを選択する。
• 品質管理: パイプラインには、「ショートカット」（閉じた本の知識や視覚のみで解決可能な質問）を除去するための自動フィルタリングと、証拠の正確性とターゲットの一意性を確保するための手動検証が含まれています。

2.2 Pixel-Searcher：エージェント型検索からピクセルへのワークフロー

著者らは、直接のエンドツーエンド予測ではなく、エージェントループにタスクを分解する参照ワークフローPixel-Searcherを提案します。これは 2 つのフェーズで動作します：

1. エージェント型検索とターゲット特定:

   • エージェントはクエリを分析し、検索可能なサブゴールに分解します。
   • 外部証拠の取得（検索ツール経由）、蓄積された事実に基づく推論、構造化された仮説 $h = \{e, c, K\}$ の特定を交互に行う検索 - 推論ループに入ります。ここで、$e$ はエンティティ名、$c$ は視覚カテゴリ、$K$ は画像で確認可能な手がかりを表します。
   • エージェントは、特定されたエンティティが中間的な手がかりではなく、最終的な可視ターゲットであることを確認します。

2. エージェント型グラウンディングとツール使用:

   • 特定された仮説 $h$ を用いて、エージェントは視覚グラウンディングツールを導きます。
   • グラウンディング/セグメンテーションの場合: 候補領域を特定し、特定された証拠と照合して検証した後、マスクの微調整のためにプロンプト可能なセグメンテーションツール（SAM3）を呼び出します。
   • VQA の場合: 逆のプロセスを行い、各回答オプションを証拠を意識した手がかりに特定し、グラウンディングされた視覚領域と最も一致するものを選択します。

3. 主要な貢献

本論文は 3 つの主要な貢献をなしています：

1. 知覚深層研究: モデルがグラウンディングを行う前に、隠れたアイデンティティを特定するために外部証拠を積極的に探す必要がある、オープンワールド視覚知覚のための新しい定式化。
2. WebEyes ベンチマーク: グラウンディング、セグメンテーション、VQA の各ビューにわたる検証可能な外部証拠、知識集約的なクエリ、および精密な注釈を特徴とするデータセット。これは、ウェブ知識をピクセルレベルの出力に変換する能力をテストするために特別に設計されています。
3. Pixel-Searcher: 検索からピクセルへの推論の有効性を示すエージェント型ワークフロー。著者らは診断実験を提供し、性能のボトルネックは最終的なマスク微調整ステップではなく、主に証拠の取得、アイデンティティの特定、視覚インスタンスへの紐付けにあることを明らかにしました。

4. 実験結果

タスク固有の微調整なしに、各種オープンソースおよびクローズドソースモデルを用いて WebEyes 上で実験が行われました。

• 性能: Pixel-Searcherは、すべてのタスクビューにおいて、すべてのオープンソース手法の中で最も高い性能を達成しました。
  • 検索ベースのグラウンディングにおいて、ベースラインの Qwen3-VL-8B の IoU を 26.81% から 34.17% に、Recall@0.5 を 32.61% から 41.30% に向上させました。
  • 検索ベースのセグメンテーションにおいて、gIoU を 35.78% から 39.17% に、cIoU を 25.94% から 32.41% に向上させました。
  • 検索ベースの VQAにおいて、42.24% の精度を達成し、他のオープンソースモデルを上回りました。
• 比較: Pixel-Searcher はオープンソース手法をリードしていますが、トップクラスのクローズドソースモデル（Doubao-Seed、Gemini など）との間には依然として性能の隔たりがあり、証拠の選択やエンティティの特定は高度なエージェントであっても依然として課題であることを示唆しています。
• アブレーションおよび失敗分析:
  • 直接の位置特定手がかりを除去すると、最も顕著な性能低下が生じます。
  • 失敗モード: 失敗の約 78%（389 件中 304 件）は、検索/エンティティ特定フェーズ（誤ったエンティティの識別または検索計画）で発生します。ボックスからマスクへの転送エラーによるものはわずか 10 件です。これは、主要なボトルネックが視覚境界の微調整ではなく、正しいエンティティの特定にあることを確認しています。

5. 意義と主張

本論文は、WebEyesが「知覚深層研究」をベンチマークし、進展させるために必要なインフラを提供し、静的な画像分析を超えて動的で知識駆動型の相互作用へと視覚知覚を移行させることを主張しています。

Pixel-Searcherの意義は、エージェント型検索がオープンワールド視覚知覚にとって実行可能かつ不可欠なメカニズムであることを実証している点にあります。著者らは、対象のアイデンティティが外部事実の背後に隠れているタスクにおいては、視覚的属性や凍結されたモデル知識のみに依存するだけでは不十分であると主張しています。このワークフローは、「誰（アイデンティティ）」を特定する前に「どこ（位置）」を決定することが重要であることを証明しており、この分野での失敗は主に幾何学的（マスク微調整エラー）ではなく、意味論的（検索/推論エラー）であることを示しています。

本論文は、この方向性がモデルに外部証拠を積極的に探し、視覚インスタンスに対してアイデンティティを検証することを要求し、ウェブ知識とピクセルレベルの知覚の間のギャップを埋めるためのエージェント型検索のあり方を研究するためのシンプルかつ効果的な出発点を提供すると結論付けています。