SADL: What to Ignore? A Benchmark for Subject-Aware Distractor Localization

技術要約：SADL – 被写体認識型ディストラクター局在化

問題定義
写真には、意図した被写体と競合して注意を逸らし、構図の完全性を弱めてしまう視覚的なディストラクター（注意をそらす物体）が頻繁に含まれています。現代の編集ツールは物体の除去を容易にしますが、その前段階として、どの物体を除去すべきかを「特定」するプロセスは、依然として構図に関する専門知識を必要とする手動のプロセスです。サリエンシーモデルやオープンボキャブラリー検出器を含む既存のアプローチは、構造的な限界を抱えています。すなわち、被写体への意識（subject awareness）を持たず、画像ごとに固定されたディストラクターマップを生成してしまう点です。その結果、ユーザーの意図の変化に適応することができません。ある物体は、ある被写体（例：人間）に対してはディストラクターとなり得ますが、別の被写体（例：犬）に対しては不可欠な構図のアンカーとなる場合があります。さらに、文脈を無視した除去は、例えば被写体が座っている椅子を除去してしまうような、意味的な一貫性の崩壊を招くリスクがあります。本論文では、**被写体認識型ディストラクター局在化（SADL: Subject-Aware Distractor Localization）**というタスクを定式化します。これは、画像 $I$ と主要な被写体 $M$ のテキスト記述が与えられたとき、システムが $M$ に対してどの他の物体がディストラクターであるかを特定するというものです。

手法およびフレームワーク
SADLフレームワークは、ディストラクターを、「5つの包含要因（注意の競合を駆動するメカニズム）のうち少なくとも1つを満たし、かつ3つの除外ルール（保持を義務付ける文脈的制約）のいずれも誘発しない物体」と定義します。

• 包含要因 ($F_1$–$F_5$):
  • $F_1$ (視覚的サリエンシー): 高い色彩コントラスト、輝度、またはテクスチャの新規性。
  • $F_2$ (空間的近接性): 被写体 $M$ への隣接。
  • $F_3$ (意味的不一致): シーンに対する文脈外の存在。
  • $F_4$ (カテゴリ的類似性): $M$ と同じ意味カテゴリを共有することによる、参照上の曖昧さ。
  • $F_5$ (スケール優位性): $M$ に対して不釣り合いに大きな領域を占有していること。
• 除外ルール ($E_1$–$E_3$):
  • $E_1$ (属性としての $M$): $M$ が保持、着用、または装着している物体。
  • $E_2$ (中立的な環境要素): 個別に競合するには小さすぎる、あるいは数が多すぎる、想定内の背景要素。
  • $E_3$ (機能的依存性): その除去が、被写体の活動を論理的に不合理にする物体。

データセット構築 (SADL)
著者らは、このタスクのための初の現実世界のベンチマークである SADL を導入します。これには以下が含まれます：

• 規模: 多様な公開データセット（COCO, Winoground, Visual Genome, Open Images）から抽出された、8つのシーンカテゴリにわたる1,000枚の高解像度画像。
• ケース: 1,800の被写体認識ケース（画像あたり平均1.8ケース）。これは、指定された異なる被写体 $M$ に基づいて、単一の画像から複数のケースが生じることを意味します。
• アノテーション: 14,617個のアノテーション済み候補。これには、1,938個のハードネガティブ（ディストラクターのように見えるが、除外ルールにより保持されなければならない物体）が含まれます。
• パイプライン: エージェントによる事前ラベル付け（Qwen3-VL-32B）に続き、プロのフォトグラファーによるレビューと、意見の相違を解決するための裁定を行うハイブリッドなアノテーションプロセス。バイナリラベルにおける相互一致度（Cohen's $\kappa$）は0.534に達し、知覚的要因よりも幾何学的・カテゴリ的要因において高い一致を示しました。

評価フレーム・ワーク
本論文では、特定の失敗モードを分離するために、二重プロトコルによる評価を採用しています。

1. 誘導型分類 (Guided Classification: GC): モデルは画像、被写体の記述、および事前列挙された候補リストを受け取り、因子/ルールの帰属を伴う3クラスのラベル（ディストラクター、除外、非ディストラクター）を予測します。これにより、構図的推論を分離して測定します。
2. オープン検出 (Open Detection: OD): モデルは画像と被写体の記述のみを受け取り、自由に候補を列挙します。その後、それらはSAM 3を介してマスクへとグラウンディングされます。これは、エンドツーエンドのデプロイメント性能を測定します。

主な結果
7つのVision-Language Model (VLM) と4つの非推論ベースラインの評価により、体系的な失敗の階層が明らかになりました。

• 除外の過剰適用 (Exclusion Over-Triggering): 最先端モデル（例：GPT-4.1, Gemini 3 Pro）は、ディストラクターの特定能力は高いものの、除外ルールを体系的に適用しすぎる傾向があります。プロンプトから除外ルールを取り除くと、これらのモデルのディストラクター再現率（D-Rec）は大幅に上昇し（例：GPT-4.1では65.1%から88.9%へ）、これは主要なボトルネックが検出の失敗ではなく、**除外のキャリブレーション（調整）**にあることを示しています。モデルは、除外を特定の被写体 $M$ に紐付けるのではなく、シーン全体に対して適用してしまう傾向があります。
• 因子検出の失敗 (Factor Detection Failure): 比較的弱いオープンウェイトモデル（例：Pixtral-12B）は、除外ルールを取り除いた場合でも失敗しており、これは知覚的グラウンディング、特に意味的不一致（$F_3$）における欠如を示唆しています。
• 出力の汚染 (Output Contamination): 一部のオープンウェイトモデルは、包含因子がトリガーされていないにもかかわらず除外基準が作動し、真のディストラクターを密かに抑制してしまうという、構造的に不整合な出力を生成します。
• 空間的グラウンディングのボトルネック (Spatial Grounding Bottleneck): GCとODのF1スコアの間には顕著な性能差が存在します（すべてのモデルで $\Delta$F1 は負の値）。この低下は主に、SAM 3によるグラウンディングの失敗（例：冗長または不正確なテキスト記述が、正確なマスク生成に失敗する）に起因しており、セグメンテーションモデル自体の問題ではありません。

意義と貢献
本論文は、主に3つの貢献を主張しています。

1. 形式的フレームワーク: 視覚的注意理論に基づいた、被写体認識型ディストラクター局在化の厳密な定義。これにより、原因（包含、除外、グラウンディング）によるプロセスレベルのエラー分解が可能になります。
2. 診断的ベンチマーク: SADLは、ハードネガティブと二重プロトコル設計を備えたユニークなリソースを提供し、バイナリベンチマークでは混同されたり隠蔽されたりしてしまう失敗モード（特に除外の過剰適用）を明らかにします。
3. 実証的分析: 本研究は、4つの明確な失敗モード（除外の過剰適用、出力の汚染、因子検出の失敗、空間的グラウンディングの失敗）を特定し、マルチモーダルシステムに対する具体的な診断シグネチャと改善の方向性を提示しています。

著者らは、VLMは強力な構図的推論能力を備えているものの、そのエンドツーエンドのデプロイメントは、現在のところ、被写体に条件付けられた除外キャリブレーションと堅牢な空間的グラウンディングの欠如によって妨げられていると結論付けています。SADLは、将来の研究においてこれらの特定の能力を進展させるための基礎的なツールとして機能します。