💻 computer science

SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification

本論文は、凍結された視覚言語モデルに対して、明示的な主語・目的語の役割と相補的な幾何学的コンテキストを備えたクエリ固有のエビデンスビューを構築することにより、曖昧なグローバルビューや不適切なインスタンス選択に起因するエラーを大幅に削減し、空間関係の分類を改善する、学習不要の推論時インターフェースであるSEERを導入する。

原著者： Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

公開日 2026-08-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Feixiang Liu, Likun Wang, Qiang Qiu, Hui Xu, Huawei Shen, Xueqi Cheng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

パズルを解こうとしている場面を想像してみてください。2つのピースが完璧に組み合わさる必要があります。人工知能の世界には、「視覚言語モデル（VLM）」と呼ばれる非常に賢いコンピューターの脳が存在します。これらは画像を見ることができ、その画像に関する質問を読み取ることができます。これらは物体を認識することには長けています。例えば、猫と犬の写真を見せれば、どちらがどちらであるかを理解できます。しかし、難しいのはここからです。「猫は犬の左側にいますか？」と尋ねると、彼らは混乱してしまうことがあります。動物たちは正しく認識できても、その位置関係を間違えたり、本で学んだ知識に基づいて推測したりすることがあります。これは、定義としての「左」や「右」は知っているものの、地図を見ている時にどうしても指し示す方向を間違えてしまう学生のようなものです。科学者たちがこれを修正しようとしているのは、AIの脳が空間的な関係を理解できなければ、自動運転車やロボットのナビゲーション、あるいは複雑な図面を安全に読み取る作業において、私たちを助けることができないからです。

ここに、AIの脳に新しいことを教え込む必要のない、巧妙な新しいトリックであるSEERが登場します。SEERを「スポットライトとラベル」システムだと考えてください。AIに、ぐちゃぐちゃな画像全体をじっと見つめて推測させるのではなく、SEERはまず、質問が求めている2つの特定の対象物（例えば、猫と犬）を静かに探し出します。次に、それら2つのアイテムのためだけに特化した、ズームアップされたビューを作成します。主語となるものに赤い枠を引き、目的語となるものに青い枠を引き、「主語（Subject）」と「目的語（Object）」として明確にラベル付けします。このステップの間、AIが答えを決めるために選択肢（「左」や「右」など）に頼らないように、答え自体は隠しておきます。このように、AIに、対象となる2つのアイテムだけのクリーンでラベル付けされたビューに集中させることで、SEERはAIがより優れた判断を下せるようにします。研究者たちは、このシンプルな「再フォーカスとラベル付け」の手法によって、AIが空間的な関係を正しく理解できるようになり、さまざまなテストにおいて精度が平均して約4%向上したことを見出しました。

問題点：AIの「巨大なぼやけ」

混み合った部屋の中にいる場面を想像してください。誰かが「赤い帽子の人が、青いシャツを着た人の左側に立っていますか？」と尋ねました。もし部屋全体をただちらりと見るだけでは、間違えてしまうかもしれません。例えば、左端に赤い帽子が見え、右端に青いシャツが見えるかもしれませんが、質問が意図している特定の人物たちは、実は真ん中のすぐ隣に立っているかもしれません。

現在のAIモデルは、しばしばこれと同じ間違いを犯します。彼らは物体を見ることはできますが、「グローバルな視点（全体像）」の中で迷子になってしまいます。彼らは、実際に画像内の特定の場所を確認する代わりに、自分が「通常こうであるはずだ」と考えていること（例：「猫は通常左側にいる」など）に頼ってしまうことがあります。これは「幻覚（ハルシネーション）」、あるいは視覚的な証拠に回答を「接地（グラウンディング）」できていない失敗と呼ばれます。論文では、問題はAIが「左」や「右」を理解する能力が低いことではなく、画像の間違った部分を見ていたり、背景のノイズに惑わされたりしていることにあると主張しています。

解決策：SEERの「自己接地型」懐中電灯

中国の計算技術研究所の研究者たちは、SEER（Self-grounded Evidence for Entity-Relation Reasoning）と呼ばれる手法を考案しました。これは、AIに懐中電灯とハイライターを与えるようなものですが、非常に厳格なルールがあります。それは、**「まだ答えの鍵を見ないこと」**です。

SEERの仕組みは、以下のステップで行われます。

「ブラインド」検索： AIが「マグカップは本の左にありますか？」という質問を受け取ったとき、SEERはまず、画像の中からマグカップと本を見つけるようAIに求めます。極めて重要なのは、この検索中に、起こりうる答え（左、右、上、下）を隠しておくことです。これにより、AIが「左」という言葉に引きずられて、本が実際にどこにあろうとも、単に画像の左側にあるマグカップを見つけてしまうことを防ぎます。
「ズームアップ」ビュー： AIがマグカップと本を見つけたら、SEERはそれら2つのアイテムだけを含む小さな画像を切り出します。そして、マグカップ（主語）に赤い枠を、本（目的語）に青い枠を描きます。それらを明確にラベル付けします。
「役割明示的」チェック： 今、AIはこのクリーンでズームアップされた画像を見つめています。AIはこう理解します。「なるほど、赤い枠がマグカップで、青い枠が本だ。では、赤い枠は青い枠の左にあるだろうか？」背景がなくなり、役割がラベル付けされているため、AIが混乱する可能性は大幅に減少します。
「ダブルチェック」（オプション）： 時には、AIがいまだに確信を持てないこともあります。SEERには「相補的一貫性（reciprocal consistency）」と呼ばれる巧みなトリックがあります。役割を入れ替えるのです。「よし、今度は本を主語、マグカップを目的語だと仮定しよう。では、本はマグカップの右側にありますか？」もしAIの答えが両方向で整合性が取れる場合（もしAがBの左なら、Bは必ずAの右であるはず）、AIはその答えを確定させます。もし答えが矛盾する場合、AIは何かがおかしいと判断し、再度試行します。

実験結果が示したこと

研究者たちは、この手法を、画像と質問のペアが大量に集まったデータセット（複数の異なるデータセット）でテストしました。彼らは「フローズン（固定された）」テストセットを使用しました。これは、実験を開始する前にテスト用の質問を選んでおくことで、手法を答えを暗記するように微調整することを防ぐためです。

大きな勝利： 900個のユニークな画像を持つGQA-Train900というテストセットにおいて、SEERは画像全体を見る場合と比較して、AIの精度を**+3.94%**向上させました。これは小さく聞こえるかもしれませんが、AIのベンチマークの世界では、4%近い上昇は非常に大きな意味を持ちます。これは、AIが1,000問中、およそ40問多く正解できるようになったことを意味します。
異なるモデルでも同様の成功： 彼らは、Qwen3やInternVL3.5といった異なるタイプのAIの脳に対してこのテストを行いました。すべてのモデルが改善しました。例えば、EmbSpatialという別のテストでは、あるモデルが**+11.79%**という劇的な向上を見せました。
なぜ機能するのか： 研究者たちは、なぜこれが機能するのかを突き止めるために特別なテストを行いました。彼らは、魔法の正体が単なる「ズームアップ（クロップ）」ではないことを発見しました。鍵はラベルでした。画像をクロップしたものの、どちらが主語でどちらが目的語であるかのラベルを付けなかった場合、AIの改善はそれほど大きくありませんでした。明確な「赤い枠＝主語」「青い枠＝目的語」というラベルこそが鍵であり、それがAIに特定の役割に注意を向けるよう強制したのです。
解決できなかったこと： この手法は完璧ではありません。「〜の上にある（on）」という言葉（例：「カップがテーブルの上にある」）については、3Dの奥行きなしでは「〜の上方にある（above）」との区別が難しいため、苦戦しました。また、二値の質問に対してAIが「真（True）」か「偽（False）」かを推測しなければならない場合には、あまり効果がありませんでした。これは、このトリックが具体的な選択肢がある場合に最も効果的であることを示唆しています。

まとめ

SEERは、問題を解決するために、常に、より大きく、より賢い、あるいはより高価なAIを構築する必要はないということを証明しています。時には、AIに問題をどのように見せるかを変えるだけでよいのです。検索中に答えの選択肢を隠し、関連するオブジェクトだけのクリーンでラベル付けされたビューを提示することで、AIは推測をやめ、観察を始めることができます。

著者たちは、これがあらゆる空間的問題を解決する魔法の杖ではないことも慎重に述べています。AIは、そもそも対象物を最初に見つける能力が必要です。しかし、対象物が発見されたとき、SEERは親切なガイドとして機能し、AIが正しいものを正しい方法で見ていることを保証します。これは、より賢いAIを目指す競争において、時には最高のアップグレードは、より優れたインターフェースであるということを思い出させてくれます。

技術要約: SEER – 制御された空間関係分類のための自己接地型エビデンス・インターフェース

問題提起

視覚言語モデル（VLM）は、個々のエンティティを正しく認識できていても、空間関係の推論において頻繁に失敗します。VSR、What'sUp、GQA、AROといったベンチマークは、モデルがオブジェクトは認識しているものの、それらの位置関係を比較できず、言語的バイアスに依存したり、誤ったインスタンスに注意を向けたり、あるいは曖昧なグローバルビューを解釈したりしていることを示しています。現在の推論指向のチェックポイントやマルチモーダルモデルは、正しい視覚的エビデンスの選択を本質的に保証していません。核心となる問題は、「空間的な回答の信頼性は、入力されるエビデンスがいかに正確であるかに依存する」という点です。もしモデルが誤ったインスタンスに注意を向けたり、明示的な役割条件付けを欠いていたりすれば、関係予測の前提条件が決定を下す前に崩壊してしまいます。

手法: SEER

SEER（Self-grounded Evidence for Entity-Relation Reasoning）は、凍結されたVLMのための学習不要な推論時エビデンス・インターフェースです。新しいモデルの学習や外部ディテクタへの依存は行いません。代わりに、VLMの決定プロセスを導くために、クエリ固有の視覚的エビデンス状態を構築します。この手法は以下の4つのステージで動作します。

1. ターゲット・リレーション・ヒドゥン自己接地（Target-Relation-Hidden Self-Grounding）

SEERはまず、凍結されたVLMグラウンダー（ $G$ ）を使用して、クエリされた主語（ $S$ ）と目的語（ $O$ ）のペアを特定します。極めて重要な点は、このグラウンディング工程が**ターゲット・リレーション・ヒドゥン（対象となる関係性を隠蔽した状態）**であることです。つまり、モデルには画像とエンティティ名は与えられますが、候補となる関係性や回答の選択肢は明示的に伏せられます。これにより、グラウンダーが特定の関係性に偏ったボックス選択を行うことを防ぎます。

検証: ボックスは正の面積と有効な座標を持っているか検証されます。グラウンディングに失敗した場合は、フルイメージへとフォールバックされます。

2. 相補的なエビデンス状態の構築

SEERは、同一の主語/目的語ペアに対して3つの異なるエビデンスタイプを生成します。

フルイメージ・エビデンス（Full Image Evidence）: 元の画像と質問。グローバルなコンテキストを保持します。これは安全なフォールバックとして機能します。
自己接地型マーカー・ビュー（Self-Grounded Marker View）: 主語と目的語のバウンディングボックスの和集合を含むクロップされたビュー。主語には「S」とラベル付けされた赤枠、目的語には「O」とラベル付けされた青枠が付与されます。この状態は、ローカル・リフォーカス（局所的な再注視）と明示的な役割割り当てを提供し、候補となる関係性を提示することなく、特定のペアとその言語的役割にモデルを強制的に注意付けさせます。
閾値適応型ジオメトリ（Threshold-Eligible Geometry）: ボックスの中心と広がりから派生した決定論的な候補。これは特定の関係（例：水平方向の変位による左/右、ボックスの被覆による中/内）に対してのみ適格であり、2Dジオメトリでは不十分な関係（例：前/後、上/上）については棄却されます。

3. 学習不要のエビデンス決定

決定ステージでは、固定された決定論的なルールを用いて、利用可能な状態からの予測を集計します。

フォワード決定（Forward Decision）: ジオメトリが適格であり、そのレイアウトスコアが閾値（ $\tau=0.5$ ）を超える場合、それが優先されます。それ以外の場合、システムは（トップの候補と次点の候補との）オプション・スコアの差（ギャップ）がより大きい視覚状態（FullまたはMarker）を選択します。
相反的整合性リファインメント（Reciprocal Consistency Refinement）: 正確な逆の関係（例：左 $\leftrightarrow$ 右）を持つプロトコルの場合、SEERは主語と目的語の役割（およびS/Oのマーカー）を入れ替えて、クエリを再評価します。もし、一方の状態（FullまたはMarker）が逆の関係を尊重している一方で、もう一方がそうでない場合、システムは一貫性のある状態へと切り替えます。これは、正確な逆関係が存在する場合にのみ機能する、競合解決メカニズムとして作用します。

主な貢献

クエリ固有のエビデンス・インターフェース: 本論文は、空間的な回答をエビデンス・インターフェースの問題として定式化し、ターゲット・リレーション・ヒドゥン自己接地を導入しました。これにより、VLMの学習や外部ディテクタを用いることなく、クエリされたペアを役割明示的な視覚的エビデンスへと変換します。
相反的整合性リファインメント: 正確な主語/目的語の交換を用いることで、学習によるキャリブレーションやターゲットラベルを必要とせずに、競合するエビデンス状態に対する観察可能な一貫性の手がかりを得る、オプションのプロトコル特化型リファインメントです。
メカニズムの分離: 一致した反事実的実験（例：マーカーなしのクロップ、S/Oアイデンティティの入れ替え、オラクル・ボックスの使用）を通じて、著者らはローカル・リフォーカスと役割明示的コンディショニングが、単なるクロップや追加のテキスト指示ではなく、改善の主要な要因であることを特定しました。

実験結果

SEERは、複数のモデル（Qwen3-Instruct/Thinking, Qwen2.5, R1-Onevision, InternVL3.5）およびデータセット（GQA, Visual Genome, EmbSpatial, VSR, SpatialSense）に対し、画像が重複しないテストセットおよび開発プールを用いて評価されました。

GQA-Train900 (Frozen Test): スコアリング前に凍結された900個の一意な画像を含むテストセットにおいて、SEERはFull-imageベースラインに対して**+3.94**のプールされた利得（95% CI [2.17, 5.72]）を達成しました。この利得は、ラベル独立なハッシュ・カウンターバランシング下でも（+2.56）正の値を維持しました。
開発プール (GQA/VG): 41,544件の評価において、SEERは全8種類のモデル/データセットの組み合わせで改善を示しました。プールされた利得はFullに対して**+3.99でした。また、相反的整合性リファインメントは、Forward決定に対してさらに+1.36**の寄与をしました。
EmbSpatial: 2,343件のフィルタリングされたペア・リレーション・クエリにおいて、SEERはQwen3-Instruct, Qwen3-Thinking, InternVL3.5をそれぞれ**+4.35, +5.09, +11.79**向上させました。
メカニズム分析:
- ローカル・リフォーカス (Local Refocus): Fullからクロップされたビュー（Crop）へ移行することで、+1.25の利得が得られました。
- 役割コンディショニング (Role Conditioning): クロップに明示的なS/Oマーカーを追加（Self-Marker）することで、さらに+1.64の利得が得られました。
- オラクル・ギャップ (Oracle Gap): 正解のボックス（Oracle-Marker）を使用した場合、Self-Markerに対して+6.17の利得があり、これは局所化の品質に大きな改善の余地があることを示しています。
- 堅牢性: 「上（on）」の関係や繰り返されるエンティティ名を削除しても利得は維持されましたが、関係の種類（例：「右側」では混合した結果など）によってパフォーマンスは変動しました。
限界: 本手法は、相反的整合性が効果的に機能しにくい二値の真偽判定（例：VSR, SpatialSense）には一様に転移しません。性能は自己接地（self-grounding）の品質に制約を受けます。IoUは不完全ですが、利得は低い重複度でも維持されます。

意義と主張

本論文は、明示的なエビデンス構築こそが、凍結されたVLMにおける空間推論を改善するための主要な介入であると主張しています。クエリ固有の場所と役割を共同で検査可能にすることで、SEERは誤ったインスタンスへの注視や言語的バイアスに起因する失敗を軽減します。

推論よりもエビデンス: 結果は、高度な推論用チェックポイントであっても、より優れた視覚的エビデンス・インターフェースによって大幅に恩恵を受けることを示唆しており、「空間的な回答は、その入力エビデンスがいかに正確であるかにのみ依存する」という事実を確立しています。
学習不要の効率性: SEERは、固定されたルールと凍結されたVLMを使用し、学習なしでこれらの利得を実現します。計算コスト（単一のFullスコアの約7.12倍）が発生しますが、著者らは適応型ゲーティングを用いることで、利得の約81%を維持しつつコストを約2.57倍に抑えられると述べています。
謙虚な姿勢: 著者らは、SEERは厳密なグラウンディングの証明書ではなく、あくまでエビデンス・インターフェースであることを明示しています。改善は完全なインスタンス復元の意味ではなく、手法は依然として局所的な外観や2Dレイアウトにおける関係の可視性に制限されます。相反的整合性リファインメントは、普遍的な解決策ではなく、「プロトコル特化型の小さなリファインメント」として記述されています。

結論として、SEERは、ターゲット・リレーション・ヒドゥン自己接地と役割明示的コンディショニングを通じて、視覚的エビデンスの状態を制御することが、VLMにおける空間関係の失敗を大幅に修復できることを実証しました。これは、モデルの再学習や外部の検出ツールに代わる、堅牢で学習不要な選択肢を提供します。