💬 NLP

Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

本論文は、大規模視覚言語モデルにおける空間的バイアスが、ビジョンエンコーダ自体ではなく、ビジョンエンコーダと言語モデル間のアテンションの不一致に起因することを特定し、アーキテクチャの変更を行うことなく、このバイアスを軽減し空間的堅牢性を高めるための軽量な適応型グローバルコンテキスト注入（AGCI）メカニズムを提案する。

原著者： Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Yongshuai Hou, Weili Guan, Jun Yu, Min Zhang

公開日 2026-02-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Yongshuai Hou, Weili Guan, Jun Yu, Min Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「視野狭窄」に陥ったモデル

想像してみてください。あなたは、画像を見てそれに関する質問に答えるのが非常に得意な、とても賢いアシスタントを雇いました。あなたが箱の中に座っている猫の写真を見せると、彼らは「はい、これは猫です」と答えます。

次に、全く同じ写真を用意しますが、箱の中央にいる猫を、箱の左端の隅へと移動させたとします。その写真を再びアシスタントに見せます。驚いたことに、アシスタントは混乱してしまうかもしれません。「猫が見えません」と言ったり、全く異なる答えを出したりする可能性があります。写真は、猫の位置が変わっただけで、それ以外は全く同一であるにもかかわらずです。

この論文では、この問題を**「空間バイアス（Spatial Bias）」**と呼んでいます。これは、AIの画像の理解力が、「そこに何があるか」ではなく、「それがどこにあるか」によって変化してしまうことを意味します。

調査：バグはどこにあるのか？

研究者たちは、なぜこのようなことが起こるのかを知りたいと考えました。彼らはAIを、2つのパーツからなる機械として扱いました。

目（ビジョン・エンコーダー）： ピクセルを見て、それをデータに変換する部分。
脳（大規模言語モデル）： そのデータを受け取り、論理を使って質問に答える部分。

彼らは、どの部分が失敗しているのかを確認するために、一連のテスト（「間違い探し」ゲームのようなもの）を実施しました。

「目」が失敗したのか？ 彼らは、物体が移動しても「目」が依然として猫をはっきりと捉えられているかをチェックしました。結果： 「目」は完璧に機能していました。猫がどこにあっても、目は猫を見ていました。
「脳」が失敗したのか？ 彼らは、「目」が送ってきたデータを「脳」が正しく理解できているかをチェックしました。結果： はい、「脳」が混乱していました。

根本的な原因：
この論文では、「目」と「脳」が情報を共有する方法において、異なる言語を話しているのだと説明しています。

**「目」**は、円になって座り、全員が同時に話し合っている友人グループのようなものです。彼らは画像全体をグローバルに共有します。
**「脳」**は、列を作ってメモを回していく人々の列のようなものです。AさんはBさんにしか話せず、BさんはCさんにしか話せません。彼らは振り返って全体を見たり、グループ全体を一度に見たりすることはできません。

「目」が画像を「脳」に送るとき、「脳」はその情報を一本の線として処理しようとします。この「一方通行」のルールがあるため、情報が列のどこに位置するかによって、情報が歪んでしまうのです。もし猫が列の最後にいる場合、「脳」はその文脈を見失ってしまう可能性があります。

解決策：AGCI（「グローバル・コンテキスト」の注入）

これを修正するために、著者たちは**AGCI（Adaptive Global Context Injection：適応型グローバル・コンテキスト注入）**と呼ばれる、軽量なツールを作成しました。

「脳」が画像のトークン（パズルのピース）を一つずつ処理していく様子を考えてみてください。

AGCIの前： パズルの各ピースは、自分より前にあるピースのことしか知りません。それは、各段落の最初の文章だけを読んで物語を理解しようとするようなものです。
AGCIの後： 研究者たちは、すべてのパズルのピースに「要約メモ」を追加しました。そのメモには、「おい、これは箱の中の猫についての全体像だということを覚えておけ」と書かれています。

この「要約メモ」こそが**グローバル・コンテキスト（全体的な文脈）**です。

もしパズルのピースがすでに明確であれば、メモの内容は控えめになります。
もしパズルのピースが混乱していたり、孤立していたりする場合、メモはより強力になり、全体像を思い出させるように働きます。

重要なのは、これがAIの「脳」を再構築する必要はないということです。これは、AIが思考している間に画像全体を思い出せるようにするための、小さなプラグインや「カンニングペーパー」を追加するようなものです。

結果：効果はあるのか？

研究者たちは、いくつかの人気のあるAIモデルでテストを行いました。結果は以下の通りです。

一貫性： モデルは物体が移動しても混乱しなくなりました。猫が隅にあろうと中央にあろうと、AIは常に正しい答えを出しました。
推論能力の向上： モデルは単純な質問だけでなく、より複雑な質問にも答えられるようになりました。
ハルシネーション（幻覚）の減少： モデルは、猫しかいないのに犬が見えると言うような、架空の詳細を捏造することが減りました。
文字の読み取り： モデルは、画像内のテキスト（看板や本など）の読み取りが非常に上手くなりました。これは、テキストがどこに位置しているかに非常に敏感な部分です。

まとめ

この論文は、大規模なAIモデルが「空間バイアス」を持つ理由が、その「脳」が画像を一本の線として処理し、全体像を見失ってしまうためであることを明らかにしました。彼らは、画像のあらゆる部分にシーン全体の「リマインダー（思い出させるもの）」を与えることで、この問題を解決しました。これにより、AIのアーキテクチャを大規模に作り直すことなく、より信頼性が高く、一貫性があり、正確なものにすることに成功しました。

技術要約：ビジョンエンコーダーを超えて：大規模視覚言語モデルにおける空間バイアスの特定と緩和

1. 問題提起

大規模視覚言語モデル（LVLM）は、マルチモーダルなタスクにおいて顕著な成功を収めているが、空間的な変動に対する堅牢性が不十分である。具体的には、現在のLVLMは、同一の重要な視覚情報が画像内の異なる位置に配置された際に、一貫性のない、あるいは矛盾した出力を生成することが多い。この現象は**空間バイアス（spatial bias）**と呼ばれ、モデルのセマンティックな理解が位置不変（position-invariant）ではなく、特定の空間的嗜好に偏っていることを示唆している。

先行研究では、空間バイアスをオブジェクトの幻覚（hallucination）や、回転位置エンコーディング（RoPE）の長期減衰効果に関連付けているが、本研究は、これらの説明は汎用性に欠け、根本的な意味理解における根本原因に対処できていないと主張する。本論文は、このバイアスはビジョンエンコーダーの知覚能力や符号化能力に起因するのではなく、ビジョンエンコーダーと大規模言語モデル（LLM）バックボーン間のアテンション・メカニズムのミスマッチに起因すると断定している。

2. 手法と分析

A. 空間的堅牢性の系統的なプロービング
空間バイアスを定量化するために、著者らは画像・テキスト一致に基づく制御されたプロービング・データセットを構築した。

データセット構築: LAIONから10,000個の画像・キャプションのペアをサンプリングした。各キー画像に対して、8個のディストラクター（妨害）画像を取得した。キー画像とディストラクターを $3 \times 3$ のグリッド状に配置し、複合画像を作成した。
実験設定: キャプションとディストラクターを一定に保ったまま、キー画像を9つのグリッド位置（ $n=0$ から$8$）に系統的に移動させた。モデルに対し、複合画像の中にターゲットとなる画像が含まれているかどうかを判断する二値の質問を行った。
知見: Qwen2.5-VL、LLaVA-v1.6、InternVL3を含む6つの代表的なLVLMを用いた実験により、異なるグリッド位置間で精度が大きく変動することが明らかになった。特筆すべきは、パフォーマンスがトークン距離と強い相関を示さなかったことであり、これはバイアスが主にRoPEの長期減衰によって引き起こされているのではないことを示唆している。

B. 根本原因の分析
著者らは、バイアスの発生源を特定するために、視覚処理パイプラインを2つのステージに分解した。

知覚ステージ (Eraser Search): マスキング実験を用いた結果、LVLMは空間的な位置に関わらず、重要な領域を一貫して特定できることが確認された。つまり、知覚は空間的に堅牢である。
セマンティック理解ステージ (Vision Encoder): 異なる位置における視覚特徴とテキスト埋め込みの間のコサイン類似度を測定したところ、ビジョンエンコーダーは位置に依存せず、安定したセマンティックに整合した表現を生成していることが判明した。
LLMのボトルネック: 知覚とビジョン符号化の両方が堅牢であることから、バイアスはLLMのクロスモーダル推論に由来する。著者らは、LLMにおける因果的自己アテンション（causal self-attention）メカニズム（トークンが過去のトークンにのみ注意を向ける制約）が、Vision Transformer (ViT) エンコーダーによって確立された双方向のグローバル情報フローを阻害していると仮定している。この阻害により、画像トークンがLLMの層を伝播するにつれて、全体的なグローバル・コンテキストへのアクセスを失い、その寄与が位置に過度に依存するようになる。

C. 提案手法：適応的グローバルコンテキスト注入 (AGCI)
アーキテクチャの変更を行うことなくこれを緩和するために、著者らは、各画像トークンに共有されたグローバルな視覚コンテキストを動的に注入する軽量なメカニズムであるAGCIを提案する。

メカニズム:
1. 全ての画像トークンの平均表現として、グローバルな画像コンテキスト $\tilde{g}$ を計算する。
2. 各画像トークン $\tilde{v}_i$ とグローバルコンテキストとの間のセマンティックな類似度 $w_i$ を計算する。
3. グローバルコンテキストを、 $(1 - w_i)$ に比例する適応的な強度で各トークンに注入する：
  $\tilde{v}'_i = \tilde{v}_i + \lambda(1 - w_i)\tilde{g}$
4. ここで、 $\lambda$ は微細な詳細を保持するための「安全弁」として機能するハイパーパラメータである。グローバルなセマンティック関連性が低いトークンほど、より強力な補完を受ける。

3. 主な結果

A. 空間的堅牢性 (プロービング・タスク)

AGCIは、テストされた全てのモデルにおいて、グリッド位置間の精度分散（ $\Delta$ ）を大幅に減少させた。
初期バイアスが高いモデル（例：LLaVA-v1.6）では、AGCIによって分散が14.93から8.05へと減少し、平均精度は70.82から80.75へと向上した。
より大規模なモデル（例：Qwen2.5-VL-72B）では、AGCIは平均精度を70.12から86.11へと向上させつつ、低い分散を維持した。

B. ダウンストリーム・タスクの性能
AGCIは、軽量なLoRAファインチューニングを用いて、6つのダウンストリーム・ベンチマークで評価された。

複雑な推論 (MMMU-Pro, ScienceQA): AGCIは、特に10選択肢の設定においてパフォーマンスを向上させ、視覚的な手がかりとグローバルな理解のより良い統合を示した。
幻覚ベンチマーク (CRPE, HallusionBench, POPE): AGCIは一般に幻覚の傾向を減少させ、予測の信頼性を向上させた。例えばPOPEにおいて、Qwen3-VLの平均精度は84.51から86.96へと向上した。
OCRタスク (TextVQA): AGCIは強力な利得を示し（例：LLaVA-v1.6で+4.93）、グローバルなコンテキストが分散したテキスト領域を集約するのに役立つことを示唆した。

C. 情報フローの可視化
アテンションマップの可視化により、ベースラインのモデルは位置バイアスにより、しばしば無関係な空間領域（例：左上隅）に集中してしまうことが示された。AGCIを適用した後、アテンションはタスクに関連する領域（例：特定のOCRテキスト）により集中しており、AGCIがバランスの取れたコンテキスト表現を回復させていることが確認された。

4. 意義と主張

本論文は、主に3つの貢献を主張している。

系統的な調査: 同一の視覚的内容の空間的位置によってLVLMの予測が著しく変化することを示す実証的な証拠を提示し、現在の空間理解における決定的な弱点を浮き彫りにした。
根本原因の特定: 空間バイアスの源泉が、LLMの因果的アテンション・メカニズムによるグローバルな画像コンテキストの喪失にあることを特定し、ビジョンエンコーダーやRoPEの減衰が主要な原因ではないことを明確に否定した。
効果的な緩和策: アーキテクチャに依存しない単純な手法であるAGCIを導入し、固有の能力を損なうことなく、空間的堅牢性とダウンストリームの性能を向上させた。

著者らは、AGCIが双方向のビジョン符号化と因果的言語モデリングの間のミスマッチによって生じる不整合を緩和するために、クロスモーダル推論中のグローバルなコンテキストへの安定したアクセスを回復させることで機能することを強調している。本研究は、位置に依存しない堅牢なマルチモーダル理解を実現するためには、グローバルな視覚セマンティクスを明示的に強化することが極めて重要であることを示唆している。