技術概要：Logit-Attention 発散：注意誘導型較正による多画像検索における位置バイアスの軽減

1. 問題定義

マルチモーダル大規模言語モデル（MLLMs）は、複数の画像を含むクロスモーダル検索タスクにおいて強力な能力を示しています。しかし、これらのモデルは深刻な位置バイアスに悩まされており、予測精度は画像のセマンティックな関連性ではなく、入力順序によって支配されています。

• 現象: 多画像検索タスク（例：$N$ 個の候補から正しい画像を選択する）において、MLLM は視覚内容に関係なく、特定の位置（例：7 番目）に対して非合理的な好意を示し、他の位置を無視します。これにより性能が劇的に変動します。正解が好まれる位置に一致すれば精度は約 99% に達しますが、無視された位置にあれば 0% に崩壊します。
• 根本原因: このバイアスは、大規模言語モデル（LLMs）から継承された自己回帰アーキテクチャに由来します。時間的 positional encoding や因果的アテンションマスクはテキスト生成には有益ですが、非時間的な視覚シーケンスに適用されると意図しない構造的非対称性を導入し、予測を入力順序に極めて敏感にします。
• 既存手法の限界:
  • プロンプティング: インストラクションベースまたは思考連鎖（CoT）プロンプティングは、このバイアスの動的な性質に適応できません。
  • 静的較正: PriDe などの手法は、位置バイアスが静的でコンテンツに依存しないオフセット（グローバルな事前分布）であると仮定します。しかし、実証分析により、MLLM におけるバイアスは条件付きであり、ターゲットの位置に基づいて動的に変化することが明らかになりました。静的な事前分布はこの条件付きの曖昧さを解決できません。

2. 主要な洞察：Logit-Attention 発散

実証分析を通じて、著者らはLogit-Attention 発散と呼ばれる重要な現象を特定しました。

• 観察: MLLM はしばしば「正しい答えを見ている」（内部アテンションマップは関連する視覚証拠とよく整合している）にもかかわらず、「間違った答えを言う」（出力ロジットは位置事前分布によって強くバイアスされている）ことがあります。
• 示唆: 失敗はセマンティックな知覚ではなく、意思決定の較正にあります。デコード段階における強力な構造的事前分布が、正しい内部特徴を上書きし、正確な視覚的グラウンディングにもかかわらず誤った予測をもたらします。

3. 手法：注意誘導型バイアス除去

本論文は、内在的なアテンション信号を利用して位置バイアスを補正する学習不要の推論時フレームワークを提案します。この手法には最小限の較正セット（例：5 サンプル）と無視できる計算オーバーヘッドのみが必要です。

3.1. 条件付きバイアス推定

グローバルな静的事前分布の代わりに、この手法は対話的統計アプローチを用いて条件付き位置バイアスを推定します。

• 対称化較正: 候補画像と正解インデックスの循環置換を通じて小さな較正セットを構築します。これにより、正解がすべての位置を均一に通過することが保証されます。
• 分解: 観測された生成確率は、位置依存のバイアス項（$P_{bias}$）とターゲット固有の視覚信号（$P_{vis}$）の積としてモデル化されます。
• 推定: 置換全体にわたる観測確率の比率を分析することで、正解の位置に条件付けられた構造的バイアス成分を分離します。

3.2. 注意事前分布推定

生のアテンションスコアも「アテンションシンク」などの構造的アーティファクトによって交絡されていることを認識し、この手法は静的な注意事前分布を推定します。

• 対称化された較正セット全体での平均アテンション分布を計算し、アテンションメカニズム自体の背後にある構造的バイアスを捉えます。
• この事前分布は、推論中に視覚証拠を較正するための基準として機能します。

3.3. 推論時補正

バイアス除去プロセスは、ベイズ的なフレームワークに倣います。

1. 適応的層選択: モデルは、候補画像に割り当てられたアテンション確率の合計（視覚証拠の強さ）が最も高い上位-$K$ 個の Transformer 層を特定し、最も情報量の多い信号を抽出します。
2. 内在的視覚証拠の取得: 選択された層からの生アテンションスコアから、静的な注意事前分布を（対数ドメインで）除去して補正し、モデルが正解の位置について持つ真の信念を表す精製された視覚事後分布（$\pi$）を生成します。
3. 期待バイアス補正: 推論中は真の正解が潜在しているため、この手法は推定された視覚事後分布$\pi$上で事前計算された条件付きバイアスプロファイルを周辺化することで、動的な混合事前分布を構築します。
4. 最終較正: 推定された動的事前分布を生の出力ロジットから減算し、最終予測のための内在的視覚確率を回復します。

4. 実験結果

この手法は、3 つの MLLM バックボーン（Qwen2.5-VL-3B、LLaVA-OneVision-8B、InternVL3-8B）を用いた MS-COCO ベースのベンチマークで、ランダムおよび敵対的（ハードネガティブ）設定下で評価されました。

• 性能向上: 提案手法は最先端の性能を達成し、ベースライン（Vanilla、PriDe、Self-Consistency など）と比較して40% 以上の精度向上を実現しました。
  • LLaVA-OneVision（N=4、ランダム）では、精度が 67.52%（Vanilla）から**98.66%**に向上しました。
  • 敵対的設定では、49.56% から**71.06%**に向上しました。
• 置換不変性: この手法は Recall 標準偏差（RStd）を劇的に減少させ、一貫性（Cons.）を増加させ、予測が入力順序ではなく視覚証拠によって駆動されていることを示しました。
• スケーラビリティ: 候補プールサイズ（$N$）が 2 から 12 に増加するにつれて、この手法はより緩やかな減少で高い精度を維持するのに対し、ベースラインは急速な劣化を被ります。
• 汎化性: このアプローチは、タスク固有の再較正なしに、ドメイン（Flickr8k から MS-COCO へ）および難易度レベル（ランダムから敵対的へ）を超えて効果的に汎化します。
• 効率性: この手法は単一のフォワードパス内で動作します。対話的バイアス推定とアテンション抽出によるわずかなレイテンシオーバーヘッドはありますが、アンサンブル手法の高コストを回避します。

5. 意義と主張

本論文は以下の貢献と意義を主張します。

• Logit-Attention 発散の特定: 既存のロジットレベル較正手法の根本的な限界を明らかにし、出力がバイアスによって汚染されていても、内部アテンションはしばしばセマンティックに整合したままであることを示しました。
• 学習不要フレームワーク: モデルの再学習を必要とせず、最小限の較正データ（5 サンプル程度）で済む実用的な注意誘導型バイアス除去メカニズムを導入しました。
• ロバスト性の回復: この手法は多画像検索における置換不変性を効果的に回復させ、MLLM が構造的デコード事前分布によって現在マスクされている潜在的な視覚知覚能力を有していることを示唆しています。
• 広範な含意: 特定の MLLM ベンチマークで報告されている低い精度は、真の能力の限界ではなく位置バイアスを反映している可能性があり、モデルは内部的に「正しい答えを見て」いるが、それを表現することに失敗していることを示唆しています。

この研究は、複雑な多画像コンテキストにおける MLLM のロバスト性を強化するための、内部アテンションメカニズムの未開拓の可能性を浮き彫りにしています。