技術要約：大規模視覚言語モデルにおける複数画像理解におけるクロスイメージ情報漏洩の軽減

問題提起

大規模視覚言語モデル（LVLM）は、単一画像のタスクでは高い性能を示す一方で、複数の画像を同時に処理する際には能力が著しく低下します。先行研究でもこの性能低下は指摘されてきましたが、その根本的なメカニズムについては十分に解明されていませんでした。

著者らは、**クロスイメージ情報漏洩（cross-image information leakage）**と呼ぶ特定の現象を経験的に特定しました。複数画像の状況下では、モデルの視覚的表現が絡み合い、異なる画像からの視覚的手がかりを独立して解釈するのではなく、それらを混合してしまう現象が発生します。論文の動機として示されている例では、（例えば、黄色いチューリップがある画像と赤いバラがある画像の2枚が提示された際）最初の画像に関するクエリに対して、モデルは対象を分離することに失敗します。正しい選択肢（「黄色いチューリップ」）を選ぶ代わりに、誤った統合された選択肢（「黄色いチューリップと赤いバラ」）を選択してしまいます。

この漏洩は、複数の画像を連結された視覚トークンのシーケンスとして標準的に処理することに起因します。画像間の因果的アテンション・メカニズムによって、異なる画像からのトークンが強く相互作用し、潜在的な表現が混ざり合うことで、ターゲットではない画像の内容が回答を汚染するというハルシネーションを引き起こします。

また、各画像を独立して処理し、結果を集計するという素朴な解決策は、複雑な複数画像推論タスクに不可欠な画像間の関係性（比較や相互参照など）を犠牲にしてしまうため、機能しないことも論文内で指摘されています。

手法：FOCUS

追加の学習やアーキテクチャの変更を必要とせずにこの課題に対処するため、著者らはFOCUSを提案しています。これは、学習を必要としない、アーキテクチャに依存しない推論手法です。この手法は、LVLMが単一の画像に対しては良好に推論できるという観察に基づき、マルチイメージ入力の相対的な位置関係（positional context）を維持しつつ、一度に一つの画像に集中するようにモデルを導くことを目的としています。

FOCUSは、以下の3つの連続したステップで構成されます。

1. 視覚的マスキング（Visual Masking）:
   $N$ 個の入力画像セットに対し、手法は$N$ 個の部分的にマスクされた入力と、1 つの完全にマスクされたリファレンスを生成します。

   • 各ターゲット画像 $I_i$ について、他のすべての画像 $I_j$ ($j \neq i$) はランダムなノイズ（スケール $\lambda$）で破損させ、一方で $I_i$ はクリーンな状態を維持します。
   • すべての画像が破損した、完全なノイズマスク入力（$I_{noise}$）も作成します。
   • これにより、元の画像の順序を維持しながら、各フォワードパスにおいてモデルが単一のクリーンな画像に主に注意を向けるよう強制します。

2. 画像ごとのフォーカス推論（Image-wise Focused Inference）:
   モデルは、$N$ 個の各部分的にマスクされた入力に対して推論を行い、各ターゲット画像 $I_i$ に対するロジット分布 $\ell_i$ を取得します。さらに、完全にマスクされた入力を用いて、ノイズリファレンス・ロジット分布 $\ell_{noise}$ を計算します。このステップは、結合されたコンテキスト内において、特定の画像に焦点を当てた際のモデルの推論を捉えます。

3. 対照的集計（Contrastive Aggregation）:
   最終的な出力は、残留するノイズのアーティファクトを抑制しながら、フォーカスされたロジットを集計することで導出されます。使用される公式は以下の通りです：
   $$\ell_{final} = \sum_{i=1}^{N} (\ell_i - \alpha \cdot \ell_{noise})$$
   ここで、$\alpha$ は検証を通じて調整されるハイパーパラメータです。ノイズリファレンス（$\ell_{noise}$）を減算することで、マスク後も残存する不純な視覚信号を分離・除去し、最終的な予測がノイズ誘発によるアーティファクトではなく、クリーンな画像内容に依存するようにします。

主な貢献

• クロスイメージ情報漏洩の特定: 本論文は、複数画像の性能低下が、視覚的表現の絡み合い（entanglement）と密接に関連しており、それが統合された誤った回答を招いていることを経験的な証拠とともに示しています。
• FOCUS手法: ノイズマスキングと対照的ロジット集計を用いることで、画像間の関係性を保持しつつ、情報の混ざり合いを防ぐ、学習を必要としない新しい推論戦略を提案しています。
• 汎用性: この手法は、多様なLVLMファミリー（InternVL3, Qwen2.5-VL, LLaVA-OneVision, Qwen3-VL）およびスケール（7B未満から30B超まで）において有効であることが示されています。
• ビデオ理解への拡張: 著者らは、FOCUSが静的な複数画像入力を超えてビデオ理解タスク（Vinoground）にも一般化できることを示しており、このメカニズムが時間的および逐次的な視覚推論における根本的な問題に対処していることを示唆しています。

実験結果

著者らは、5つのマルチイメージ・ベンチマーク（Winogند (Winoground), VisMin (Easy/Hard), Mantis-Eval, MuirBench, MIRB）でFOCUSを評価しました。

• 性能向上: FOCUSは、マルチイメージ推論能力を直接反映するImage Score (I) および Group Score (G) を一貫して向上させましたが、Text Score (T) はほとんど変化しませんでした。
  • Winoground では、Image Score で最大 +18.8、Group Score で最大 +16.8 の向上が見られました。
  • VisMin-Easy では、InternVL3-2B が Image Score を 29.96 から 74.33 へと大幅に向上させるなど、顕著な改善が見られました。
  • Mantis-Eval では、精度が最大 +5.5 パーセントポイント向上しました。
  • MuirBench および MIRB においても、一貫した、ただし小規模な向上が観察されました。
• 代替手法との比較: FOCUSは、以下の代替アプローチを上回る性能を示しました：
  • 独立処理（Independent Processing）: 画像を個別に処理してテキストを連結する手法ですが、これは画像間の関係性を捉えることに失敗しました。
  • 従来の対照的デコーディング（VCD）: 単一画像用に設計された標準的な対照的手法は、マルチイメージ設定では性能が低下しました。
  • SoFA: 位置バイアスを対象とした手法ですが、一貫した性能向上は見られず、位置バイアスと情報漏洩は異なる問題であることが示されました。
• アブレーション研究: ノイズ注入またはノイズリファレンスの減算ステップのいずれかを取り除くと、性能が著しく低下したため、両方のコンポーネントが不可欠であることが確認されました。
• レイテンシ: この手法は、中程度のレイテンシオーバーヘッド（$N$ 枚の画像に対して $N+1$ 回の推論パスが必要）を導入しますが、著者らはこれを精度向上のための正当なトレードオフであると述べています。

意義と主張

本論文は、FOCUSがマルチイメージ推論を強化するための実用的かつ汎用的な推論時のソリューションを提供すると主張しています。クロスイメージ情報漏洩を経験的に特徴付け、再学習なしでこれを軽減する方法を提供することで、現在のLVLMにおける決定的な限界に対処しています。

著者らは、自身のアプローチが以下の特性を持つことを強調しています：

1. 追加の学習データやアーキテクチャの変更を必要としない。
2. 幅広いモデルサイズおよびファミリーにわたって機能する。
3. ビデオ理解へと拡張可能であり、視覚的絡み合いの問題が静止画に限定されないことを示唆している。
4. ユーザーが複数の画像を同時に提供する実世界のアプリケーションにおいて不可欠な、マルチイメージ推論の信頼性を向上させるための一般的な解決策を提供する。

論文は、FOCUSは大幅な性能向上をもたらすものの、情報の検索（retrieval）がボトルネックとなるような、長文脈（long-context）や検索重視のタスクに対する万能薬ではないと結論付けています。しかし、複数の視覚的入力を統合・比較する必要があるタスクにおいては、FOCUSは強力な強化手段となります。