Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow

論文概要：視覚言語モデル（VLM）における適応的情報フロー（AIF）

1. 背景と課題（Problem）

近年の視覚言語モデル（VLM）は、画像認識や文書解析、視覚的グラウンディングなど多様なタスクで高い能力を示しています。しかし、最近の研究では、VLM が質問に関連する画像領域を「見る（視覚的アテンションで捉える）」ことはできても、必ずしも正しい答えを「知覚（出力）」できないという**「見る（Seeing）」と「知覚（Perceiving）」の不一致**が報告されています。

• 原因の特定: 本研究では、この不一致がデコーディング（生成）過程における最適化されていない情報フローに起因すると仮説を立てました。具体的には、テキストトークンが、回答に必要な証拠となる重要な視覚トークンではなく、背景や無関係な領域の視覚トークンに過度に注意を向けてしまう（アテンションが分散する）ことが、ノイズとなり誤った回答を誘発していることを発見しました。
• 既存手法の限界:
  • 画像の切り抜き（Visual Cropping）：解像度を上げるが、推論時間が大幅に増加し、関係性推論や数え上げタスクには効果が限定的。
  • 再学習（Retraining）：計算コストが膨大。

2. 提案手法：適応的情報フロー（Adaptive Information Flow, AIF）

本研究では、追加の学習（トレーニング）を一切行わず、推論時（Test-time）に因果マスク（Causal Mask）を動的に調整することで、VLM の知覚能力を向上させる手法を提案します。

核心となるアイデア:
テキストトークンがデコーディング中に、重要な視覚トークンにのみ集中し、無関係な領域からの干渉を遮断する。

具体的なステップ:

1. トークンダイナミクスの分析:
   • 視覚トークンとテキストトークンの間のアテンション値を、LLM の各レイヤーで追跡します。
   • 重要なオブジェクト領域に対応する視覚トークンは、特定のレイヤーで明確な活性化パターン（高いアテンション値）を示しますが、無関係な領域のトークンはレイヤー間で不規則な活性化を示すことを発見しました。
2. トークンエントロピーによる重要度判定:
   • 視覚トークンの「トークンダイナミクス（デコーディング過程での変化）」に基づき、エントロピー（乱雑さ）を計算します。
   • 高エントロピー（高乱雑さ）: レイヤー間でアテンション値が不安定＝無関係な背景トークン（重要度が低い）。
   • 低エントロピー（低乱雑さ）: 特定のレイヤーで安定して高いアテンション＝重要なオブジェクトトークン。
3. 適応的マスク生成（Adaptive Masking）:
   • 計算されたエントロピーに基づき、重要度の低い（高エントロピーの）視覚トークンを特定します。
   • 推論時に、これらの「無関係な視覚トークン」と「テキストトークン」の間の接続を、因果マスクを調整することで遮断します。
   • これにより、モデルはノイズとなる背景情報を排除し、質問に関連する重要な画像領域に集中して推論を行うようになります。
4. 実装の効率性:
   • 追加のデコーディングステップが 1 回必要ですが、その後の推論プロセスは通常通りです。計算コストはトークン 1 個の生成時間程度であり、非常に軽量です。

3. 主要な貢献（Key Contributions）

• 推論時の情報フロー制御の提案: 重みの更新なしに、推論時の因果マスクを調整することで VLM の知覚能力を向上させることを実証。
• トレーニングフリーの適応的メソッド（AIF）: トークンダイナミクスに基づくエントロピー測定を用い、どの視覚トークンを遮断すべきかを動的に決定する手法を開発。
• 広範なタスクでの性能向上: 視覚質問応答（VQA）、OCR、視覚的グラウンディング、数え上げ、ハルシネーション（幻覚）など多様なタスクで、ベースラインモデル（LLaVA-1.5, Qwen2.5-VL）を大幅に上回る結果を達成。

4. 実験結果（Results）

代表的なオープンソース VLM（LLaVA-1.5-7B, Qwen2.5-VL-7B）を用いた評価において、以下の結果が得られました。

• 一般 VQA: RealWorldQA や MMStar などのベンチマークで、ベースラインを大幅に上回る精度（例：LLaVA-1.5 で +4.9〜7.9 ポイントの改善）を達成。
• OCR 理解: TextVQA や SeedBench2-Plus において、微細な文字認識タスクでも性能が向上。
• 視覚的グラウンディングと数え上げ: RefCOCO や CountBench において、専門的なグラウンディングモデル（Grounding-DINO）を上回る精度を記録。
• ハルシネーションの低減: POPE データセットにおいて、モデルが存在しない物体を「幻覚」して答える現象が減少し、事実性（Factuality）が向上。
• アブレーション研究:
  • 重要なトークン（低エントロピー）をマスクすると性能が激減し、無関係なトークン（高エントロピー）をマスクすることで性能が向上することが確認されました。
  • 既存のトレーニングフリー手法（ViCrop）や再学習手法（CCA）と比較しても、本手法が優れた性能を示しました。

5. 意義と結論（Significance）

• 新しい視点: VLM の性能向上には、より多くのデータや複雑なアーキテクチャだけでなく、「モデル内部でのマルチモーダル情報の流れ（Information Flow）」を制御することが重要であることを示しました。
• 実用性: 追加の学習コストや推論時間の大幅な増加を伴わず、既存のモデルを即座に強化できるため、実世界への適用可能性が高いです。
• 解釈可能性: アテンションマップの可視化により、マスク適用後にモデルが背景ノイズを排除し、対象物にアテンションを集中させていることが確認できました。

この研究は、VLM が「見る」能力と「答えを導く」能力の間のギャップを埋めるために、推論時の情報経路を動的に最適化するアプローチの有効性を証明した画期的な成果と言えます。