技術的概要：RAVE（大規模マルチモーダルモデルにおける視覚的注意の再配分）

1. 問題提起

LLAVA や QWEN-VL などの大規模マルチモーダルモデル（LMM）は、通常、視覚特徴を言語トークン空間に投影し、デコーダ型のトランスフォーマーを用いて統一されたシーケンス内で処理します。これらは効果的ですが、事前学習された言語バックボーンから継承された自己注意メカニズム（「標準的注意」と呼ばれる）を有しています。著者らは、この継承されたメカニズムがモダリティごとの注意配分に対する明示的な規制を欠いていることを特定し、それが視覚的証拠の活用において以下の 2 つの主要な非最適化形態をもたらすと指摘しています。

• クロスモーダル不均衡: 視覚トークンはブロックとして、テキストトークンに比べて体系的に注意が不足しています。これは、深いデコーダ層において視覚トークンが受け取る注意が減少し、生成される回答トークンが増加するにつれて視覚的注意が漸進的に低下する（「視覚的忘却」または「視覚的希薄化」と呼ばれる）現象として現れます。
• イントラビジュアル不均衡: 視覚ブロック内の注意は不均等に分布しています。視覚的に情報量の少ないパッチ（例：隅、均質な背景）が不釣り合いなほど注意を吸収する（「視覚的シンク」）一方、行優先のフラット化と回転位置埋め込み（Rotary Position Embeddings）に起因する位置バイアスにより、注意が意味的に関連するコンテンツではなく、特定の空間領域に集中する可能性があります。

既存の緩和策は、多くの場合、手作業で設計された推論時のヒューリスティックに依存するか、統合を複雑にするアーキテクチャの再設計を必要とするか、キュレーションされたデータを用いた補助的なトレーニングパイプラインを必要とします。バックボーンアーキテクチャを変更することなく、文脈を認識した注意の再較正を可能にする、最小限で学習可能なメカニズムが必要です。

2. 手法：RAVE

著者らは、標準的な注意に対する「ドロップイン」修正として設計された、軽量なペアゲーティングメカニズムである**RAVE（Re-Allocating Visual Attention：視覚的注意の再配分）**を提案します。RAVE は、視覚的キーに特に関連付けられた事前ソフトマックス注意スコアに、学習されたクエリ - キーバイアスを追加することで動作します。

コアメカニズム

1. ゲーティング信号の源: 回転位置エンコーディング（RoPE）後の特徴を使用する手法とは異なり、RAVE はRoPE 前のクエリ（$\bar{Q}$）とキー（$\bar{K}$）特徴からゲーティング信号を導出します。この選択は、RoPE によって導入される位置減衰バイアスからゲーティング信号を分離し、メカニズムが主にモダリティ条件付きのコンテンツ特徴に依存できるようにすることを意図しています。
2. ペアゲーティングの構築: 各層$\ell$において、RAVE はすべてのクエリヘッドで共有される一対の学習可能な線形射影（$W_{gq}, W_{gk}$）をアタッチします。これらの射影は、RoPE 前の特徴からトークンごとのスカラースコア（$s_q, s_k$）を生成します。ペアごとのゲート$G_{ij}$は、これらのスコアの外積を関数$\phi$を通じてマッピングすることで形成されます。これにより、すべてのクエリ - キーペアに対して文脈を認識した修正が提供されます。
3. 事前ソフトマックス再較正: ゲートは、視覚的キーのみに付加的に注意ログオッズ（$L_{ij}$）に注入されます。
   $$\tilde{L}_{ij} = L_{ij} + \gamma \cdot G_{ij} \cdot \mathbb{1}[j \in I_{img}]$$
   ここで、$\gamma$は再較正の強さを制御し、$\mathbb{1}$は視覚トークンに対する指示関数です。再較正されたログオッズは、その後、標準的なソフトマックス関数に入力されます。
   • このアプローチは、正規化前の注意質量の競合を変更するため、モダリティ間（クロスモーダル）および視覚トークンセット内（イントラビジュアル）の両方で動的な再分配を可能にします。
4. 部分的なヘッド適用: 事前学習されたバックボーンから継承された強力な言語事前知識を乱さないようにするため、RAVE は各グループ化クエリ注意（GQA）グループ内のクエリヘッドの割合（$p$）にのみ適用されます。残りのヘッドは標準的な注意を維持します。著者らは主要な設定で$p=0.25$を使用しています。
5. トレーニング: RAVE は、標準的な次のトークン交差エントロピー損失を用いてモデルの残りとともにエンドツーエンドでトレーニングされ、補助的な教師信号や特殊なデータを必要としません。

3. 主要な貢献

• ボトルネックの特定: 本論文は LMM における標準的な注意を再検討し、非最適な視覚的注意配分（クロスモーダル希薄化とイントラビジュアル不均衡の両方）が、効果的な視覚的グラウンディングのための主要なボトルネックであることを実証的に示しています。
• RAVE メカニズム: 視覚的キーに対する事前ソフトマックス注意スコアを変調する、軽量でアーキテクチャを保存するペアゲーティングメカニズムの提案。これは無視できるパラメータオーバーヘッドで実現されます。
• 実証的検証: RAVE が幅広いマルチモーダルベンチマークで一貫して性能を向上させ、標準的な注意に対して平均約 3 ポイントの改善を達成し、特に視覚的知覚を必要とするタスクで顕著な結果を示すことの証明。

4. 実験結果

著者らは、Mistral-v0.3-7B および Gemma-2-9B バックボーンを使用して多様なベンチマークスイートで RAVE を評価し、標準的な注意および D-Attn（注意経路を分解する手法）と比較しました。

• 視覚的知覚を必要とするタスク: RAVE は、多言語 OCR（MTVQA、OCRBench）、チャート理解（ChartQA）、ドキュメント VQA（DocVQA）、テキスト豊富な VQA（InfoVQA、TextVQA）など、微細な視覚的グラウンディングを必要とするタスクで最も顕著な改善を示しました。例えば、Mistral バックボーンにおいて、RAVE は知覚の平均を 25.05（標準）から 25.93 に向上させ、MTVQA（9.50 対 6.51）および DocVQA（43.55 対 35.85）で顕著な gains を示しました。
• 推論/知識集約的タスク: MathVista、MMMU、MMMU-Pro などのベンチマークでは、RAVE は競争力のある性能を維持し、Mistral バックボーンでは標準的な注意を上回り、Gemma-2-9B では D-Attn と同等の性能を発揮しました。これは、RAVE が継承された推論能力を大幅に乱すことなく視覚的証拠の配分を強化することを示唆しています。
• アブレーション研究:
  • 位置: 事後ソフトマックスまたは乗法的な形式よりも、事前ソフトマックスの付加的な再較正がより効果的であることが示されました。
  • ヘッド比率: 部分的なヘッド比率$p=0.25$が、修正能力と言語事前知識の保持の間の最良のバランスをもたらしました。比率を増加させてもさらなる gains は得られませんでした。
  • 適用段階: 初期表現構築中に質問から視覚への注意を再較正することの重要性を示すため、プレフィルとデコーディングの両方で RAVE を適用することは、デコーディングのみの適用よりも優れていました。

5. 意義と主張

本論文は、RAVE が標準的なトレーニングおよび推論ワークフローとネイティブに互換性のある、文脈を認識した注意配分の再較正を可能にする最小限のドロップインメカニズムを提供すると主張しています。

• メカニズムレベルの修正: 推論時に手作業で設計されたルールで介入するか、アーキテクチャの再設計を必要とする手法とは異なり、RAVE は注意質量の競合に直接対処する、学習可能でエンドツーエンドにトレーニング可能なソリューションを提供します。
• 二重の利益: 視覚的キーに対する事前ソフトマックススコアで動作することで、RAVE は同時にクロスモーダルの誤配分（視覚トークンが注意不足にならないようにすること）とイントラビジュアルの不均衡（情報量の少ない「シンク」からの注意の再分配）に対処します。
• 謙虚さ: 著者らは限界を認め、実験はゼロからトレーニングされたモデルではなく、事前学習された言語バックボーンから構築されたインストラクションチューニング済み LMM で行われたことを指摘しています。さらに、現在の実装は SDDA に依存しており、FlashAttention 様式のコアとの統合はまだ行われていないため、効率性に影響を与える可能性があります。

要約すると、RAVE は、ネイティブな注意演算子内での明示的かつ学習された視覚的注意の規制が、デコーダのみの LMM における視覚的証拠の活用を改善するための効果的な戦略であり、特に精密な視覚的グラウンディングを必要とするタスクにおいて有効であることを示しています。