技術サマリー：マルチモーダル大規模言語モデルのための注視アテンション

問題定義

現在のマルチモーダル大規模言語モデル（MLLM）は、視覚入力を処理する際、すべての生成ステップにおいてすべての視覚トークンに一様に注意を払う。この「高密度アテンション」メカニズムは、以下の 2 つの主要な問題を引き起こす：

1. 焦点の希薄化：モデルは、タスクに関連する視覚領域と同様に、無関係な視覚領域も処理してしまう。これにより、意図された記述に関連する領域に注視を動的に固定する人間の視覚知覚の選択的な性質を模倣できない。
2. 計算オーバーヘッド：高解像度の画像や長い動画では膨大になり得る視覚トークンの完全なシーケンスに注意を払うことは、特にキー・バリュー（KV）キャッシュにおいて、計算およびメモリ上の大きな負担を生み出す。

トークン圧縮や KV キャッシュの排除など、これを緩和するための既存のアプローチは、通常、生成開始前に（入力質問からの一回の関連性推定に基づくなど）、どの視覚情報を保持するかを決定する。これらの静的な手法は、微細な詳細を破棄したり、後続の生成ステップで以前に破棄された異なる領域からの情報を必要とする場合に適応できたりしないことが多い。これらは、各デコードステップで視覚領域を動的に選択する能力を欠いている。

手法：注視アテンション

著者らは、生成プロセス中にタスクに関連する視覚領域を選択的に動的に注意を払うことを可能にするメカニズムである注視アテンションを提案する。この手法は、以下の 3 つの中核コンポーネントで構成される：

1. 注視領域と記述子

視覚トークンを平坦なシーケンスとして扱うのではなく、この手法は KV キャッシュからの視覚キーベクトルをコンパクトな注視領域に空間的にグループ化する。

• 分割：視覚キーは、元の空間的（動画の場合は時間的）レイアウトに再整形され、$r_h \times r_w \times r_t$ サイズの領域に分割される。
• 記述子：各領域は、その領域内のキーベクトルを平均プーリングすることで得られる軽量な記述子（$d_g$）によって要約される。これにより、候補セットは完全なトークンシーケンスから領域レベルに削減される。
• 動的ルーティング：各デコードステップ $j$ において、クエリトークン $q_j$ はすべての領域記述子との類似度スコアを計算する。モデルは最も関連性の高い上位 $K$ 個の領域（$G_j$）を選択し、アテンションメカニズムをこれらの選択された領域内のキー・バリューペアにのみ注意を払うように制限する。
• 安定性：ゼロからスパースアテンションを学習することに伴うトレーニングの不安定性に対処するため、プログレッシブな Top-K スケジュールが採用される。トレーニングはすべての領域を選択する高密度設定で開始され、トレーニングの進行に伴って $K$ が徐々に減少する。これにより、モデルは早期のスパースな決定を強制されることなく、識別的なルーティング信号を学習できる。

2. 学習可能なコンテキストトークン

局所化されたアテンションによって引き起こされるグローバルなシーン情報の損失を防ぐため、著者らは学習可能なコンテキストトークンを導入する。

• 学習可能なトークンの小さなセットが、LLM 入力において各画像または動画フレームに付加される。
• これらのトークンは、どの特定の注視領域が選択されるかに関わらず、生成プロセス全体を通じて可視であり続けるコンパクトな要約キー（$K_C$）を形成する。
• これにより、モデルは局所的な領域に対する微細で選択的なアテンションを実行しながら、シーン全体を把握するホリスティックな視覚的認識（グローバルコンテキスト）を維持することが保証される。これは、人間が詳細に焦点を当てる前にシーン全体を知覚する様子に類似している。

3. 統合アテンション定式化

最終的なアテンションメカニズムは、任意のクエリに対して 3 つのソースからのキー・バリューペアを組み合わせる：

1. テキストトークン。
2. グローバルコンテキストトークン（$K_C$）。
3. 動的に選択された注視領域からの視覚トークン（$K_{selected}$）。

この定式化により、モデルは言語的な一貫性とグローバルな視覚的認識を維持しつつ、視覚計算予算の大部分をタスクに関連する領域に割り当てることができる。

主要な貢献

• 動的選択的アテンション：事前に計算された重要度スコアに基づいて視覚アテンションを固定する先行手法とは異なり、注視アテンションは、生成中のテキストの進化するニーズに適応し、すべての生成ステップでクエリを関連領域にルーティングする。
• グローバル損失なしの効率性：この手法は、学習可能なトークンを通じてグローバルコンテキストを保持しながら、領域のサブセットにアテンションを制限することで、トークン圧縮や静的排除手法で一般的である詳細の「ぼやけ」や「破棄」を回避しつつ、大幅な計算節約を実現する。
• 創発的な注視行動：モデルは、明示的な注視監視なしに、次のトークン予測のみを通じて、生成されるトークンの主題に一致するように「注視」をシフトすることを学習する（例：「dog」という単語を生成する際に犬に焦点を当てる）。

結果

著者らは、高密度アテンションのベースラインおよび既存の KV キャッシュ排除手法（InfiniPot-V、HERMES など）と比較して、13 の画像および 6 の動画理解ベンチマークで注視アテンションを評価した。

• 性能：注視アテンションは、すべてのベンチマークにおいて高密度アテンションのベースラインと同等かそれ以上の性能を示す。場合によっては、KV キャッシュサイズが大幅に削減されていても、ベースラインを上回る。
• 効率性：この手法は、アテンション計算に関与する視覚 KV エントリの数を最大**90%**削減する。
  • 画像タスクでは、高密度アテンションの FLOPs の約 16% だけで性能を維持する。
  • 動画タスクでは、同じ KV 予算に制約された高密度アテンションベースラインを上回る。
• 排除手法との比較：既存の排除手法（InfiniPot-V、HERMES）は、生成開始後に選択を適応できないため、特に単一画像設定において KV キャッシュサイズを積極的に削減すると、性能が大幅に低下する。一方、注視アテンションは、同程度またはより積極的な圧縮下でも堅牢性を維持する。
• 可視化：アテンションマップの可視化は、高密度アテンションが拡散した曖昧なパターンを生み出すのに対し、注視アテンションは関連するオブジェクトに焦点を当てた、集中した解釈可能なアテンションパターンを生成することを確認する。

意義と主張

本論文は、MLLM に関連する視覚領域を選択的に注意を払うことを可能にすることが、高密度アテンションに対する有望な代替手段であると主張する。現在の生成ステップに基づいて焦点を動的にシフトするという人間の注視行動を模倣することで、注視アテンションは以下の道筋を提供する：

1. 計算コストの削減：性能を犠牲にすることなく、FLOPs およびメモリ使用量を大幅に削減する（アテンション FLOPs で約 80%、KV キャッシュメモリで約 80% の削減）。
2. 解釈性の向上：生成されたテキストのセマンティックな内容と整合する集中したアテンションマップを生成する。
3. 適応性の強化：静的で事前に計算された視覚選択の限界を克服し、モデルが生成の異なる段階で異なる視覚詳細にアクセスすることを可能にする。

著者らは、このアプローチが、通常テキスト向けに研究される効率的なアテンションメカニズムと、マルチモーダル理解のための選択的視覚アテンションの間のギャップを埋め、処理される視覚コンテキストの一部分で高い性能を達成し得ることを実証していると指摘している。