技術サマリー: APB-V

問題提起

大規模マルチモーダルモデル（LMM）における長尺ビデオ推論の効率性は、依然として極めて重要なボトルネックとなっています。ビデオの長さが増すにつれてフレーム数が増加し、視覚エンコーダーのバッチサイズが大きくなり、生成される視覚埋め込み（visual embeddings）の数が大幅に増加します。LLMバックボーンのアテンション層は、入力長に対して二次関数的な複雑性（$O(n^2)$）を示すため、これらの追加された埋め込みは入力シーケンスを劇的に長くし、推論速度の低下と計算コストの増大を招きます。

既存の解決策は、大きく分けて以下の2つのカテゴリーに分類されますが、どちらも限界に直面しています：

1. 内在的アテンション最適化（Intrinsic Attention Optimization）: LLM内のアテンションメカニズムを最適化したり、Key-Value (KV) キャッシュサイズを削減したりする手法。これらは、視覚エンコーダーおよびフィードフォワードネットワーク（FFN）の計算コストに対処できません。
2. 明示的な入力削減（Explicit Input Reduction）: トークンプルーニングやプーリングを通じて視覚埋め込みを圧縮する手法。これらはシーケンス長を短縮するには効果的ですが、多くの場合、微細なビデオの詳細を犠牲にしてしまい、大幅な性能低下（例：いくつかのケースで約25%の精度低下）を招き、品質を損なうことなく満足のいく効率向上を実現することができません。

シングルGPUのアプローチでは、効率性と性能のトレードオフを克服することが困難であり、複数のGPUを活用しながら二次関数的な複雑性を抑制するスケーリング次元が必要とされています。

手法: APB-V

著者らは、複数のGPU（ホスト）にわたる長尺ビデオ推論を加速するために設計された、シーケンス並列性を考慮した近似アテンションフレームワークであるAPB-Vを提案しています。このフレームワークは、以下の3つのコアコンポーネントを統合しています。

1. フレームワーク設計

• フレーム並列性（Frame Parallelism）: LONGVILAに着想を得て、視覚エンコーダーはビデオフレームを独立して処理します。APB-Vは、高い計算強度を処理するために、これらのフレームを複数のホストに分散させます。
• コンテキスト分割とZigZag配置（Context Splitting & ZigZag Arrangement）: 入力埋め込みは、アンカーブロック（$B_a$）、クエリブロック（$B_{qr}$）、およびコンテキストブロック（$B^{(h)}$）に分割されます。デコーダーのみのモデルにおいて、初期のトークンが後半のトークンよりも多くのコンテキストにアテンションを向けるという不均衡に対処するため、APB-VはZigZagスタイルの配置を採用しています。これにより、物理ホストを仮想ホストのペア（例：ホスト $h$ と $2H-1-h$）にマッピングし、アテンション計算の負荷を均等にします。
• 近似アテンションメカニズム（Approximate Attention Mechanism）: すべてのトークンに対して高密度なアテンションを計算する代わりに、APB-Vは局所的なKVキャッシュ圧縮戦略を使用します。
  • アンカーブロック: 固定された初期セグメントの埋め込み。
  • パッシングブロック（Passing Blocks）: 各ホストについて、クエリ対コンテキストのアテンションスコアを介して、前のホストからの最も重要なKey-Valueペアを特定し、「パッシングブロック」へと集約します。
  • 計算: アテンションは、アンカー、ローカルのコンテキスト、集約されたパッシングブロック、およびクエリに対して計算されます。決定的なのは、全セットの視覚埋め込みが保持されること（入力削減を行わない）ですが、ホスト間の通信は不可欠なKVペアのみに圧縮されます。

2. システムレベルの最適化

効率を最大化するために、APB-Vは4つの具体的なシステム最適化を組み込んでいます。

• 視覚負荷分散（Visual Load Balancing）: ビデオのエンコーディング段階でのボトルネックを防ぐため、フレームを仮想ホストに均等に分散させます。
• 融合されたコンテキストおよびクエリ・フォワード（Fused Context and Query Forward）: コンテキストとクエリを個別に処理する従来の手法（短いクエリではメモリ帯域がボトルネックになりやすい）とは異なり、APB-Vはこれらを単一のフォワードパスに融合し、FlashAttentionのlse（log-sum-exp）出力を使用して部分的なクエリ結果を結合します。
• 近似アテンション負荷分散（Approximate Attention Load Balancing）: ZigZagマッピングにより、パッシングブロックの総長が物理ホスト間でバランスよく保たれ、不均一なワークロードを防ぎます。
• オーバーラップされた通信（Overlapped Communication）: パッシングブロックと部分的なクエリアテンション結果の転送は、アテンション計算と並行して実行され、通信レイテンシを隠蔽します。

主な貢献

1. APB-Vフレームワーク: ローカルKVキャッシュ圧縮と分散近似アテンションを利用したシーケンス並列フレームワークの導入。これは、入力の圧縮を回避しながら計算量を削減することで、効率と性能のバランスを実現します。
2. システム最適化: 負荷分散戦略と、通信が計算と完全にオーバーラップする2段階のアテンションメカニズムを設計し、マルチGPU推論のポテンシャルを大幅に引き出しました。
3. 包括的な評価: APB-Vが、既存のベースラインと比較して、性能と効率の最適なトレードオフを実現していることを示す広範なベンチマークを実施しました。

実験結果

著者らは、InternVL3-2B、Qwen2.5VL-3B、およびQwen2.5VL-7Bを含むモデルを用いて、LongVideoBenchおよびVNBench上でAPB-Vを評価しました。

• 性能: APB-Vは、フルアテンション（FULLATTN）と比較して、ほぼ損失のない精度を達成しています。近似アテンション手法（APB、STARATTN、XATTNなど）や、大幅な精度低下（例：SLOWFASTは約25%低下）を伴うトークンプルーニング手法（SLOWFAST）よりも優れた性能を示しています。
• 高速化: APB-Vは、ベースラインに対して大幅な高速化を実現しています。
  • FLASHATTNよりも 12.72倍 高速。
  • ZIGZAGRINGよりも 1.70倍 高速。
  • APBよりも 1.18倍 高速。
    これらの利得は、特に高解像度（1440p）および長尺ビデオのシナリオで顕著です。
• スケーラビリティ: 本フレームワークは、異なるホスト数（$H \in \{2, 4, 6, 8\}$）にわたって安定したタスク精度を維持し、InfiniBand（IB）のボトルネックによって相互グループ間通信が制限される場合でも、他の手法と比較して最小限の性能低下を示し、堅牢性を実証しました。

意義と主張

本論文は、APB-Vが計算能力をスケールさせつつ二次関数的な複雑性を抑制することで、長尺ビデオ理解への有望な経路を提供すると主張しています。複数のGPUに近似アテンションを分散させることで、本フレームワークは、トークンプルーニング手法で失われがちな微細なビデオの詳細を保持するために、入力の圧縮を必要とすることなく、より多くの視覚埋め込みを処理することを可能にします。

著者らは、APB-Vが監視や自動運転のように、長尺ビデオによって生成される膨大なトークル量によりシングルGPU推論が不可能となる、**エンドツーエンドの時間（Time-to-First-Token, TTFT）**に制約されるシナリオ向けに特別に設計されていることを強調しています。本研究は、適切に設計された並列化とシステム最適化を用いることで、典型的なトレードオフであるモデル性能の低下を伴わずに、大幅な加速を実現できることを示しています。

限界事項: 著者らは、APB-Vが現在、デコーダーのみのTransformerベースのLMMおよびマルチGPU推論に限定されていることを注記しています。これは畳み込みニューラルネットワークとは互換性がなく、シングルGPU上では標準的なFlashAttentionに退化し、利点が得られません。