技術要約: LongVU-TTT

問題提起

長尺ビデオを用いたマルチモーダル大規模言語モデル（MLLM）は、根本的なボトルネックに直面している。ビデオの長さが増加するにつれて、視覚トークンの数は線形に増加するが、LLMにおける自己注意（self-attention）の二次的な計算複雑性は、長いシーケンスの処理を計算量的に極めて困難にする。既存の圧縮戦略（空間プーリング、トークン・マージング、または差分ドロップなど）は、通常、フレームレベルの特徴量を、時間的な変化を明示的にモデリングする前に圧縮してしまう。その結果、これらのモデルは、何がフレーム間で変化したのかという原理的な理解なしに情報を圧縮してしまうことが多い。さらに、状態空間モデル（SSM）のような再帰的アーキテクチャは、時間的な伝播を提供するものの、その平坦化されたシーケンス演算子は、Vision Transformer（ViT）エンコーダのグローバルな表現を補完する2D局所近傍の相互作用を明示的にエンコードすることには失敗している。

手法: LongVU-TTT

著者らは、ViTエンコーダとLLMの間に専用の畳み込みTest-Time Training（TTT）リサンプラーを挿入したビデオMLLMであるLongVU-TTTを提案している。このアーキテクチャは、圧縮を行う前に、時間的なコンテキストで表現を豊かにするためにフレームを再帰的に処理する。

コアコンポーネント

1. 畳み込みTTTリサンプラー (TTT-Conv):

   • 高速重み（fast weights）としてMLPベースの形式や平坦化されたシーケンスを使用する従来のTTT研究とは異なり、LongVU-TTTは高速重みをグループ化された2D畳み込みとしてパラメータ化する。これにより、時間的な伝播の間、フレーム特徴量の空間構造（$H \times W$）を保持することができる。
   • このレイヤーは、**因果的高速重み更新（causal fast-weight updates）**を採用している：各フレームに対して、隠れ状態（高速重み）は先行するフレームのみに基づいて更新される。
   • 更新ルールは、現在のフレームの値投影と、現在の高速重みによって生成されたマッピングとの間の、自己教師ありのアライメント損失（$\mathcal{L}$）を最小化する。
   • 並列因果的実体化（Parallel Causal Materialization）： 因果的な順序付けとGPUの効率性のバランスを取るため、著者らは、チャンク内の各フレーム内で生の勾配を独立して計算し、その後、プレフィックスサム（prefix sums）を介して集計することで、重みの状態を同時に実体化する戦略を用いている。これは、非同期アクティベーション・チェックポインティングによって管理される、計算量とアクティベーションメモリのトレードオフである。

2. サリエンシー駆動型ハイブリッド・フレーム選択:

   • 内部ループの最適化は、補助的な学習済みスコアラーを必要とせずに、自然な重要度の指標として機能する勾配信号を生成する。
   • 2つの信号が抽出される：
     • 勾配方向の変化 ($G_t$): 連続するフレーム間の高速重みの勾配間のコサイン距離を測定し、シーンレベルの変化を検出する。
     • アライメント損失のデルタ ($R_t$): アライメント損失の正の増加を測定し、シーン内のイベントレベルの変化を検出する。
   • ハイブリッドセレクターは、これらの信号を（$\alpha=0.4$で重み付けして）一様サンプリングと組み合わせる。最もサリエンシーの高いフレーム（「ハイライトセット」）をトップ$k$として保持し、残りの予算を時間的なカバレッジを確保するための一様サンプリングフレーム（「ユニフォームセット」）で埋める。

3. システム最適化:

   • シーケンス並列化なしで40GB GPU上で512フレームの学習を可能にするため、著者らは以下を実装した：
     • バッチタイル型ViT処理: ViTのフレームバッチを独立したタイルに分割し、最終的なタイルまでZeRO-3の勾配reduce-scatterを遅延させる。
     • 非同期CPUアクティベーション・オフローディング: フォワードパス中にアクティベーションをCPUメモリに転送し、バックワードパス中にそれらを非同期にプリフェッチすることで、通信と計算をオーバーラップさせる。

主な貢献

1. アーキテクチャの革新: ビデオ特徴量をLLMの視覚トークン・ボトルネックの前にコンテキスト化するために、グループ化された2D重みを適応させる因果的高速重み更新を備えた、畳み込みTTTリサンプラー。
2. 選択メカニズム: 勾配方向の変化とアライメント損失のデルタを利用して、補助モデルなしでシーン遷移と視覚的変化を保持する、サリエンシー駆動型のハイブリッド・フレームセレクター。
3. 制御実験: プロジェクター段階における様々な時間的演算子（Transformer、Gated DeltaNet、Mamba2、TTT-MLP）の系統的な比較を行い、因果的更新順序と明示的な2D局所処理が重要な設計上の選択であることを示した。
4. 診断的洞察: プロジェクターの高速重みが、エピソード記憶の信頼できるストアではなく、**時間的集約器（temporal aggregator）**として機能するという証拠を示す。その恩恵は、証拠がより遠くなった場合に減衰するため、長期的な推論のために明示的なフレームの保持が動機付けられる。

実験結果

モデルは5つのベンチマーク（MLVU, LongVideoBench, Video-MME, NExT-QA, LVBench）で評価された。

• パフォーマンス: LongVU-TTTは最大512フレームを処理し、それらを128のLLMフレームに圧縮する。すべての5つのベンチマークにおいて競争力のある性能を発揮し、最も近い訓練ベースラインであるLLaVA-Videoをすべてにおいて上回った。
  • MLVUにおいて、TTT-Convは制御された条件下で、TTT-MLPに対して**+2.12**、双方向Mamba2に対して**+3.04**向上した。
  • 3つのベンチマークにおいて、アテンションベースおよび固定状態の再帰的リサンプラーを上回った。
• アブレーションによる知見:
  • 因果的 vs 非因果的: 因果的更新の方が優れている。
  • 2D vs 1D: 2Dグループ化畳み込み（TTT-Conv）は、1D MLP形式（TTT-MLP）よりも優れている。
  • 状態保持: チャンクをまたいで高速重み状態を保持することは性能を向上させるが、毎フレームリセットしたり、シャッフルされたグリッドを使用したりすると、その利点は減少する。
  • 選択: ハイブリッド選択戦略（勾配信号と一様サンプリングの組み合わせ）は、ランダム、一様、または単一信号の選択手法よりも優れている。
• 効率性: システム最適化により、40GBハードウェアでの最大訓練フレーム数が4倍に拡張され、64個のGPUを用いた場合の標準的なベースラインと比較して、訓練ステップのレイテンシが最大2.23倍削減された。

意義と主張

本論文は、自身の貢献を、あらゆるヘテロジニアスなモデルに対する新しい最先端技術（SOTA）としてではなく、ビデオMLLMのプロジェクター段階におけるTTTの制御された研究として控えめに位置づけている。

• 時間的集約 vs エピソード記憶: 中心的な発見は、高速重み状態が信頼できる長期のエピソード記憶ではなく、時間的集約器として機能することである。証拠とクエリの間の時間的隔たりが大きくなるにつれて、高速状態の恩恵は減少する。したがって、モデルは長期的な推論のために、明示的なフレーム保持（ハイブリッドセレクター経由）に依存しており、TTTレイヤーは主に選択の前に特徴をコンテキスト化するために使用される。
• 設計原則: 2D空間構造を保持し、因果的な更新順序を強制することが、プロジェクター段階の有効な時間的モデリングにとって不可欠であることを本研究は強調している。
• スケーラビリティ: 提案されたシステム最適化は、専用の分散アテンション・インフラストラクチャやシーケンス並列化を必要とせずに、長尺ビデオ訓練（最大512フレーム）が一般的な40GBハードウェア上で実現可能であることを示している。

著者らは、LongVU-TTTが、外部の類似度メトリクスに頼ることなく、時間的伝播の副産物として視覚的変化を捉えることで、直接的にTTT内部ループの更新から圧縮信号を導き出し、時空間的な冗長性に効果的に対処していると結論付けている。