技術概要：LookWhen – いつ、どこ、何を計算するかを学習することによる高速動画認識

1. 問題提起

トランスフォーマーは動画認識における支配的なアーキテクチャとなり、動画を数千のトークンに分割する。しかし、その計算コストはトークン数に対して超線形にスケールするため、長動画の処理において重大なボトルネックとなっている。動画には相当量の冗長性（一部のトークンは冗長であり、他は周囲から推論可能）が含まれているが、標準的なトランスフォーマーは必要性に関わらずすべてのトークンを処理する。既存の適応的計算手法は、中間層でトークンをマージするか、アーティファクトや無関係なノイズを含む可能性のあるアテンションマップに依存しており、精度を犠牲にしたり、GPU に非友好的な操作による高い実行時オーバーヘッドを招いたりすることなく、完全な疎性を活用できていない。

核心的な課題は、動画認識を 3 つの明確な学習タスクに因数分解することである：

1. いつ（When）： 処理すべき時間的瞬間を決定する。
2. どこ（Where）： 処理すべき空間的位置を特定する。
3. 何（What）： 抽出すべき表現を定義する。

これには、出力表現に責任を持つ入力トークンを迅速に分離して効率を向上させつつ、疎なトークンのサブセットのみを使用して高密度な動画表現を正確に近似することが求められる。

2. 手法：LookWhen フレームワーク

LookWhen は、動画用に特別に設計されたセレクター - エキストラクターフレームワークを導入し、画像ベースの先行研究（LookWhere）を、重要なアーキテクチャと事前学習の適応によって拡張する。

2.1 アーキテクチャ

モデルは 2 つの明確なコンポーネントで構成される：

• 浅いセレクター： ダウンスケールされた動画（時間、高さ、幅が縮小されたもの）を受け取る。これは空間 - 時間全体にわたるすべてのトークンをスコアリングするために完全な入力を受け取るが、浅い深さ（3 層のトランスフォーマー層）と縮小された入力解像度により、計算コストは低い。最も情報量の多いトークンを特定するためのセレクターマップを出力する。
• 深いエキストラクター： 完全解像度の動画から上位 K 個の選択されたトークン（および動画トークンとフレームトークン）のみを受け取る。これは ViT-B サイズの深くて表現力のあるモデルであり、これらの疎な入力のみを使用して完全な動画表現を近似する。

2.2 事前学習戦略

選択と抽出の両方に対する効果的な教師信号の定義が重要な革新であり、動画における適切な「教師」の欠如に対処する。

A. 選択ターゲット：「いつ」と「どこ」の学習

• アテンションの問題： InternVideo2 などの動画教師からの標準的なアテンションマップは、アーティファクトを含んだりノイズが多かったりするため、選択のターゲットとしては不適切であることが多い。
• 解決策（Top1-Distance）： アテンションを予測する代わりに、セレクターはトークンの一意性を予測するように訓練される。
  • 空間的に接地された特徴を持つ画像教師（DINOv3）を使用して、すべてのパッチの特徴を計算する。
  • 「Top1-Distance」アルゴリズムは、特徴空間内の各パッチとその最隣接パッチとの間のコサイン類似度を計算する。
  • 最隣接パッチとの距離が最大（つまり、最も一意で孤立している）トークンが最も高くランク付けされる。
  • セレクターはこの一意性スコアの予測を学習し、結果として最も冗長でないトークンを選択する。

B. 抽出ターゲット：「何」の学習

• デュアル教師蒸留： エキストラクターは、2 つの凍結された教師からの表現を近似するように訓練される：
  1. 動画教師（InternVideo2）： グローバルな文脈を表す動画レベルのトークンを提供する。
  2. 画像教師（DINOv3）： フレームレベルおよびパッチレベルの特徴を提供する。
• 時間正規化： 動画内の変化（微細なタスクに不可欠）をエキストラクターに教えるために、DINOv3 のフレームごとのクラストークンは、連結前に時間方向で正規化（平均ゼロ、分散一）される。これにより、静的な内容ではなく時間的ダイナミクスを強調するターゲットが作成される。
• 損失関数： モデルは結合損失を最小化する：
  • $L_{map}$：予測されたセレクターマップとターゲットのセレクターマップ間の二値交差エントロピー。
  • $L_{video}$：エキストラクターの動画トークンと教師の動画トークン間の平均二乗誤差（MSE）。
  • $L_{frame}$ および $L_{patch}$：フレームおよびパッチトークンのための MSE 損失であり、DINOv3 の特徴は空間 - 時間全体で正規化される。

2.3 推論

推論および微調整中は、教師は破棄される。システムは効率的に動作する：浅いセレクターがダウンスケールされた動画にスコアリングして上位 K 個のトークンを選択し、深いエキストラクターは選択されたこれらのトークンのみを処理して、下流タスクのための特徴を生成する。

3. 主要な貢献

1. 動画へのフレームワークの拡張： 著者は、アーキテクチャ（浅いセレクター、深いエキストラクター）と事前学習目的を空間 - 時間的冗長性に対処するように適応させることで、セレクター - エキストラクターパラダイムを動画に拡張する。
2. 新規選択メカニズム： アテンションマップではなく特徴空間の一意性に基づいてセレクターを訓練するTop1-Distanceを導入する。これにより、アーティファクトのないアテンションの必要性を回避し、冗長なトークンを効果的に特定する。
3. デュアル教師抽出： グローバルな文脈のための動画教師と、時間的変化の学習のための時間正規化特徴を持つ画像教師の両方を使用した事前学習戦略を提案し、エキストラクターが一般的かつ微細な表現を学習できるようにする。
4. ハードウェア制約のない効率性： Flash Attention の非互換性や高いピークメモリに苦しむ可能性のあるトークンマージ手法とは異なり、LookWhen は標準的な深層学習操作を使用するため、実用上非常に効率的である。

4. 実験結果

著者は、Kinetics-400 (K400)、Something-Something-v2 (SSv2)、Epic-Kitchens-100 (EK100)、Diving48、Jester、Charadesの 6 つのデータセットで LookWhen を評価した。

• 精度対 FLOPs： LookWhen は、効率的なベースライン（例：VideoMAE、VideoMamba）および同サイズのアップグレード版と比較して、優れた精度 - 計算のトレードオフを達成する。
  • K400において、LookWhen（70% 疎）は、UMT-B800e より 40% 少ない FLOPs で 84.6% の精度を達成し、VideoMambaPro より 78% 少ない FLOPs で同等かそれ以上の精度を達成する。
  • SSv2において、108 GFLOPs で 72.0% の精度を達成し、180 GFLOPs で 71.2% の VideoMAEv2 を上回る。
• パレート支配： LookWhen は、12 の評価ケース（6 タスク × 2 設定：線形プロービングと微調整）の9 件で、より高い精度と低いコストを達成し、パレート支配している。
• 実世界のスループット： NVIDIA L40S GPU で測定したところ、LookWhen は同等の精度において、高密度な InternVideo2-B（IV2）より6.7 倍高速である。この差は、理論的な FLOP 節約が示唆するものよりも大きい。これは、IV2+ マージベースラインが Flash Attention の非互換性に苦しんでおり、バッチサイズ 1 またはマスクを必要とするためである。
• アブレーション研究：
  • 選択： 「top1-dist」（一意性）での訓練は、アテンションマップ（IV2 または DINOv3）での訓練やランダム選択よりも大幅に優れている。
  • 抽出： 動画教師と画像教師の両方を使用し、DINOv3 特徴の時間正規化を組み込むことが、特に Diving48 や Jester などの微細なタスクにおいて、最良のパフォーマンスをもたらす。

5. 意義と主張

本論文は、LookWhen が、必要な場合のみいつ、どこ、何を計算するかを学習することにより、動画トランスフォーマーの計算非効率性を成功裏に解決したと主張する。

• 効率性： トークンマージの実行時ペナルティなしに疎性を達成できることを実証し、より高速な動画認識への実用的な道筋を示す。
• 一般化： このフレームワークは、線形プロービング（特徴抽出）と微調整の両方に効果的な一般的な表現を学習し、特定のシナリオでは自らの高密度な教師（InternVideo2）さえも凌駕する。
• スケーラビリティ： トークンの選択と深い特徴抽出を分離することで、高い精度を維持しながら、最大 95% までの積極的な疎性を可能にする。

著者は、計算制約による ViT-Base モデルへの現在の制限や、位置的に接地された表現を持つ教師への依存といった限界に言及している。しかし、基盤モデルがより良い位置的に接地された出力を提供するように進化すれば、LookWhen フレームワークはさらに効果的になると述べている。今後の研究として、長動画、マルチビュー処理、およびハイパースペクトルデータへの適用が提案されている。