技術的概要：オープンボキャブラリ動作認識のための時空間類似度ボリューム集約

1. 問題定義

最近のオープンボキャブラリ動作認識（OVAR）手法は、通常、テキスト埋め込みとの整合性を計算する前に視覚的特徴をグローバル表現（例：[CLS] トークンの使用）に集約することに依存している。ゼロショット汎化には効果的であるが、このパラダイムは本質的に各フレーム内の豊かなローカルパッチ情報を破棄する。その結果、運動軌跡、局所的な相互作用、時間経過に伴う視覚パターンの進化といった、微細な時空間手がかりが不明瞭になる。局所トークンを活用しようとする既存の試み（TC-CLIP、BDC-CLIP など）も、テキスト整合に先立って構造化された時空間相互作用を単一のグローバルベクトルに圧縮してしまうことが多く、時間的に進化する局所的視覚パターンとテキスト動作意味論との間の対応関係を明示的にモデル化できていない。

2. 手法：類似度ボリューム集約（SimVA）

著者らは、SimVAを提案する。これは、特徴集約から類似度集約へとパラダイムを転換するフレームワークである。視覚的特徴を最初にマージするのではなく、SimVA はパッチレベルの視覚トークンとテキスト埋め込みとの間に密な 4 次元時空間類似度ボリュームを構築し、処理パイプライン全体を通じて局所的証拠を保持する。

2.1 類似度ボリュームの構築

入力ビデオ $V$ と動作テキストプロンプトが与えられたとき、このフレームワークは事前学習された CLIP モデルを使用して以下を抽出する：

• 視覚埋め込み: $T$ フレームに対するパッチレベルの埋め込み $F_{img} \in \mathbb{R}^{T \times H \times W \times D}$。
• テキスト埋め込み: $N_C$ 個の動作カテゴリに対するクラス埋め込み $F_{text} \in \mathbb{R}^{N_C \times D}$。

4 次元類似度ボリューム $S \in \mathbb{R}^{T \times H \times W \times N_C}$ は、すべての時空間パッチ $(t, i, j)$ とすべてのクラス $c$ の間でコサイン類似度を計算することで構築される。このボリュームは、空間と時間全体にわたる局所的な視覚 - テキスト対応を表す。

2.2 動作クラスサンプリング

$N_C$ が大きい場合、ボリューム全体を直接集約することは計算上不可能である。SimVA はクラスサンプリング戦略を導入する：

1. フレームレベルの [CLS] トークンを平均化することで、グローバルビデオ表現 $\bar{V}$ を計算する。
2. グローバル類似度スコア $S_{global} = \bar{V}^\top F_{text}$ を計算する。
3. トップ-$M$ クラスを選択する。学習中は、探索を促すために一様ノイズが追加され、正解クラスはサブセットに強制される。
   これにより、クラス次元を $N_C$ から扱い可能なサイズ $M$ に削減し、ボリュームを $Z_0 \in \mathbb{R}^{T \times H \times W \times M \times d_f}$ に縮小する。

2.3 構造化された時空間集約

このフレームワークは、$N_L$ 層にわたって反復される構造化されたパイプラインを通じて、サンプリングされた類似度ボリュームを処理する：

• 空間集約: Swin Transformer ブロックを使用して、モデルはフレーム内類似度パターンを洗練させる。これにより、同じオブジェクトに属するパッチ間の局所的整合性が強制され、背景ノイズが抑制される。これにより、フレーム内の局所的類似性が文脈化される。
• 運動認識変調: フレーム間の変化の手がかりを導入するために、モデルは CLIP 画像特徴を使用して連続するフレーム間の運動オフセットを推定する。これらのオフセットはグローバルカメラ運動を除去するために正規化され、変調信号 $\gamma_t$ へ投影される。この信号は、空間的に洗練された特徴を適応的にスケーリングし、時間モデル化の前に顕著な動的変化（例：移動するオブジェクト）を伴う領域を強調する。
• 時間集約: Mamba（状態空間モデル）ブロックが、運動認識類似度シーケンスを処理する。グローバルに注意を払うトランスフォーマーとは異なり、Mamba の前方走査メカニズムはビデオの自然な時間的進行と整合する。これは、時空間整合性を保持しつつ、時間経過に伴う動作固有の証拠の進化をモデル化しながら、遷移認識類似度パターンを順次蓄積する。

2.4 学習目的

最終的なビデオレベルのスコアは、線形投影と時空間平均プーリングを通じて得られる。学習目的は以下の 2 つを組み合わせる：

1. 集約損失（$L_{agg}$）: サンプリングされたクラスロジットに対するクロスエントロピー損失。
2. 分類損失（$L_{cls}$）: 事前学習された事前知識を保持し、破滅的忘却を防ぐために、グローバルビデオ - テキスト整合（[CLS] トークンを使用）から計算される補助損失。

3. 主要な貢献

1. パラダイム転換: CLIP ベースの OVAR 向けのフレームワークを導入し、密な時空間対応を保持するために、特徴集約から類似度空間での直接動作へとパラダイムをシフトさせる。
2. スケーラブルなアーキテクチャ: 過剰な計算コストなしに類似度集約を大規模なオープンボキャブラリシナリオに拡張可能にする、メモリ効率の良いクラスサンプリング戦略を提案する。
3. 構造化された集約: （フレーム内整合性のための）空間集約、（フレーム間ダイナミクスのための）運動認識変調、および（順次進化モデル化のための）Mamba ベースの時間集約を統合するパイプラインを設計する。
4. 実証的検証: ゼロショット、フューショット、およびベースからノベルへの汎化ベンチマーク全体で有効性を示す。

4. 実験結果

この手法は、ViT-B/16 CLIP バックボーンを使用して、5 つの標準ベンチマーク（Kinetics-400、Kinetics-600、HMDB-51、UCF-101、Something-Something V2）で評価された。

• ゼロショット性能: SimVA は、すべてのデータセットで強力なベースライン（ActionCLIP、X-CLIP、ViFi-CLIP、TC-CLIP など）を上回った。HMDB-51、UCF-101、K600 において、最先端または非常に競争力のある結果を達成した（例：K600 で 76.5% の Top-1、UCF-101 で 86.2%）。
• フューショット学習: クラスあたり $K \in \{2, 4, 8, 16\}$ ショットの設定において、SimVA は既存の手法を一貫して上回り、限られた教師ありデータでのビデオタスクへの堅牢な適応を示した。
• ベースからノベルへの汎化: モデルはすべてのデータセットで最高のベース精度を達成し、UCF-101 と SSv2 で最も高い調和平均（HM）を示した。これは、ベースクラスの性能を保持しつつ、未見のカテゴリへの強力な汎化能力を示している。
• 効率性: 密なボリューム構築にもかかわらず、SimVA は他の CLIP ベースの手法と同等の計算予算（1.246 億パラメータ、315 GFLOPs）を維持しており、効率と性能の有利なトレードオフを示している。

5. 意義と主張

本論文は、SimVAが、局所的視覚パターンがテキスト意味論と相互作用しながらどのように進化するかを明示的にモデル化することにより、CLIP の強力な画像 - テキスト整合能力を時空間ドメインに効果的に転送すると主張している。密な視覚 - テキスト対応を維持し、早期のグローバルプーリングを回避することで、このフレームワークは、微妙な時間的変化に依存する微細な動作の正確な識別を可能にする。

著者らは、類似度空間集約が、ビジョン - ランゲージモデルをビデオ動作認識に適応させるための有望な方向であると主張している。彼らは、固定されたクラスサンプリング予算に関する限界を認め、適応的戦略がさらにスケーラビリティを向上させる可能性があると指摘しつつも、現在の手法が性能と計算の可行性の間に堅牢なバランスを提供していると維持している。