技術要約：Forget, Anticipate and Adapt: Test Time Training for Long Videos

1. 問題提起

Test Time Training (TTT) は、正解ラベル（グラウンドトゥルース）を使用せずに、自己教師あり学習 (SSL) を用いて推論中にモデルの重みを更新することを可能にします。有望ではあるものの、TTTを長いビデオに適用する場合、2つの決定的な計算上のボトルネックが生じます。

1. 線形的な計算量の増加： 既存の手法は、$k$ 個の過去フレームを含むスライディングウィンドウに依存しています。ウィンドウがスライドするたびに、モデルはすべての $k$ フレームを再評価するため、冗長な計算が発生し、数時間に及ぶビデオ（例：2時間のビデオに対して最大8時間の処理が必要になる）に対しては計算が困難になります。
2. 不必要な適応： 現在のアプローチは、連続するフレームが視覚的に同一であるか、あるいは非常に類似している場合でもTTTの更新を行っており、新しい情報を提供しないフレームに対して計算リソースを浪費しています。

本論文は、高密度なコンピュータビジョン・タスク（セグメンテーションなど）において、数時間に及ぶビデオストリームに対し、ローカルかつデバイス上で、計算効率よくTTTを実行するという課題に対処します。

2. 手法：Frame Forgetting Network (FFN)

著者らは、「局所性の原理」（時刻 $t$ のフレームは、時刻 $t+5000$ のフレームとは無関係であることが多い）に基づいて動作する Frame Forgetting Network (FFN) を提案しています。FFNは、スライディングウィンドウ全体を処理する代わりに、「Forget, Anticipate, Adapt（忘却、予測、適応）」の手順を用いて、各タイムステップにつき3つのフレームのみ（退出するフレーム、現在のフレーム、次のフレーム）を操作します。

コアコンポーネント

A. Memory Restoration Mechanism (MRM) — 「忘却 (Forget)」ステップ
スライディングウィンドウから退出したフレーム ($x_{t-k}$) による適応重みをモデルが保持し続けないよう、MRMはこれらの適応を能動的に「忘却」させます。

• メカニズム： モデルは、適応前の退出フレームの特徴量 ($f_{t-k-1}(x_{t-k})$) をキャッシュします。
• 時間的条件付け： 3層のMLPと位置エンコーディングを持つ時間モジュールが、タイムステップ $t-k$ をバックボーンに注入します。
• 復元： モデルは、現在の重みを用いて、退出するフレームの適応前の特徴量を予測するように訓練されます。これは、現在の予測とキャッシュされた適応前の特徴量との間のL2損失を最小化することによって達成され、特定のフレームに対するバックボーンの状態を、そのフレームの適応前のベースラインへと効果的に復元します。

B. Adaptive Window Algorithm (AWA) — 「予測 (Anticipate)」および「適応 (Adapt)」ステップ
AWAは、現在のフレームに対して適応が必要かどうかを動的に判断し、冗長なフレームでの計算を回避します。

• 予測 (Anticipation)： モデルは、「Anticipative Head」を使用して、現在のフレーム ($x_t$) に基づいて次のフレーム ($x'_{t+1}$) を予測します。
• 驚愕指標 ($S_t$)： 入ってくるフレームに含まれる「新しい情報」を定量化するための指標を定義します。これは以下の要素を組み合わせたものです。
  1. 視覚的差異 ($v_{visual}$)： 予測された次のフレームと実際の次のフレームとの間の画素単位の差。
  2. 潜在的類似性 ($A$)： メモリバッファ内にある直近に適応されたフレームの潜在特徴量と、現在のフレームの潜在特徴量とのコサイン類似度。
  • $S_t = [\log(1 + v_{visual})] \times [1 - A]$
• 動的閾値設定： システムは、過去の驚愕値の実行時バッファを維持します。適応閾値 $\tau_t$ は、過去の驚愕値の平均に標準偏差を加えたもの ($\mu_t + \sigma_t$) として動的に算出されます。
• 決定： もし $S_t \geq \tau_t$ であれば、モデルはTTT（重みの更新）を実行します。そうでなければ、重みの更新を行わない単純なフォワードパス（推論）のみを実行します。

3. 主な貢献

1. Frame Forgetting Network (FFN)： 3つのフレームのみを操作し、スライディングウィンドウを扱うためのメモリ復元メカニズムを利用することで、TTTの複雑さを各タイムステップあたり $O(k)$ から $O(1)$ へと削減する新しいアーキテクチャ。
2. 適応型ウィンドウ (Adaptive Windowing)： 数学的に定義された「驚愕」指標と動的閾値アルゴリズムにより、静止した、あるいは冗長なフレームにおける不要なTTT更新を排除。
3. EpicTours データセット： 歩行による街歩きツアーの、最大3時間のビデオを含む、高密度な意味的およびインスタンス注釈が付与された新しいベンチマークデータセット。これは、通常5分以下に限定されている既存のデータセット（COCO-Videos, DAVISなど）の限界に対処しています。
4. 実証的検証： 短いビデオおよび数時間のビデオの両方において、高密度セグメンテーション、ビデオ深度推定、およびアクション分類のタスクに対するFFNの有効性を実証。

4. 実験結果

著者らは、COCO-Videos、KITTI-STEP、UCF101、Something-Something v2、および新しいEpicToursを含む11のデータセットでFFNを評価しました。

• セグメンテーション性能： COCO-Videosにおいて、FFNはインスタンスセグメンテーションで 45.1 AP、パノプティックセグメンテーションで 29.6 AP を達成し、「Online TTT-MAE (スライディングウィンドウ)」のベースライン（37.6 AP）および「Offline TTT-MAE Oracle」（33.6 AP）を上回りました。
• 計算効率： FFNは、処理時間を（A100 GPU上で）1フレームあたり0.7秒に短縮しました。これは、標準的なスライディングウィンドウTTTで必要とされる1フレームあたり4.1秒と比較して大幅な改善です。
• 深度推定： FFNはビデオ深度推定にも良好に汎化し、6つのデータセット（KITTIやScanNetを含む）において、TTTベースラインよりも低い誤差率（AbsRel）で最先端の結果を達成しました。
• 長時間ビデオの安定性： EpicToursデータセット（数時間のビデオ）において、FFNは時間の経過とともに安定した性能を維持しましたが、TTT-Onlineベースラインは50分後に著しく低下しました。FFNは、ベースラインに対して意味的セグメンテーションで 6.5%、インスタンスセグメンテーションで 5.3% の向上を示しました。
• アクション分類： FFNはUCF101（95.0%）およびSomething-Something v2（74.1%）においてトップ1精度を向上させ、時間的な方向性を捉える能力を実証しました。

5. 重要性と主張

本論文は、FFNが、これまで線形な計算コストのために不可能と考えられていた領域である、数時間に及ぶビデオに対してTTTを計算可能なものにすると主張しています。

• ローカル適応： オンライン蒸留で一般的なリモートの「教師」モデルへの依存を取り除くことで、FFNは完全なオンデバイス適応を可能にします。これは、サーバーとの接続が制限される災害救助や自律航行のようなオフラインのシナリオにおいて極めて重要です。
• 効率性： 「忘却、予測、適応」のパラダイムは、モデルが時間的なバッファ全体を再評価する必要はなく、情報の新規性に基づいた選択的な処理だけで高い性能を発揮できることを証明しています。
• リソース制約のあるデプロイメント： この手法は、継続的な学習に伴う計算負荷とエネルギー消費を劇的に軽減することで、エッジデバイス（ドローン、携帯電話など）へのビデオ理解システムのデプロイを容易にします。

著者らは、TTTはバックプロパゲーションのために依然として低速ではあるものの、FFNは長時間ビデオの適応に向けた実用的な一歩であり、同様の原理を用いた数時間のビデオ生成への将来的な探求に期待を寄せています。