技術要約：再構成による想起（Remembering by Reconstructing）

問題提起

本論文は、ドメイン・インクリメンタル学習（DIL）という、継続学習（CL）における特定の課題に取り組んでいます。これは、モデルがテスト時にドメインの識別情報を得ることなく、進化し続ける非定常なデータドメインのシーケンスに適応しなければならない課題です。標準的なDILのアプローチは、破滅的忘却（新しいドメインを学習する際に、以前のドメインに対する性能を失うこと）を厳格に回避しようとしますが、本研究では、現実世界のストリーミングシナリオ（例：ビデオ）において、データは時間的に高度に相関しており、ドメインシフトはしばしば緩やかであると仮定しています。

著者らは、忘却を厳格に回避すべきであるという従来の観点に異を唱えます。代わりに、ストリーミングデータにおいては、現在のドメインに強く特化すること（他のドメインの一時的な忘却を誘発すること）が、以前のドメインが再出現したときに迅速に回復（「想起」）できるのであれば、有益であると主張しています。核心となる問題は、明示的なドメインラベルなしに、適切なドメイン固有の知識を動的に選択するために、ストリーミングビデオにおけるテスト時学習（TTT）をどのように活用するかという点です。

手法

提案手法である「再構成による想起（Remembering by Reconstructing）」は、低ランク適応（LoRA）とテスト時学習（TTT）を組み合わせたデュアルヘッド・アーキテクチャを利用しています。

1. モデル・アーキテクチャ

モデルは、共有バックボーン・エンコーダ $E$ と、2つの並行するデコーダで構成されます。

• メインタスク・ヘッド ($M$): ダウンストリームタスク（例：行動認識またはセマンティック・セグメンテーション）を実行します。
• 自己教師ありMAEヘッド ($D$): マスクされた入力パッチを再構成するように訓練されたマスク・オートエンコーダ（MAE）ブランチです。このブランチは、ドメイン適応のためのプローブとして機能します。

2. 学習フェーズ（オフライン）

• 初期化: モデルは、事前学習済みのMAEチェックポイントで初期化されます。エンコーダ $E$ とMAEデコーダ $D$ は、初期タスク $T_0$ においてメインタスク・ヘッド $M$ と共にファインチューニングされます。
• ドメイン固有のLoRA: 後続の各ドメイン $T_i$ に対して、ベースとなるパラメータ $\theta_0$ は凍結されます。モデル内のすべての線形層に対して、新しい学習可能な LoRAアダプタ ($\Delta_i$) が初期化されます。
• 特化: これらのLoRAは、メインタスクとMAE再構成タスクの複合損失を用いて、新しいドメインのデータに対して排他的に訓練されます。このプロセスは、LoRAが特化するにつれて、メインヘッドとMAEヘッドの両方に影響を与える、他のドメインに対する忘却を自然に誘発します。

3. 推論フェーズ（オンライン・テスト時学習）

テスト時、モデルは連続的なデータストリームに遭遇します。目標は、どのLoRA（またはLoRAの組み合わせ）が現在の入力に最も適合するかを判断することです。

• 重み付き結合: 単一のLoRAを選択したり、単純にそれらをマージしたりするのではなく、モデルは訓練された全 $N$ 個のLoRAの重み付き和を保持します：
  $$\theta_{TT} = \theta_0 + \sum_{k=1}^{N} c_k \Delta_k$$
  ここで、$c = \{c_1, ..., c_N\}$ は学習可能な重み係数です。
• 再構成駆動型の適応: 係数 $c$ は、流入するデータストリームを用いてオンラインで最適化されます。最適化の目的関数は、現在の入力（または直近のフレームの小さなバッチ）に対する MAE再構成損失 です：
  $$c = \arg \min_c \mathcal{L}_{\text{MAE}}(F_{\text{MAE}}(x_{\text{mask}}), x)$$
  MAEヘッドもインクリメンタル学習フェーズ中に忘却を経験しているため、現在のドメインに対する再構成損失を最小化することで、モデルは「忘却を逆転」させ、重みを現在のドメインに特化したLoRAへと効果的に誘導します。
• ソフトマックス選択: 最適化された係数は、メインタスク・ヘッドに適用される前に、温度パラメータ $\tau$ を伴うソフトマックス関数を通過し、最も関連性の高いLoRAを確信を持って選択できるようにします。
• 効率性: 全モデルではなく、小さな係数集合 $c$ のみが更新されます。更新は、直近のフレームのスライディングウィンドウ・バッファを使用して、一定期間ごと（例：$n$ フレームごと）に行われるため、アプローチは計算効率が高いです。

主な貢献

1. 忘却に関するパラダイムシフト: 本論文は、忘却を特化のメカニズムとして受け入れ、TTTによって失われた知識を動的に回復させることに依存することを提案しています。これは、忘却を完全に防ごうとする試みとは対照的です。
2. DILのためのデュアルヘッドTTT: MAE再構成損失を現在のドメインを特定し、それに応じてLoRAの重みを調整するためのプロキシとして使用することで、DILの設定におけるTTTの斬新な応用を導入しました。
3. ストリーミング適応: 本手法は、連続するフレームが相関しているビデオストリーム向けに特別に設計されており、すべてのフレームを更新処理することなく、緩やかなドメインシフトへの迅速な適応を可能にします。
4. 新しいベンチマーク: 著者らは、エゴセントリックなビデオストリーム、緩やかなドメイン遷移、および未知の中間環境を特徴とする新しいセマンティック・セグメンテーション・データセットである Domains-Campus を導入し、既存の文献におけるこのようなベンチマークの欠如に対処しています。

実験結果

手法は2つのタスクで評価されました：

• ビデオ行動認識: 異なるカメラの視点と場所を含むドメイン・インクリメンタル設定を用いたNTU RGB+D120データセットを使用。
• セマンティック・セグメンテーション: 新しいDomains-Campusデータセットと、事前学習用のPlaces365を使用。

主な知見:

• 性能: 提案手法は、Replay、DRIFT、LoRAマージを含むすべてのベースラインの中で、最高の平均精度（またはDiceスコア）を達成しました。
• 忘却: 朴直なファインチューニングと比較して著しく低い忘却（$F$）を示し、最先端の継続学習手法と同等の競争力のある性能を示しました。
• 共同学習の超越: Domains-Campusデータセットにおいて、本手法は「共同ファインチューニング（Joint Fine-Tuning）」（すべてのタスクを同時に訓練する設定）のベースラインを上回りました。著者らは、これを個々のLoRAの「エキスパート」としての性質によるものと考えており、特定のドメインにおいては単一の汎用モデルよりも優れた性能を発揮できるためです。
• アブレーション研究: 本手法はハイパーパラメータの変動に対して堅牢であることが証明されました。小さなバッチサイズや更新周期（例：16フレームごとの更新）でも効果的に動作し、驚くべきことに、ウィンドウサイズが1（現在のフレームのみでの更新）の場合でも機能しました。

意義と主張

本論文は、そのアプローチが継続学習のより現実的な視点を提供すると主張しています。データが連続的なストリームとして到着し、一時的な忘却が現在に集中するために有益となり得ることを認めることで、本手法は時間的連続性と局所性を活用して、ビデオベースのアプリケーションにおける迅速な適応を実現しています。

著者らは、本手法はストリーミングデータに対して非常に効果的である一方で、TTTステップにより推論中の計算オーバーヘッドが生じることを強調しています。彼らは、将来の研究として、単に定期的な更新を行うのではなく、LoRAの数を減らす（マージやプルーニングによる）、あるいは更新が必要なタイミングのためのより効率的なトリガーを開発することに焦点を当てるべきであると示唆しています。

結論として、ドメイン固有のパラメータ効率の良いチューニング（LoRA）と、オンラインの自己教師あり適応（TTT）を組み合わせることは、ビデオベースのアプリケーションにおける進化し続ける非定常なデータストリームを扱うための強力なフレームワークを提供します。