技術要約: DO-ALL (Distill Once, Adapt Life-Long)

1. 問題提起

継続的テスト時適応（Continual Test-Time Adaptation: CTTA）は、ラベルなしデータを用いてオンラインで適応することにより、進化するターゲットドメイン下でのモデル性能を維持することを目指している。しかし、実際の運用においては、以下の2つの決定的な制約に直面する：

1. プライバシーとライセンス: ソースデータセット全体を保存または配布することは、多くの場合、実現不可能である。
2. 長期的なシフトにおける安定性: 純粋なソースフリーのCTTA手法は、長期的かつ非定常な分布シフトの下では苦戦する。テストストリームのみに依存すると、モデルが表現を接地させるための持続的なアンカーを欠くため、自己学習による誤差の累積と破滅的忘却が発生する。

限定的なソース情報（統計量や特徴プロトタイプなど）を保持する既存のソースフリーのアプローチは、長期的な適応期間において十分な安定性を提供できないことが多い。

2. 手法

著者らは、Dataset Distillation (DD) を活用して、プライバシーに配慮したコンパクトな形式でソース知識を保持するプラグアンドプレイのフレームワークである DO-ALL (Distill Once, Adapt Life-Long) を提案する。このフレームワークは、2つのフェーズで動作する。

フェーズ1：デプロイ前 (Distill Once)

デプロイ前に、ソースデータセットは、ソース蒸留アンカー ($\tilde{A}$) と呼ばれる小さな合成サンプルセットへと蒸留される。

• プロセス: データセット蒸留により、大規模なソースデータセット $D_s$ を極めて小さな合成セット $\tilde{D}_s$ ($N_a \ll |D_s|$) へと圧縮する。
• アンカーの構成: 各アンカー $\tilde{a}_i$ は、以下の3つのコンポーネントで構成される：
  1. 合成入力 ($\tilde{x}_i$): 学習可能な合成画像。
  2. ソフトラベル ($\tilde{s}_i$): クラス間の関係性と信頼度構造を保持する、ソースモデル $f_{\theta_0}$ によって生成されたソフト疑似ラベル。
  3. 潜在特徴 ($\tilde{z}_i$): ソース特徴抽出器 $g_{\theta_0}$ によって抽出された特徴表現。
• ストレージ: このアンカーセットはモデルと共に保存され、メモリ消費は最小限であり、生のデータも公開しない。

フェーズ2：適応中 (Adapt Life-Long)

CTTAの間、モデルは蒸留されたアンカーを安定した参照点として利用しながら、流入するターゲットストリームに適応する。

• アンカーとターゲットの関連付け: 各流入ターゲットサンプル $x^t_b$ に対して、システムは潜在特徴 $z^t_b$ を計算し、コサイン類似度を用いて特徴空間内の最も近いアンカー $\tilde{a}^t_b$ とマッチングさせる。これにより、ターゲットサンプルを意味的に整合したソース参照とペアリングすることで、コンテキストを考慮した適応を実現する。
• 適応目的関数: モデルは、以下の合計損失 $\mathcal{L}_{anchor}$ を用いて更新される：
  1. アンカーベースのリプレイ損失 ($\mathcal{L}_{replay}$):
     • 直接リプレイ: 合成アンカーに対するモデルの予測と、保存されたソフトラベルとの一貫性を強制する（温度スケールされたKLダイバージェンスを介して）。
     • Mixupリプレイ: ターゲットサンプルと、それに対応するアンカーを混合することで、意味のある補間パスを作成し、シフトしたターゲットとソース参照の間の決定境界を滑らかにする。
  2. 特徴レベルの整列 ($\mathcal{L}_{mmd}$): 最大平均偏差（MMD）目的関数を使用し、ネットワークの各層においてターゲットストリームとアンカーセットの特徴分布を整列させ、表現のドリフトを防ぐ。
• Harm-Adaptive Blending: 長期的な経過に伴うパラメータの蓄積されたドリフトに対抗するため、本手法は「有害な」パラメータグループを選択的にソースの初期化状態へと回帰させる。「ハームスコア（害スコア）」は、アンカー駆動の勾配とパラメータ更新の間の整合性に基づいて計算され、閾値を超えるグループはソースモデルのパラメータへと部分的にブレンドされる。

3. 主な貢献

• フレームワークの統合: DO-ALLは、基礎となる適応アルゴリズムやアーキテクチャを変更することなく、Dataset DistillationをCTTAに統合するモジュール式でプラグアンドプレイな戦略を導入する。
• プライバシー保護された安定性: 合成アンカーを通じてソース分布の知識を保持するメカニズムを提供し、プライバシーの制約に対処しつつ、破滅的忘果を軽減する。
• 新規コンポーネント: Target-Anchor Mixup、層レベルのMMD整列、および Harm-Adaptive Blending の組み合わせにより、長期的な進化するストリーム向けに特別に設計された堅牢な安定化メカニズムを構築する。
• クロスアーキテクチャ互換性: 本手法は、あるアーキテクチャ（例：ResNet-18）から蒸留されたアンカーが、異なるアーキテクチャ（例：ResNet-50やViT）の適応を効果的に安定化できることを示しており、蒸留されたアンカーが汎用的な意味構造を捉えていることを示唆している。

4. 実験結果

著者らは、CIFAR100-C、ImageNet-C、および CCCベンチマーク（長期的な適応ベンチマーク）においてDO-ALLを評価した。

• ImageNet-C: DO-ALLは、すべての破損タイプおよび深刻度レベル5において、既存のCTTAベースライン（EATA, RMT, ROID）の性能を一貫して向上させた。例えば、ROIDの平均誤差を54.5%から53.6%へ、RMTを59.8%から57.4%へと減少させた。
• CCCベンチマーク: 連続的なドメイン遷移を伴う困難な「Hard」シナリオにおいて、DO-ALLはROIDの平均精度を33.6%から34.7%へ向上させ、特にHardシナリオにおいて顕著な利得（13.2%から15.5%）を示した。
• アブレーション研究:
  • すべてのコンポーネント（Replay, MMD, Mixup, Blending）は、重複のない安定化効果に寄与していた。
  • 最近傍探索による関連付け: 特徴空間においてターゲットを最も近いアンカーにマッチングさせることは極めて重要であり、ランダムまたは最も遠いものへのマッチングは性能を低下させた。
  • DD手法への独立性: DO-ALLは、様々なDDアルゴリズム（WMDD, DELT, SRe2L）と効果的に動作した。
  • 品質の相関: 蒸留されたアンカーのスタンドアロンな検証精度と、CTTAの改善幅との間に正の相関が観察された。これは、より高品質な意味的圧縮がより良い安定化につながることを示している。
• 効率性: DO-ALLはオーバーヘッドを最小限に抑えている。アンカーの分岐計算を定期的に（例：7ステップごと）行うことで、高いFPS（RTX 3090で220以上）と小さなCPUストレージフットプリント（アンカー用に約1.55 GB）を維持している。

5. 意義と主張

本論文は、Dataset Distillationを活用することで、生のソースデータを保持することなく、安定した継続的な適応を可能にする潜在能力をDO-ALLが示していると主張している。

• 安定性 vs ドリフト: 主要な貢献は、表現の崩壊と破滅的忘却を防ぐ「持続的なアンカー」を提供することにより、長期的なCTTAに内在する不安定性を解決することにある。
• 分野の相乗効果: 本研究は、Dataset DistillationとContinual Test-Time Adaptationの有望な交差点を浮き彫りにしており、DDの進歩（より情報量の多い合成サンプルの作成）が、CTTAのより堅牢な性能に直接つながることを示している。
• 実用的なデプロイ: 既存のTTA目的関数とは直交し、生のデータ保存を必要としないDO-ALLは、厳格なプライバシーおよびストレージの制約下で適応型システムをデプロイするための実用的な経路を提供する。

著者らは、DO-ALLは効果的であるものの、今後の研究では、非定常なストリームに対する改善されたアンカー選択スケジュールや、急激または敵対的なシフトに対する堅牢性の探求が可能であると考えている。彼らは、蒸留されたデータが、CTTAの範囲を超えてオンライン学習を安定させるための、汎用的なコンパクトメモリとして機能し得ることを示唆している。