技術的概要：RDumb++：ドリフト認識型継続的テスト時適応

問題定義

継続的テスト時適応（CTTA）は、デプロイ中に事前学習済みモデルを、流入するラベルなしデータストリームのみを用いて更新することを目的としている。既存の Tent や EATA などの手法は、短く変化するシフト下では改善をもたらすが、テスト分布が急速に変化する場合や極めて長い時間軸にわたる場合には、著しく困難に直面する。この限界は、**CCC（Continually Changing Corruptions：継続的に変化する汚損）**ベンチマークにおいて顕著に現れる。同ベンチマークでは、モデルは動的に変化する汚損の種類と深刻度を持つ、最大 750 万サンプルのストリームに直面する。

これらの条件下では、標準的な手法はしばしば「エントロピー崩壊」に陥り、モデルは過剰に自信を持ち、退化的な予測へとドリフトする。最近のRDumb手法も、定期的なリセットを通じて安定性を向上させているが、固定されたリセット間隔（例：1,000 ステップごと）に依存している。この非適応的なアプローチは、以下の 2 つの決定的な失敗モードをもたらす：

1. 早期リセット：分布ドリフトが発生していない場合に、有用な適応を破棄する。
2. 遅延リセット：分布シフトが突然発生した際に、モデルの崩壊を防げない。

本研究が取り組む中心的な課題は以下の通りである：推論中に分布ドリフトを検出し、必要時のみモデルをリセットすることは可能か？

手法：RDumb++

著者は、RDumb++を提案する。これは RDumb の原理的な拡張であり、固定間隔のリセットをドリフト認識型の適応的リセット機構に置き換えるものである。このフレームワークは、2 つの異なるドリフト検出信号と 2 つのリセット戦略を統合している。

1. ドリフト検出機構

RDumb++ は、モデルの予測分布 ($p_t$) を監視し、2 つの相補的メトリックを用いて期待される動作からの逸脱を特定する。

• エントロピーベースのドリフトスコアリング：

  • モデル出力のエントロピー $H(p_t)$ を計算する。
  • エントロピーの平均 ($\mu_t$) と分散 ($\sigma_t^2$) の指数移動平均（EMA）を維持する。
  • 標準化されたドリフトスコアを計算する：$z^{(E)}_t = |H(p_t) - \mu_t| / \sigma_t$。
  • 機能：急速な局所的な不安定性や、モデルの自信度における急激な変化（例：突然の汚損遷移）に対して非常に敏感である。

• KL 発散ドリフトスコアリング：

  • 現在の分布 $p_t$ と参照分布 $q_t$ との間のカルバック・ライブラー（KL）発散を計算する。
  • KL 発散の平均と分散の EMA 推定値を維持し、標準化されたスコアを計算する：$z^{(KL)}_t = |D_{KL}(p_t \| q_t) - \mu^{KL}_t| / \sigma^{KL}_t$。
  • 機能：エントロピーが見逃す可能性のある、クラスレベルの行動におけるグローバルな構造的シフトや、より緩やかな分布ドリフトを捉える。

標準化されたスコアが調整可能な感度閾値 $k$ を超えたときに、ドリフトイベントが宣言される。

2. 適応的リセット戦略

ドリフトを検出すると、モデルは以下の 2 つのリセット戦略のいずれかを適用する。

• フルリセット：モデルパラメータ ($\theta$) とオプティマイザの状態を、初期スナップショット ($\theta_0$) に復元する。モデルが著しく崩壊した場合に、有害な適応を消去するために用いられる。
• ソフトリセット：補間による部分的な復元を行う：$\theta \leftarrow \lambda\theta_0 + (1-\lambda)\theta$（ただし $\lambda \in [0, 1]$）。これにより、有害なドリフトを修正しつつ、有用な適応を保持する。

3. モデルバリアント

検出手法とリセット戦略の組み合わせにより、4 つのバリアントが得られる。

• EntropyFull / EntropySoft：エントロピー検出に基づいて駆動される。
• KLFull / KLSoft：KL 発散検出に基づいて駆動される。

実験設定

• ベンチマーク：CCC-Medium。各ストリームあたり 100 万枚のラベルなし画像を特徴とし、汚損の種類が 500〜1,500 ステップごとに変化する。
• バックボーン：ImageNet で事前学習された ResNet-50。BatchNorm のアフィンパラメータのみを適応させる（Tent/EATA/RDumb と一貫性を持たせる）。
• プロトコル：3 つの汚損速度（$\{1000, 2000, 5000\}$ ステップ）× 3 つのランダムシード = 9 つの独立した評価ストリーム（合計 900 万ステップ）。
• ベースライン：適応なし（Baseline）、RDumb、および 4 つの RDumb++ バリアント。

主要な結果

9 つの実行すべてにおいて、RDumb++ は固定間隔の RDumb ベースラインを一貫して上回った。

1. 精度の向上：RDumb++ バリアントは、RDumb に対して平均で2〜3% の絶対精度向上を達成し、最も強力なバリアント（EntropyFull および KLFull）は特定の構成において**3〜5%**の向上を記録した。
   • 例：平均して RDumb は 41.61% を記録したが、EntropyFull は 44.20%、KLFull は 43.75% に達した。
2. リセット戦略の有効性：フルリセットは、特にモデルが著しいドリフトを経験した場合、モデルをクリーンな状態に「スナップバック」させることができるため、ソフトリセットよりも一般的に優れていた。
3. ドリフト検出の相補性：
   • エントロピーベースの検出は、鋭く急激な汚損遷移に対してより効果的であることが証明された。
   • KL ベースの検出は、変化する速度全体にわたってより大きな安定性を提供し、より緩やかでグローバルなシフトを捉えた。
4. アブレーション研究の知見：
   • ドリフト閾値 ($k$)：中程度の設定（$k=2.5$）が最良のバランスをもたらした。これにより、早期リセット（$k=2.0$）と遅延リセット（$k=3.0$）の両方を防いだ。
   • ソフトリセットの強度 ($\lambda$)：バランスの取れた補間重み（$\lambda=0.5$）が最適であった。弱いリセット（0.3）はドリフトの修正不足を招き、強いリセット（0.7）は有用な適応を多すぎると消去した。

意義と主張

本論文は、RDumb++ が、ヒューリスティックな固定間隔リセットを、データ駆動型のドリフト認識型介入に置き換えることで、継続的テスト時適応におけるロバスト性を向上させるシンプルでスケーラブルなフレームワークを提供すると主張している。

• 安定性：主要な貢献は、標準的な手法が失敗する極めて長い時間軸（100 万ステップ以上）における「予測崩壊」の防止である。
• 適応性：統計的に有意な逸脱が検出された場合のみリセットをトリガーすることで、周期的アプローチに内在する「早期リセット」と「遅延リセット」という失敗モードを回避する。
• 実用性：このフレームワークは、軽量な統計的監視（エントロピーと KL 発散）と標準的なリセット操作のみを必要とするため、分布シフトが非定常で予測不可能であるロボット工学や自動運転などの実世界デプロイシナリオに適用可能である。

著者は限界を認め、この手法は依然として閾値の調整を必要とし、エントロピー/KL 統計が信頼できるドリフト信号であると仮定している点を指摘している。これは、深刻なクラス不均衡や敵対的摂動の場合には成り立たない可能性がある。しかし、CCC ベンチマークの範囲内では、RDumb++ は、信頼性の高い長期的 CTTA には明示的なドリフト検出が不可欠であることを実証している。