技術要約: BP-TTA: 動的なシナリオにおけるバランスおよびプロトタイプ誘導型テスト時適応

1. 問題定義

本論文は、実世界の動的なシナリオに展開される際の既存のテスト時適応（Test-Time Adaptation: TTA）手法の限界に対処するものである。従来のTTAは、テストデータが単一のターゲットドメインから独立同一分布（i.i.d.）に従うことを想定しているが、実際のアプリケーションには、以下の2つの課題が同時に発生する**実用的なテスト時適応（Practical Test-Time Adaptation: PTTA）**の設定が含まれる。

1. 継続的なドメインシフト: 環境条件（照明、天候、センサーノイズなど）の変化により、テスト分布が時間の経過とともに継続的に変化する。
2. ストリーミングデータにおけるクラス不均衡: 実世界のストリームにおける時間的相関（例：高速道路上の車両が、主に自動車を見続けていた後に歩行者が多い住宅街に入るなど）により、短時間のウィンドウでは深刻なクラス不均衡が生じることがある。

既存の手法は、以下の理由からこの設定において失敗することが多い。

• クラス不均衡: 勾配更新が多数派クラスに支配され、モデルが短期的なパターンに過学習し、少数派クラスを軽視してしまう。
• 継続的なシフト: 疑似ラベルやエントロピー最小化への依存は、分布のドリフトに伴って不安定になり、ノイズの多い教師信号や破滅的な忘却を招く。

2. 手法: BP-TTA

著者らは、Mean Teacherアーキテクチャ（学生ネットワークと教師ネットワーク）内で、**バッチ・バランス・サンプリング（Batch-Balanced Sampling: BBS）とカテゴリ・プロトタイプ誘導型適応（Category Prototype-Guided Adaptation: CPGA）を統合したフレームワークであるBP-TTA（Balanced and Prototype-Guided Test-Time Adaptation）**を提案する。

A. バッチ・バランス・サンプリング (BBS)

ストリーミングデータにおけるクラス不均衡を緩和するために、BBSはバランスの取れたトレーニングバッチを動的に再構成する。

• メモリバンク: 属性（疑似ラベル $\hat{y}_i$、年齢 $a_i$、信頼度 $\gamma_i$、不確実性 $u_i$）を保持するクラス認識型メモリバンク $\mathcal{M}$ を維持する。
• 選択メカニズム: 選択スコア $H_i = \exp(a_i/K) + u_i$ を使用してメモリバンクを管理し、最近かつ不確実なサンプルを優先し、冗長なサンプルを除去する。
• バッチ再構成: 入力される各バッチに対して、以下の処理を行う：
  • 多数派クラスを、上位 $N$ 個の高信頼度サンプルを選択することでダウンサンプリングする。
  • 少数派クラスを、メモリバンクから高信頼度サンプルを抽出することで補完する。
  • 必要に応じてサンプルを複製し、クラスあたりのサンプル数（$N_{per-class}$）を一定にする。
• 差別化: メモリバンクのサンプルのみに依存する先行研究（例：RoTTA）とは異なり、BBSは入力バッチに対して直接作用するため、バランスの取れたバッチが現在のターゲット分布を反映しつつ、不均衡を補正することを保証する。

B. カテゴリ・プロトタイプ誘導型適応 (CPGA)

継続的なドメインシフト下での適応を安定させるため、CPGAはクラス・プロトタイプを利用して特徴学習をガイドする。

• プロトタイプの初期化と更新: クラス・プロトタイプ $\{p_c\}$ はソースモデルの分類器の重みから初期化される。これらは、高信頼度のサンプル（$\gamma_i \geq \tau$）のみを用いて指数移動平均（EMA）メカニズムを介して更新される：
  $$p_c^{(t+1)} = \alpha p_c^{(t)} + (1-\alpha)z_i \quad \text{if } \hat{y}_i = c \text{ and } \gamma_i \geq \tau$$
• プロトタイプ損失: サンプル特徴量とその対応するクラス・プロトタイプ間の距離を最小化するように、教師あり損失が導入される。これにより、クラス内のクラスタリングとクラス間の分離を促進する：
  $$\mathcal{L}_{proto} = \frac{1}{|S|} \sum_{i \in S} (1 - \text{sim}(z_i, p_{\hat{y}_i}))$$
  ここで、$S$ は高信頼度サンプルの集合である。

C. 全体的な最適化

全損失関数は、標準的な一貫性損失（拡張適用下での学生と教師の間）とプロトタイプ損失を組み合わせる：
$$\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \mathcal{L}_{proto}$$
学生モデルは勾配降下法によって更新され、教師モデルはEMAによって更新される。

3. 主な貢献

1. 新規フレームワーク: バッチ・バランス・サンプリングとプロトタイプ誘導型適応を組み合わせることで、PTTA設定におけるクラス不均衡と継続的なドメインシフトの両方に共同で対処する、初のメソッドであるBP-TTAを提案する。
2. バッチ・バランス・サンプリング (BBS): クラス認識型メモリバンクを用いて、不均衡なストリームから動的にバランスの取れたバッチを再構成するメカニズムを導入し、すべてのクラスに対して信頼性の高い疑似ラベルを確保する。
3. カテゴリ・プロトタイプ誘導型適応 (CPGA): 推論中に進化するクラス・プロトタイプを維持する方法を開発し、プロトタイプの類似性を制約として用いることで、疑似ラベルの信頼性と特徴空間の安定性を向上させる。
4. 包括的な評価: 3つのデータセット（CIFAR10-C, CIFAR100-C, ImageNet-C）およびDomainNet-126データセットのPTTA条件下において、最先端のTTA手法（TENT, CoTTA, EATA, SAR, RoTTAを含む）を上回る性能を実証する。

4. 実験結果

論文では、BP-TTAの有効性を検証するための広範な実験が報告されている。

• 性能: BP-TTAは一貫してすべてのベースラインを上回る。CIFAR10-C, CIFAR100-C, ImageNet-Cにおいて、第2位の手法に対してそれぞれ3.08%、1.84%、1.59%の平均精度向上を実現した。
• アブレーション研究:
  • コンポーネントの有効性: BBS単独でもソースモデルと比較してエラー率を大幅に減少させる。CPGA単独では、ノイズの多いプロトタイプ更新により深刻な不均衡下では苦戦する。これらを組み合わせた場合（BBS+CPGA）が最良の結果をもたらす。
  • ハイパーパラメータ: 本手法は、信頼度閾値 $\tau$ や平滑化係数 $\alpha$ の変動に対して頑健である。プロトタイプ損失の重み付け係数 $\lambda=10$ が最適であることが判明した。
  • バッチサイズ: 中程度のバッチサイズが、安定性と応答速度の最適なバランスをもたらす。
• 頑健性:
  • ドメインシフトの頻度: ドメイン変化の頻度が増加しても、BP-TTAはRoTTAよりも緩やかに性能が低下する。
  • 不均衡の深刻度: ディリクレ集中パラメータ $\delta$ が減少する（不均衡がより高まることを示す）場合でも、本手法は安定した性能を維持する。
  • シーケンス順序: ドメインシフトのシーケンスによって高い分散を示すDA-TTAとは異なり、BP-TTAはシフトの順序に関わらず一貫した性能を維持する。
  • モデルアーキテクチャ: 本手法は、大幅な性能低下なしに様々なバックボーンネットワーク（ResNet, WideResNet, ResNeXt）に対して有効である。
• 可視化: t-SNEによる可視化は、CPGAがベースラインのプロトタイプ手法（T3Aなど）と比較して、よりコンパクトなクラス内クラスタと優れたクラス間分離を生み出すことを確認している。

5. 意義と主張

本論文は、BP-TTAが、従来の静的な、あるいは純粋に継続的な適応パラダイムよりも実世界の展開における課題をより正確に反映した、**実用的なテスト時適応（Practical Test-Time Adaptation）**のための堅牢なソリューションを提供すると主張している。

• 実世界の制約への対処: クラス不均衡とドメインシフトの相互作用を明示的に扱うことで、モデルが時間的相関を持つストリーミングデータにさらされた際にしばしば見られる「破滅的な失敗」を防ぐ。
• 安定性: プロトタイプ誘導の統合は学習プロセスを安定させ、分布のドリフト中にモデルが多数派クラスに過学習したり、ノイズの多い疑似ラベルに惑わされたりすることを防ぐ。
• 最先端の性能: 著者らは、本手法が動的なテスト時ストリーミング設定において最先端の性能を達成しており、非定常環境におけるモデルの堅牢性を向上させるための柔軟で実用的なソリューションを提供すると断言している。

本研究は、中国教育部の基礎および学際的分野突破計画、ならびに四川省自然科学基金の支援を受けている。