技術報告書サマリー：TTA-DAME

タイトル: Test-Time Adaptation with Domain Augmentation and Model Ensemble for Dynamic Driving Conditions
著者: Dongjae Jeon, Taeheon Kim, Seongwon Cho, Minhyuk Seo, Jonghyun Choi (延世大学)

1. 問題定義 (Problem)

自動運転における物体検出タスクにおいて、テスト時にドメインシフト（例：晴天から雨天、昼から夜への急激な変化）が発生する「動的な環境」への対応が課題となっています。

• 背景: 学習データ（ソースドメイン）は主に晴天の昼間データに偏っており、夜間や悪天候などのターゲットドメインデータは不足しています。
• 課題: 従来のモデルは、テスト中にドメインが連続的に変化する状況（Test-Time Adaptation: TTA）において、過学習を起こしたり、ドメインの急激な変化（特に昼から夜）に対応できず、性能が低下するリスクがあります。
• 目標: 教師なしでテストデータに適応し、変化する天候や時間帯において最適な物体検出性能を維持すること。

2. 提案手法 (Methodology)

著者らはTTA-DAME（Test-Time Adaptation with Domain Augmentation and Model Ensemble）を提案しました。この手法は、ドメイン判別器、ドメイン拡張、モデルアンサンブルを組み合わせることで、動的な環境変化に対応します。

2.1. 全体アーキテクチャ

入力された動画フレームに対して、以下のフローで処理を行います：

1. ドメイン判別器 (Domain Discriminator): 入力画像が「昼」か「夜」かを判別します。
2. 分岐処理:
   • 夜間と判定された場合: 夜間用に特化した検出器（Night Detector）を使用します。
   • 昼間と判定された場合: 平均教師モデル（Mean-Teacher）に基づく適応モデルと、複数の検出器をアンサンブルして予測を行います。

2.2. 主要なコンポーネント

A. 確率的復元 (Stochastic Restoration)

• 目的: 特定のターゲットドメインへの過学習を防ぎ、異なるドメインへの適応能力を維持する。
• 手法: 学習中の学生モデル（Student Model）の重みを、確率的にソースドメインで事前学習された初期重みにランダムに復元します。これにより、モデルが新しいターゲットドメインに適応するための堅牢な出発点を維持します。

B. ドメイン拡張 (Domain Augmentation)

• 目的: ソースドメイン（晴天・昼間）とターゲットドメインのギャップを埋める。
• 手法: 学習データに対して、明るさ、コントラスト、色温度を調整し、automold ライブラリを用いて様々な天候や時間帯をシミュレートします。これにより、多様な条件下で学習されたモデルを構築します。

C. 夜間検出器とドメイン判別器

• 夜間判別: 画像を単純に暗くする処理でも昼夜の判別が可能であることを実証し、EfficientNet-B7 を用いた判別器を構築しました（昼夜判別精度 94.5%）。
• 夜間特化モデル: 夜間と判別された場合、Mean-Teacher モデルが夜間ドメインへの適応を放棄し、代わりに夜間用に調整された専用検出器が予測を行います。これにより、昼間の天候変化への適応と夜間処理を分離し、それぞれの性能を最大化します。

D. 可視性向上変換 (Visibility-Boosted Transformation)

• 課題: 霧や大雨など、物体が不明瞭になる条件下では、ドメイン拡張が逆に性能を低下させる可能性があります。
• 手法: フレームのピクセル平均値と標準偏差に基づき、不明瞭な条件（平均値が高く、標準偏差が低い）を判定します。これらに対してコントラストと明るさを調整する直接変換を適用し、物体の境界を明確化します。

E. モデルアンサンブル (Model Ensemble)

• 構成: 3 つのモデルを組み合わせます。
  1. ソースドメインで学習済みの DINO（Transformer ベース）。
  2. ドメイン拡張データで微調整されたマルチドメイン用 DINO（Mean-Teacher 適応中）。
  3. YOLOv8（多様性を持たせるため）。
• 統合: Soft-NMS（Non-Maximum Suppression）を用いて予測を統合します。重なり合う物体の信頼度を完全に抑制するのではなく、調整することで有効な予測を保持します。
• 戦略: 適応の初期段階ではソースモデルの重みを低く設定し、過学習を防ぎます。適応が進むにつれて、各モデルの寄与を均等化し、ソース知識の忘却（Catastrophic Forgetting）を防ぎつつターゲットドメインへの適応を促進します。

3. 実験結果 (Results)

SHIFT ベンチマークの検証データセットを用いた評価結果は以下の通りです。

• 主要指標:

  • AP (Average Precision): 49.4%（ベースライン比 +2.3%p）
  • AR (Average Recall): 62.2%（ベースライン比 +4.5%p）

• 各コンポーネントの寄与 (アブレーション研究):

  • Stochastic Restoration: AP +0.7% の向上（過学習防止の有效性を確認）。
  • Domain Augmentation: 追加で +0.3% 向上。
  • Domain Discriminator & Night Detector: 昼夜の分離により、さらに +0.4% 向上。
  • Visibility-Boosted Transformation: 悪天候条件下で +0.3% 向上。
  • Model Ensemble: 最終的に AR が +3.1%p 大幅に向上し、全体の性能を最大化しました。

• 定性的評価:

  • 提案手法は、ベースラインモデルが背景を物体と誤検知するアーティファクトに対して頑健でした。
  • 一方で、極端なケース（物体に似た背景）では依然として誤検知が発生する課題が残っています。

4. 主要な貢献と意義 (Key Contributions & Significance)

1. 動的環境への適応戦略: 昼と夜という大きなドメインギャップを「分岐処理（判別器＋特化モデル）」で解決し、Mean-Teacher モデルが昼間の天候変化に集中して適応できるようにした点。
2. 過学習防止と知識維持: 確率的な重み復元と、ソース知識を保持するためのモデルアンサンブル戦略により、テスト時の連続的なドメインシフトに対しても安定した性能を維持する仕組みを構築しました。
3. 実用的な前処理: 悪天候による視界不良に対して、ドメイン拡張だけでなく、ピクセル統計に基づく「可視性向上変換」を提案し、検出精度を向上させました。
4. SHIFT チャレンジでの成果: 提案手法は SHIFT ベンチマークにおいて、単一のベースラインモデルと比較して顕著な性能向上（AP 49.4%, AR 62.2%）を達成し、TTA 分野における有効性を実証しました。

5. 結論

TTA-DAME は、ドメイン拡張、ドメイン判別による特化モデルの活用、そして多様なモデルのアンサンブルを統合することで、自動運転における動的な天候・時間帯変化に対する物体検出の課題を効果的に解決する手法です。特に、テスト時に教師なしで適応しつつ、ソース知識を保持するバランスの取れたアプローチは、実世界の自動運転システムにおける堅牢性を高める上で重要な示唆を与えています。