技術的サマリー：テスト時適応における認識的不確実性のための MMD ボールを信用集合として用いること

1. 問題定義

本論文は、テスト時適応（TTA）における重要なギャップに取り組む。既存の手法（エントロピー最小化や正則化など）は分布シフト下でのモデル精度を向上させるが、シフトの大きさと予測の信頼性を結びつける形式的な保証は欠いている。自動運転や医療画像診断などの安全性が重要な領域において、モデルはソース訓練分布（$P_s$）と異なるターゲット分布（$P_t$）に遭遇した際に、沈黙して劣化する可能性がある。

現在の不確実性定量化手法は、しばしば偶然的不確実性（固有のデータノイズ）と認識的不確実性（データ生成プロセスに関する知識の不足に起因する不確実性）を混同している。さらに、分布シフトの関数としてリスクがどのように劣化するかについての形式的な境界を提供できていない。著者らは、以下の核心的な問いを形式化した：「分布シフトの関数としてターゲットリスクを有界化し、実行可能な認識的不確実性を提供できるか？」

2. 手法と理論的枠組み

本論文は、PAC-ベイズ理論、カーネル平均埋め込み（MMD）、およびウォリーの不正確確率理論を統合した統一的な枠組みを提案する。

2.1 核心的な定義

• RKHS-リプシッツ損失（仮定 1）： 条件付き期待損失関数 $L(w, \cdot)$ は、有界ノルム $\|L(w, \cdot)\|_\mathcal{H} \leq L_H$ を持つ再生核ヒルベルト空間（RKHS）$\mathcal{H}$ に属すると仮定される。これにより、カーネルの性質を用いてリスクの差を有界化できる。
• MMD 誘発信用集合： 著者らは、ソース分布を中心とした MMD ボールとして、妥当なターゲット分布の集合を定義する：
  $$C_\varepsilon(P_s) = \{Q \in \mathcal{P}(\mathcal{X}) : \text{MMD}(P_s, Q) \leq \varepsilon\}$$
  ウォリーの理論を通じて解釈すると、この集合は分解能 $\varepsilon$ においてソースと区別できないすべての分布を表し、認識的不確実性を定量化する信用集合を形成する。

2.2 理論的導出

1. MMD ペナルティ付き PAC-ベイズ境界（定理 1）：
   著者らは、ターゲットリスク $R_{P_t}(\rho)$ に対する一般化境界を導出する。この境界には、MMD に依存するシフトペナルティが明示的に含まれる：
   $$R_{P_t}(\rho) \leq \hat{R}_{P_s}(\rho) + \sqrt{\frac{KL(\rho\|\pi) + \log(2\sqrt{n}/\delta)}{2n}} + L_H \cdot \text{MMD}(P_s, P_t)$$
   これはリスクを以下の要素に分解する：(i) 偶然的不確実性（経験的リスク）、(ii) 推定不確実性（PAC-ベイズ的複雑性）、(iii) 認識的シフトペナルティ（MMD に比例する線形項）。

2. 有限サンプル版（定理 3）：
   母集団 MMD は未知であるため、本論文は不偏 MMD 推定量 $\widehat{\text{MMD}}_u$ と、サブガウス集中不等式から導出された集中項 $\varepsilon_{m,n}$ を用いた計算可能な境界を提供する。この境界は確率 $1-\delta$ で成立し、ミニマックス最適レート $O(1/\sqrt{n})$ を達成する。

3. リスク分解（系 9）：
   信用集合上で下限（$\underline{R}_\varepsilon$）と上限（$\overline{R}_\varepsilon$）のリスクを定義することで、この枠組みは不正確性区間を導き出す。この区間の幅は、認識的不確実性（シフトペナルティ $L_H \cdot \varepsilon$ と複雑性に起因）と、偶然的不確実性（経験的リスクに捕捉される）を分離する。

4. 幾何学的保存（命題 10）：
   本論文は、RKHS における測地歪みの境界を確立する。有界な特徴写像の仮定の下では、ソースとターゲットの近傍間の局所的特徴幾何の歪みが MMD によって制御されることを示す。これは、エントロピーベースの手法が稀なクラスの領域を崩壊させる可能性があるのに対し、カーネル誘導適応が稀なクラスの構造をよりよく保存する理由についての理論的説明を提供する。

3. 主要な貢献

本論文は、以下の 4 つの主要な理論的貢献を主張する：

1. MMD シフトペナルティ付き PAC-ベイズ境界： 分布シフトの大きさがリスクの劣化を明示的にパラメータ化する一般化境界（定理 1）およびその有限サンプル対応（定理 3）。
2. 信用集合解釈： MMD ボールを信用集合として解釈する新たな解釈（命題 7）であり、妥当な分布の全体集合に対する最悪ケースリスク保証を提供する。
3. 不確実性分解： 認識的不確実性（分布シフト）と偶然的不確実性（タスクの難易度）を分離する形式的な下限 - 上限リスク分解（系 9）。これは Hüllermeier & Waegeman (2021) による原理的な不確実性分離の要請に応えるものである。
4. 測地保存： カーネル誘導適応が局所的特徴多様体を保護する理由を説明する境界（命題 10）であり、稀なクラスの崩壊に対する頑健性の理論的基盤を提供する。

4. 結果と示唆

• 適応の決定基準： 不正確性区間 $[\underline{R}_\varepsilon, \overline{R}_\varepsilon]$ は決定基準として機能する。上限リスクが許容閾値 $r_{max}$ を超えるが下限リスクは超えない場合、適応が正当化される。もし下限リスクがすでに $r_{max}$ を超えている場合、適応は無駄とみなされる。
• 仮説検定との関連： 信用集合の幅 $\varepsilon$ は、MMD の 2 標本検定の漸近的な帰無分布を用いて較正でき、古典的な統計的検定と認識的不確実性定量化を結びつける。
• 稀なクラスへの頑健性： 幾何学的保存の境界は、MMD を制御することで局所的特徴多様体の歪みを防止することを示唆しており、エントロピー最小化と比較したカーネル誘導 TTA 手法の頑健性に対する形式的な論拠を提供する。

5. 意義と主張

本論文は、MMD 誘発信用集合を通じて TTA の不確実性を定式化した最初の論文として位置づけられ、PAC-ベイズ一般化、カーネル手法、不正確確率を統合する。

• 信頼性の高い展開： この枠組みは、認識的不確実性（信用幅によって測定される）が許容閾値を超えた際に、棄権やフォールバック機構をトリガーすることを可能にし、認識的知性の目標と整合する。
• 形式的保証： ヒューリスティックに依存する既存の TTA 手法とは異なり、このアプローチはシフトの大きさとリスクを結びつける形式的かつデータ依存の境界を提供する。
• 適合性予測との関係： 著者らは、適合性予測が予測的不確実性（周辺カバレッジ）を扱うのに対し、彼らの信用幅 $\varepsilon$ は分布論的認識的不確実性を扱うと指摘する。彼らは、$\varepsilon$ が適合性予測器のカバレッジレベルを適応させるような将来の組み合わせを提案するが、この組み合わせに関する実験結果は提示していない。

認められた限界：
本論文は、仮定 1（RKHS-リプシッツ損失）がソフトマックス出力を持つ深層ネットワークに対して非自明であることを認めているが、RBF カーネルの普遍性が形式的ではない支持を提供すると述べている。また、仮定 2（有界な特徴写像）は特定の領域（例：NTK、スペクトル正規化）では近似的に成立するが、アーキテクチャ固有のさらなる分析が必要であると指摘している。MMD の収束レートはミニマックス最適であるが、適応的カーネル選択なしには実際には緩い可能性がある。