技術的サマリー：共変量シフト下における信頼性較正のための期待値一貫性損失

問題提起

分類モデルにおける信頼性の較正は、安全上重要な意思決定において不可欠であり、予測確率が真の事象の発生確率を反映していることを保証する。しかし、標準的な較正手法は通常、訓練データ（ソース）とテストデータ（ターゲット）が独立同一分布（i.i.d.）であると仮定している。現実世界のシナリオでは、入力特徴量の分布が変化する（$P_s(X) \neq P_t(X)$）が、条件付きラベル分布は不変である（$P_s(Y|X) = P_t(Y|X)$）という共変量シフトが存在し、これらの手法はしばしば機能しない。

共変量シフト下での較正を行う既存のアプローチは、主にグローバルな共変量分布を整合させるための重要度重み付けに依存している。これらの手法には以下のような重大な限界がある：

1. 不安定性: 密度比が大きい場合、不安定になったり、有界でなくなったりする。
2. 範囲: 主にトップラベルの較正のみを対象とし、クラスごとの較正や正準（確率ベクトル全体）の較正を無視している。
3. 理論的オーバーヘッド: 較正された信頼性を達成するためにグローバルな分布整合が必要であると仮定しているが、これは過度に厳しい要件である可能性がある。

手法

本論文は、期待値一貫性条件と、それに対応する損失関数である**期待値一貫性損失（ECL）**を中心とした新しいフレームワークを提案する。

1. 理論的基盤：期待値一貫性条件

著者らは、共変量シフト下における信頼性較正のための必要十分条件を導出した。

• 定理 3.1: 分類器がターゲットドメインで較正されているための必要十分条件は、信頼性スコアが与えられた真の事後確率の期待値がドメイン間で一貫していることである。形式的には、任意のクラス $k$ について：
  $$E_{X \sim P_s(X|S)}[P(Y_k=1|X)] = E_{X \sim P_t(X|S)}[P(Y_k=1|X)]$$
• 示唆: この条件は、グローバルな共変量分布の整合（$P_s(X) = P_t(X)$）が必要ではないことを明らかにしている。入力分布が著しく異なっていても、特定の信頼性レベルに条件付けられた期待精度がドメイン間で一貫していれば、較正は達成可能である。この条件は、グローバルな整合よりも厳密に弱い。

2. 損失関数：期待値一貫性損失（ECL）

導出された条件に基づき、本論文はソースドメインとターゲットドメインの期待値間の不一致を最小化するように設計された、教師なしドメイン適応損失である ECL を導入する。

• 定式化: この損失は、予測された信頼性スコア $S$ に条件付けられた、ソースドメインとターゲットドメインで推定された真の事後確率 $P(Y|X)$ の期待値間の距離を測定する。
  $$L_{ecl} = E_{P_t(S)} \left[ \left| E_{P_s(X|S)}[P(Y|X)] - E_{P_t(X|S)}[P(Y|X)] \right| \right]$$
• 汎用性: このフレームワークは、以下の 3 つの較正パラダイムをサポートする。
  • 正準較正: 確率ベクトル全体を一致させる。
  • クラスごと較正: 各クラスの確率を個別に一致させる。
  • トップラベル較正: 予測されたクラスの信頼性を一致させる。
• 実装: ターゲットラベルなしで $P(Y|X)$ を推定するために、この手法はソースドメイン（またはバックボーンと共同で）に補助的な分類ヘッドを訓練し、真の事後確率を予測する。

3. 最適化と学習可能性

• 微分可能性: 標準的なビン分割は微分不可能であるため、著者らは勾配ベースの最適化を可能にするために、温度パラメータ $\tau$ を用いたソフトでアンカーベースの割り当てを提案する。
• ミニバッチ学習可能性: ミニバッチ上で直接損失を計算すると、ノルム演算子が期待値と可換でないためバイアスが生じる。これを解決するため、著者らは補助変数定式化（定理 3.3）を提案する。ドメインの期待値を近似する学習可能なパラメータ（$u^s_j, u^t_j$）を導入し、交互の近接点更新（アルゴリズム 1）を通じてバイアスのない勾配逆伝播を可能にする。
• サンプル複雑性: 理論的解析により、ECL のサンプル複雑性は $O(B/\epsilon^2)$ であり、期待較正誤差（ECE）に対するヒストグラムビン分割と同等であることが示された（ここで $B$ はビンの数）。

主な貢献

1. 理論的洞察: 期待値一貫性条件の導出。共変量シフト下での較正にはグローバルな共変量整合が不要であることを証明。
2. 新規損失関数: 正準、クラスごと、トップラベルの較正パラダイムすべてと互換性のある統一された損失関数ECLの提案。
3. アルゴリズム的革新: 小規模バッチでの直接ビン分割の限界を克服し、バイアスのない勾配推定を確保するための、理論的根拠に基づいたミニバッチ学習スキームの開発。
4. 包括的評価: シミュレーションデータおよび実世界データセットの両方において、ECL が重要度重み付けや mixup ベースの手法を含む最先端のベースラインを上回ることを実証。

実験結果

この手法は以下のデータセットで検証された：

• シミュレーションデータ: 正規分布および一様分布の共変量シフト。ECL が 3 つのすべてのパラダイムにおいて較正誤差を減少させることを示す。
• 実世界ベンチマーク:
  • 数字認識: MNIST, USPS, SVHN。
  • ドメイン適応: PACS（Photo, Art, Cartoon, Sketch）。
  • 大規模: ImageNet-Sketch。
• 性能:
  • ECL は、TransCal、DRL、PseudoCal などのベースラインと比較して、一貫して最低（またはそれに準ずる）の較正誤差（ECE, CwECE, ECEKDE）を達成した。
  • 高シフトシナリオ（例：SVHN）で顕著な改善が観察された。LeNet-5 において、較正されていない状態のトップラベル ECE が約 61.9% から約 21.5% に減少した。
  • この手法は一般的に分類精度（$\Delta ACC$）を維持、あるいはわずかに向上させ、較正が識別能力の犠牲を伴わないことを示した。
  • 除去実験（アブレーション研究）により、ミニバッチ学習可能なスキームと適応的損失重み付け戦略の必要性が確認された。

意義と主張

本論文は、グローバルな分布整合という従来のパラダイムから離れることで、共変量シフト下における信頼性較正を根本的に再考することを主張する。重要な統計量における局所的一貫性（信頼性を与えられた期待事後確率）で十分であることを確立することで、著者らはより堅牢で柔軟な理論的基盤を提供する。

その意義は以下の点にある：

• 堅牢性: 不安定な重要度重みに依存しない解決策を提供する。
• 一般性: 従来の手法がトップラベルに限定されることが多かったのに対し、主要な較正タイプ（正準、クラスごと、トップラベル）すべてに対する統一アプローチを提供する。
• 実用性: 現代の深層学習ワークフローに適した、効率的でミニバッチ学習可能な最適化を可能にする。

著者らは限界を認め、この手法は事後クラス確率（$P(Y|X)$）が不変であると仮定しており、現在ラベルシフトには対応していないことを指摘している。今後の課題として、共変量シフトとラベルシフトの両方が関与するシナリオへのフレームワークの拡張が提案されている。