Density-Ratio Losses for Post-Hoc Learning to Defer

問題定義
学習による遅延（Learning to Defer: L2D）は、信頼性が最優先される医療や金融などの高リスク領域における機械学習（ML）モデルの展開という課題に対処する。その目的は、モデルの出力が信頼できないと判断された場合、モデルが予測を保留し、代わりに専門家（人間である可能性もある）に委譲できるようにすることである。学習による拒否（Learning to Reject: L2R）がモデル自身の信頼度に基づいて保留を可能にするのに対し、L2D は訓練プロセスに専門家を明示的に組み込むことで、モデルよりも専門家が優位に立つ可能性が高い場合を学習する。

現代の ML における重要な制約として、「事後（post-hoc）」設定がある。これは、事前学習済みのベースモデル $h$ が固定されており、遅延メカニズム（リジェクター）$r$ だけが学習されるという状況である。大規模モデルの再訓練は往々にして費用対効果が極めて低い。既存の事後アプローチは、しばしば単純なヒューリスティック（例：信頼度閾値）に依存するか、専門家が正しくモデルが誤るという点ごとの専門家比較ターゲット（専門家が正しくモデルが誤る場合を予測する）の推定を試みる。しかし、これらの手法は分布シフト下や専門家が特化している場合には失敗する可能性がある。さらに、多くの既存手法は遅延率を調整するために再訓練を必要とし、その適応性を制限している。

手法
本論文は、理想分布と密度比推定に基づいた、新しい事後 L2D フレームワークを提案する。

1. 理想分布: 著者は、「理想分布」を、特定の分類器と損失のペアが低い損失を達成するように、真のデータ分布 $P$ を発散正則化された重み付けで再定義したものと定義する。これには 2 種類が導入される。

   • 周辺理想分布（Marginal Ideal, $Q_m$）: 観測空間 $X$ 上で最適化される。
   • 結合理想分布（Joint Ideal, $Q_j$）: 結合空間 $X \times Y$ 上で最適化される。
     クルバック・ライブラー（KL）発散の場合、これらの理想分布は、ベイズ事後確率における分類器（または専門家）の期待損失に依存する重みを持つ、データ分布の乗法的な重み付けであることが示される。

2. 密度比に基づく遅延則: 二値のリジェクターを直接学習する代わりに、著者はモデル $h$ と専門家 $h^{(e)}$ の理想分布を比較することで遅延を定義する。遅延の決定は、密度比 $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$ に閾値を適用することで行われる。

   • 観測 $x$ が専門家の理想分布によってよりよく説明される場合（すなわち、比が低い場合）、モデルは遅延する。
   • このアプローチは、スコアラー（密度比推定器）と遅延閾値を自然に分離し、スコアラーを再訓練することなく訓練後に遅延率を調整可能にする。

3. 理論的関連性:

   • チャウの規則（Chow's Rule）: 周辺 KL 理想分布の場合、導出された規則は元のデータ分布下での古典的なチャウの規則を回復する。
   • 専門家偏り事後分布（Expert-Tilted Posterior）: 結合 KL 理想分布の場合、この規則は「専門家偏り」分布下でのチャウスタイルの決定に対応する。この分布は専門家の損失に基づいてラベルを再重み付けし、実質的に専門家の比較優位を遅延決定に組み込む。
   • 仮説検定: 遅延則は、モデルの理想分布と専門家の理想分布を区別するネイマン・ピアソン仮説検定として枠組み付けられる。

4. DR CPE 損失: 理想分布は未知のベイズ事後確率に依存し、テスト時には利用できない点ごとの専門家アクセスを必要とするため、著者は閉形式解を使用できない。その代わり、**密度比推定（DRE）をクラス確率推定（CPE）**に帰着させる。

   • 著者は、モデルと専門家の理想分布間の密度比を二値分類タスクを通じて学習することを可能にする、DR CPE 損失（$L_m$ および $L_j$）の一族を導出する。
   • **結合 DR CPE 損失（$L_j$）**は実用的に推定可能であり、周辺損失（$L_m$）の上界となることが示される。
   • 本論文は、このアプローチと既存の専門家比較推定手法（例：ゼロワン精度の差への回帰）や異常検知との関連性を確立する。

主な貢献

• 分布論的定式化: 本論文は、点ごとの性能推定ではなく、モデルと専門家の理想分布を比較する事後 L2D フレームワークを導入する。
• 周辺対結合理想分布: 周辺理想分布と結合理想分布の区別を分析し、結合則が専門家偏り分布下での遅延に対応することを示す。これは専門家の特定の強みを考慮する点で実用的に意味がある。
• DR CPE 損失: 著者は、標準的なクラス確率推定を通じて遅延則を学習可能にする新しい損失関数の一族（DR CPE）を導出し、理論的な理想分布と実用的な学習の間のギャップを埋める。
• 適応性: この手法はスコアラーと閾値を分離し、再訓練なしで遅延率を調整可能にする。

実験結果
著者は、CIFAR-100 および MedMNIST データセットにおいて、ラベルノイズ、長尾分布、専門家サブセットなど、さまざまな汚損設定下でDR CPEアプローチを評価した。

• 競争力: DR CPE アプローチは、信頼度ベースのヒューリスティック、2 段階の代理損失手法、専門家比較推定器を含む一般的なベースラインに対して競争力のある性能を示した。
• 頑健性: この手法は、ベースラインと比較して、さまざまなデータセット汚損の組み合わせにおいて優れた頑健性を示した。例えば、他の手法が専門家サブセット（例：DermaMNIST 専門家）で著しく困難に直面するのに対し、DR CPE は安定した性能を維持した。
• アブレーション: 実験により、損失関数の選択（例：一般化クロスエントロピー対確率的ゼロワン）や温度パラメータ $\gamma$ が性能に影響を与えることが示されたが、結合 DR CPE アプローチは頑健であった。

意義と主張
本論文は、事後 L2D を理想分布間の密度比学習の問題として再定義すると主張する。この視点は以下の点をもたらす。

• 古典的なチャウスタイルの規則と現代の専門家比較手法の間のギャップを埋める。
• 異常検知などの関連する学習設定との関連性を解明する。
• 大規模モデルの再訓練という制限と、高リスクかつシフトした環境における単純なヒューリスティックの不安定性に対処する、理論的に裏付けられ、実用的に頑健で適応的な手法を提供する。

著者は、自らのアプローチが代理損失に対する一貫性の保証を提供しない（一部のエンドツーエンド手法と比較した理論的限界）ものの、完全なモデル再訓練を必要とせずに専門家の情報を効果的に活用する、実用的で頑健な事後遅延の解決策を提供していると指摘している。