Contrasting Cost-Agnostic and Cost-Sensitive Losses under Limited Model Capacity via $\mathcal H$-consistency

技術要約：限定されたモデル容量下におけるコスト非依存型損失とコスト感受型損失の対比：H-整合性による考察

問題提起
機械学習において、実務家が汎用的なコスト非依存の目的関数（例：クロスエントロピー）を用いてモデルを訓練し、その後に特定の意思決定タスクのための後処理（例：閾値設定）を適用すべきか、あるいは、ダウンストリームの意思決定タスクをコスト感受型の損失関数を通じて直接訓練の目的関数に組み込むべきかについては、長年の議論が存在する。理想的な設定（無限のデータおよび無限のモデル容量を持つ場合）では、これらのアプローチは統計的に等価であるが、実証的な証拠によれば、限定された容量の設定ではコスト感受型訓練がより優れたタスク特異的な性能を示すことが示唆されている。しかし、このギャップに関する理論的根拠は、特に限定されたモデル容量の設定において、厳密にはまだ解明されていない。

本論文は、以下の2つのアプローチ間の厳密な性能差が生じる条件を調査する：

1. コスト非依存アプローチ： 汎用的なサロゲート損失 $L_{ag}$（例：クロスエントロピー）で訓練し、その後にリンク関数（例：閾値設定）の探索を行う。
2. コスト感受型アプローチ： 閾値探索を必要とせず、ターゲットとなるコスト行列 $\ell$ に直接適合するように設計されたサロゲート損失 $L_{cs}$ を用いて訓練する。

著者らは、モデルクラス $\mathcal{H}$ が「小さい」（限定された容量を持つ）設定、具体的には、最適な決定境界を含むには十分であるが、条件付きラベル分布 $p(x)$ の完全な予測を行うには不十分な設定に焦点を当てる。

手法および理論的枠組み
本論文は、仮説集合 $\mathcal{H}$ 上での期待サロゲート損失の最小化と、ターゲットとなる離散損失 $\ell$ の最小化との関係を分析するために、**H-整合性（H-consistency）**の枠組みを利用する。

• H-整合性： サロゲート $L$ とリンク関数 $\psi$ は、$\mathcal{H}$ 上での期待サロゲート損失を最小化することが、$\mathcal{H}$ 上での期待ターゲット損失の最小化を意味する場合に、$H$-整合的であるとされる。
• 動機付けとなる反例（例1）： 著者らは、最適なコスト感受型決定境界は線形であるが、その傾きがコストパラメータ $\alpha$ に依存するバイナリ分類のシナリオを構築する。しかし、最適なコスト非依存線形分類器（クロスエントロピーを最小化するもの）は、$\alpha$ に依存しない垂直な等高線を生み出す。
  • 重要な洞察： 後処理（閾値設定）は、学習されたモデルの等高線に沿って決定境界をシフトさせることはできるが、傾きを変更することはできない。したがって、もし最適なコスト感受型境界が、コスト非依存の境界とは異なる傾きを必要とする場合、たとえ最適な境界がモデルクラスの幾何学的な能力範囲内にあったとしても、閾値設定によって最適な決定を回復することはできない。
• サロゲートの分析：
  1. コスト非依存サロゲート（例：クロスエントロピー）： 本論文では、線形モデル（$\mathcal{H}_{lin}$）において、コスト非依存サロゲートと閾値探索の組み合わせは、コスト感受型タスクに対して$H$-整合的ではないことを証明している（定理6）。
  2. エンベディング（Embeddings）： 著者らは、「エンベディング」と呼ばれる、区分線形かつ凸なサロゲートのクラス（Finocchiaro et al., 2024）を分析する。これらのサロゲートは、コスト行列 $\ell$ から直接構築される。$P$-最小化可能性（最適な決定境界が $\mathcal{H}$ 内に存在する）および $\mathcal{H}$ の近似的な閉包という仮定の下で、エンベディングは$H$-整合的であることが証明されている（定理9）。これらは、「最適決定をほぼ直接的に誘発する」性質を持つ。
  3. プロパー・スコアリング・ルールの重み付き類似物（例：重み付きクロスエントロピー）： 本論文では、標準的な損失の重み付きバージョンを検討する。これらは、強い仮定（パラメータ空間の凸性と境界達成仮達の仮説の最適性）の下では$H$-整合性を達成できる可能性があるが、著者らは反例（命題11）を通じて、これらの条件が一般には満たされないことを示している。したがって、重み付きの類似物は、限定された容量の設定においてしばしば$H$-整合性に失敗する。

主要な貢献

1. 理論的ギャップの確立： 本論文は、限定されたモデル容量の設定において、コスト感受型アプローチとコスト非依存アプローチの間に厳密な理論的ギャップが存在することを確立した。コスト非依存のサロゲートが、サロゲートの最適仮説とターゲットの最適仮説の間の不一致により、たとえ最適な決定境界がモデルクラスによって表現可能であっても、それを学習できないことを示している。
2. 後処理の限界： 「巧妙な」後処理（閾値探索など）であっても、学習されたモデルの決定等高線（例：線形クロスエントロピーの垂直線）が最適なコスト感受型境界の幾何学と一致しない場合、最適な決定を回復するには不十分であることを形式的に示した。
3. エンベディングのH-整合性： 著者らは、緩やかな分布的仮定の下で、コスト感受型エンベディングが$H$-整合的であることを証明し、小規模モデルにおける使用に対する理論的保証を提供している。
4. 重み付き類似物の条件： 本論文は、重み付きのプロパー・スコアリング・ルールが$H$-整合的であるために必要な、しばしば満たされない特定の条件（仮定3および4）を特定し、それらがエンベディングと比較して脆弱であることを強調している。

実証結果
著者らは、合成データおよびUCIリポジトリのデータセット（German Credit, Student Performance, Diabetes）を用い、線形モデルおよび小規模なニューラルネットワークを用いて理論的知見を検証した。

• 性能ギャップ： コスト感受型サロゲート（特にエンベディングと重み付きクロスエントロピー）は、コスト非依存のサロゲート（クロスエントロピー）と後処理の組み合わせと比較して、コスト感受型損失メトリックにおいて一貫して高い性能を示した。
• エンベディングの優位性： エンベディングは一般に重み付きクロスエントロピーよりも優れた性能を示しており、これはエンベディングは$H$-整合的であるが、重み付きの類似物は保証されていないという理論的結果と一致している。
• マルチクラスの課題： マルチクラスの設定では、コスト非依存モデルの後処理は、閾値探索を行わない場合と比較して性能を悪化させることが多く、これは高次元における閾値探索の複雑さに起因すると考えられる。
• モデル容量： 性能のギャップは、小規模なモデル（線形分類器）において最も顕著である。モデルの容量が増加する（例：4層ReLUネットワーク）につれて、そのギャップは縮まるが、エンベディングは依然として競争力があるか、あるいはより優れた性能を維持している。

意義と主張
本論文は、いつサロゲート損失の選択が意思決定論的な性能に影響を与えるかを特徴付けるための第一歩として位置づけられている。これは、コスト感受型サロゲートを普遍的な解決策として推奨するものではなく、限定されたモデル容量という特定の領域（エッジコンピューティングや高頻度推論など）において、コスト非依存アプローチによる後処理よりも厳密な優位性があることを明確にするものである。

著者らは、自らの結果がトレードオフを浮き彫りにしていることを強調している。すなわち、コスト感受型サロゲートはタスク特異的な性能を向上させる一方で、後処理を通じて未知または変化するコスト行列に適応できるコスト非依存モデル（オムニプレディクター）の汎化能力を犠牲にする。本研究は、モデル容量が限定されており、かつ意思決定コストが既知で固定されているシナリオにおいては、$H$-整合的なサロゲートを用いてコスト感受型の目的関数を直接最適化することが、理論的および経験的に優れていることを示唆している。