技術要約：コスト感受型半教師ありリジェクト推論におけるハードおよびソフトラベル割り当て

1. 問題提起

信用リスクスコアカードは、伝統的に承認された申請者のみを用いて学習される。これは、承認された個人にのみ既知の返済結果が存在するためである。この慣行はサンプル選択バイアスを導入し、モデルが承認された集団に対しては良好に機能する一方で、より広い申請者プールに対しては性能が低下する原因となる。さらに、標準的な分類手法は、信用スコアリングにおける誤分類の非対称なコストを無視することが多い。すなわち、偽陰性（デフォルト者を承認すること）のコストは、偽陽性（優良な支払者を拒絶すること）のコストよりも大幅に高い。

既存のリジェクト推論（Reject Inference）手法の多くは、これらの問題に同時に対処できていない。多くの手法はクラス分布の均衡を仮定しているか、あるいは誤分類コストが等しいものとして扱っており、その結果、経済的な成果が最適化されない。さらに、半教師あり学習は拒絶された申請者をラベルのないインスタンスとして扱うが、特定の拒絶メカニズム（例：Missing at Random）の下での一貫性に関する形式的な理論的保証を提供するフレームワークはほとんど存在しない。

2. 手法：RI-CSCEM

本論文では、半教師ありロジスティック回帰とコスト感受型学習を統合した統一フレームワークであるRI-CSCEM（Reject Inference - Cost-Sensitive Classification Expectation-Maximisation）を提案する。この手法は、ラベル付き（承認済み）の申請者を含むデータセット $D_l$ と、ラベルなし（拒絶済み）の申請者を含むデータセット $D_u$ からなるデータ $D = D_l \cup D_u$ に対して動作する。

2.1 コアアルゴリズム

アルゴリズムは、2つの交互ステップからなる分類EM（CEM）手順に従う。

• Eステップ（ラベル割り当て）:
  拒絶された申請者に単一のハードラベルを割り当てる代わりに、本手法は**ソフトな責任（soft responsibility）**メカニズムを採用する。各ラベルなし申請者 $j$ に対して、コスト加重差分基準が計算される：
  $$\text{Diff}(j) = C_{FN} \log(1 + e^{-z_j}) - C_{FP} \log(1 + e^{z_j})$$
  ここで、$z_j = \beta^\top x_j$ であり、$C_{FN}, C_{FP}$ はそれぞれ偽陰性と偽陽性のコストである。

  この基準は、温度パラメータ $\tau$ によって較正されたシグモイド関数を用いて、ソフトなデフォルト確率 $q_j \in (0, 1)$ にマッピングされる。極めて重要な点として、この割り当てはバランス制約によって制約される。すなわち、拒絶セットにおけるデフォルトの期待割合は、承認された集合（$D_l$）で観察された経験的なデフォルト率 $r$ と一致しなければならない。これにより、すべての拒絶者が単一のクラスに割り当てられるような退化解を防ぐ。

  また、ハードラベル・バリアントも特殊なケースとして定義されている。これは、コスト加重損失が最も低い $\lfloor r \cdot m \rfloor$ 人の拒絶者にハードラベル 1（デフォルト）を割り当て、残りに 0 を割り当てるものである。

• Mステップ（パラメータ推定）:
  モデルは、拡張されたデータセットに対してコスト感受型 $\ell_1$ ペナルティ付きロジスティック回帰を再適合させる。目的関数 $L(\beta, q)$ は以下を組み合わせる：

  1. ラベル付きデータ（$D_l$）に対する加重ロジスティック損失。
  2. ハイパーパラメータ $\lambda \in [0, 1]$ によってスケールされた、ラベルなしデータ（$D_u$）に対するソフト割り当て加重損失。
  3. 特徴量選択とスパース性のための $\ell_1$ ペナルティ（$\mu \|\beta\|_1$）。

  ラベルなしデータの寄与は $\lambda$ によってスケールされ、純粋な教師あり学習（$\lambda=0$）と完全な半教師あり学習（$\lambda=1$）の間の中間的な領域を補間することを可能にする。

2.2 理論的保証

本論文は2つの主要な理論的結果を提供している：

1. 単調減少: ハードラベル・バリアントにおいて、交互のEステップおよびMステップは目的関数の単調非増加を保証し、収束を確実にする。
2. MAR下での一貫性: Missing at Random (MAR) の仮定（拒絶決定が観察された共変量に依存し、観察されないデフォルト結果には依存しないという仮定）の下で、RI-CSCEM 推定量は一貫性を持つ。著者らは、MARの下では承認のみの推定量自体が既に不偏であることを証明しており、したがってリジェクト推論の手順は、推定量を漸近的に改善するものではなく、リジェクト推論が価値を加える場面（具体的にはMARが成立しない場合）を測定するための診断ツールとして機能することを証明している。

3. 主な貢献

1. 統一フレームワーク: RI-CSCEMは、単一のペナルティ付き尤度フレームワーク内で半教師あり学習とコスト感受型学習を統合し、サンプル選択バイアスとクラス不均衡の両方に同時に対処する。
2. ソフト vs ハード割り当て: 本論文は、コスト加重基準に基づいて拒絶された申請者を各クラスに分散させるソフトな責任割り当てを導入している。実験結果は、これがハードな疑似ラベル付けが破壊してしまう識別力を保持することを示している。
3. 理論的厳密性: 本研究は、ハード・バリアントの単調減少性とMAR下での一貫性に関する形式的な保証を確立し、リジェクト推論の必要性を評価するための制御された設定を提供している。
4. 厳格なベンチマーク: 本研究は、従来の型のリジェクト推論、リサンプリング戦略、および半教師ありベースラインを含む12の競合モデルに対し、30回の層化抽出を用いた堅牢な実験デザインを用い、統計的テスト（FriedmanおよびNemenyiテスト）を実施している。

4. 実験結果

手法は Lending Club データ（約127万件の承認済みおよび206万件の拒絶済み申請）を用いて評価された。

• パフォーマンス: 30回の層化抽出において、RI-CSCEMは平均総誤分類コスト 1120.3 を達成した。
• 比較: このパフォーマンスは、最良の承認のみのベースラインである「コスト感受型ロジスティック回帰（1070.4）」および「SMOTEバランス型ロジスティック回帰（1104.7）」と統計的に区別がつかないレベルであった。
• アブレーション研究:
  • コスト感受型加重: 基本的なCEMモデルからコスト感受型加重（CEM+CS）へ移行することで、コストが大幅に減少（1401.5から1215.6へ）し、モデルが「すべて非デフォルト」という自明な解から離れることが示された。
  • ソフトな責任: ハードラベルをソフトな責任（完全なRI-CSCEM）に置き換えることで、コストはさらに減少し（1120.3）、識別力が回復した。これにより、AUCは0.589から0.614へと上昇した。
  • ハード vs ソフト: ハードラベル・バリアント（RI-CSCEM-hard）はCEM+CSと同等の性能を示した（1214.3 vs 1215.6）。これは、ソフトな割り当てがAUC向上の主要な要因であることを裏付けている。
• 統計的有意性: Friedmanテストの結果、すべてのモデル間で性能が等しいという帰無仮説は棄却された（$p < 10^{-3}$）。Nemenyi事後検定により、RI-CSCEMがトップクラスの承認のみのベースラインと同じ統計的に有意なグループに属することが確認された。

5. 意義と主張

本論文は、RI-CSCEMが信用スコアリングの文献における診断的ベースラインを提供すると主張している。その主な意義は、Missing at Random (MAR) な拒絶メカニズムの下では、リジェクト推論は適切に調整されたコスト感受型の承認のみのモデルに対して、ほとんど価値を加えないことを示した点にある。著者らは、MARの下では承認のみの推定量が既に不偏であることを理論的および経験的に証明しており、提案されたフレームワークがそれを裏付けていると述べている。

論文は、リジェクト推論の真の恩恵は、拒絶が観察されない要因に依存する Missing Not at Random (MNAR) のシナリオにおいて現れるはずであると控えめに結論づけている。現在の研究は、MARの下での一貫性を証明し、リジェクト推論を適用した際に性能を向上させる特定の構成要素（コスト感受性とソフト割り当て）を分離することで、将来的な拡張のための厳格な基礎を築いている。著者らは、RI-CSCEMがすべてのレジームにおいてすべてのベースラインを一様に上回ると主張しているのではなく、拒絶メカニズムが無視可能である場合に、ラベルなしデータを扱うための堅牢で理論的根拠に基づいたメカニズムを提供しつつ、MARの下では最強のベースラインと一致することを示している。