技術的サマリー：不均衡データからの焦点型 PU 学習

1. 問題定義

本論文は、極端なクラス不均衡と検出が困難な陽性例に特徴づけられる状況における陽性・未ラベル（PU）学習の課題に取り組む。多くの実世界応用（例：不正検出、疾患関連遺伝子の同定、財務虚偽報告の検出）において、訓練データは少数のラベル付き陽性インスタンスと、大規模な未ラベルインスタンスのプールから構成される。この未ラベルプールは陰性インスタンスが支配的であるが、隠れた陽性例も含まれている。

既存の PU 学習手法は、実用的な設定では失敗する単純化された仮定に依存することが多い：

• クラス不均衡： 多くの手法はバランスの取れた分布を仮定するか、十分なラベル付き陽性データに依存するが、陽性クラスが過小表現されている状況では、これは稀である。
• ラベリングメカニズム： ほとんどの手法は、ラベル付き陽性データがすべての陽性データのランダムな部分集合であるとする**完全ランダム選択（SCAR）仮定を前提としている。しかし、実世界のデータは、陰性に類似する陽性例がラベル付けされる可能性が低いというランダム選択（SAR）仮定や確率的ギャップ（PG）**仮定に従うことが多い。
• 困難な陽性例： 陽性例が陰性分布と著しく重なる場合（PG 状況）、標準的なリスク推定量はそれらを区別するのに苦しみ、性能が低下する。

著者らは、現在の最先端手法（例：nnPU、PUHDT）は、SAR/PG 仮定下では失敗するか、または高度に不均衡な設定で頑健ではない可能性のあるデータ操作（リサンプリング、2 段階フィルタリング）に依存していると主張している。

2. 手法

提案手法であるiFPU（Imbalanced Focused PU）は、PU 学習フレームワークにFocal Lossを統合した新しい非負リスク推定量を導入する。

2.1 理論的基盤

このアプローチは、PU 学習のための不偏リスク推定量（uPU）と非負リスク推定量（nnPU）に基づいている。標準的な PU 学習において、リスク $R(g)$ は、ラベル付き陽性データ（$P$）と未ラベルデータ（$U$）を用いて近似され、陰性リスク項 $R_N^-(g)$ を $U$ と $P$ を含む式に置き換えることで算出される：
$$\tilde{R}_{PU}(g) = \pi_P \tilde{R}_P^+(g) - \pi_P \tilde{R}_P^-(g) + \tilde{R}_U^-(g)$$
ここで $\pi_P$ はクラス事前確率である。ニューラルネットワークにおける過学習を引き起こす負の経験リスクを防止するため、nnPU 手法は非負制約を適用する：$\max\{0, \tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g)\}$。

2.2 焦点型リスク推定量

著者らは、不均衡な設定では標準的なリスクが未ラベルデータに支配され、モデルが少数の識別困難な陽性例を軽視する傾向があると指摘する。これを解決するため、標準的な交差エントロピー損失をFocal Loss [50] に置き換える。

Focal Loss は、簡単な例（正しく分類される確率が高い例）の重みを下げ、困難な例の重みを上げる。確率 $p_t$ に対する Focal Loss は以下のように定義される：
$$FL(p_t) = -(1-p_t)^\gamma \log(p_t)$$
ここで $\gamma$ は焦点パラメータを制御する。

著者らは、PU リスク方程式内の標準的な損失項を Focal Loss の定式化に置き換えることで、iFPU リスク推定量を導出した：
$$\tilde{R}_{iFPU}(g) = \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (1-g(x_i))^\gamma \log(g(x_i)) + \max\left\{0, \frac{1}{n_U} \sum_{i=1}^{n_U} -(g(x_i))^\gamma \log(1-g(x_i)) - \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (g(x_i))^\gamma \log(1-g(x_i)) \right\}$$

2.3 訓練手順

訓練プロセスは確率的最適化（SGD）を利用する。アルゴリズムの重要な特徴は、非負制約の扱いにある：

• 項 $(\tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g))$ が非負の場合、モデルは完全なリスクの勾配を用いてパラメータを更新する。
• 項が負の場合（過学習または非負制約の違反を示唆）、モデルは単に勾配を無視するのではなく、その差項に対して勾配上昇ステップを実行し、非負性に戻すように押し上げる。

この手法は、データ前処理やリサンプリングを必要とせず、コスト最小化に基づく任意の分類器（MLP、XGBoost など）と互換性のあるエンドツーエンドの設計となっている。

3. 主要な貢献

1. 新規リスク推定量： Focal Loss を用いて不均衡な PU データに特化した非負リスク推定量を導出。これにより、分類が困難な陽性例を明示的にターゲットとする。
2. 仮定の緩和： 本手法はSCARおよびSAR仮定の両方で評価され、ラベリングバイアスが存在する状況（すなわち、陰性に類似する陽性例がラベル付けされにくい状況）における頑健性を示した。
3. エンドツーエンド統合： 信頼できる陰性例をまず特定する必要がある 2 段階手法とは異なり、iFPU は標準的な分類器（MLP および XGBoost）の訓練ループに直接統合される。
4. 実世界での検証： 本手法は、エラーの検出が遅れるために PU データが自然に生じるという挑戦的な実世界の問題である財務虚偽報告の検出に適用された。

4. 実験結果

著者らは、iFPU を14 の公開不均衡データセットと、実世界の財務データセットで評価した。

4.1 ベンチマークデータセット

• 設定： 不均衡比が異なる 14 のデータセット。25%、50%、75% の陽性例がラベル付けされた状態で、SCAR および SAR 仮定のもと実験を実施。
• 比較対象： uPU、nnPU、i-nnPU、NNIF（2 段階）、PUHDT、PUHRF、LBE、SAREM と比較。
• 性能：
  • SCAR下では、iFPU（XGBoost 使用）は最先端のPUHRF（PU Hellinger Random Forest）と同等の結果を達成し、ほとんどのケースで統計的に有意な差はなかった。
  • より困難なSAR仮定下では、iFPU はほとんどの競合手法を大幅に上回った。最も困難なシナリオ（ラベル付き陽性例 25%）において、iFPU は PR-AUC で PUHRF より5 パーセントポイント上回った。
  • 本手法はクラス事前確率の推定誤りに対して頑健であり、事前確率が著しく過小評価された場合でも性能を維持した。

4.2 実世界応用：財務虚偽報告の検出

• 背景： 2003 年から 2014 年の年次報告書における財務虚偽報告の検出。虚偽報告は稀であり、数年間検出されないことが多い（SAR/PG 状況）。
• 設定： 教師ありベースライン（Calibrated Focal Loss を用いた TabTransformer、Fin-SVM、RUSBoost）および PU 手法（PUHRF）と比較。
• 結果：
  • 提案されたiFPUXGBは、R-precisionで**19.95%**という最高値を達成し、以前の最先端モデルである TabTransformer（17.63%）および PUHRF（18.22%）を上回った。
  • 結果は、未ラベルデータを陰性として扱うのではなく、隠れた陽性例を認識して PU 学習として問題をモデル化することが、著しく優れた性能をもたらすことを示している。

5. 意義と主張

本論文は、iFPUが、特に確率的ギャップ仮定が成り立つ不均衡な設定における PU 学習のための最先端ソリューションであると主張している。

• 頑健性： 複雑なデータ操作やリサンプリングを必要とせずに SAR 仮定下で良好に機能する本手法の能力は、既存の樹木ベースまたは 2 段階手法に対する主要な利点として強調されている。
• 実用性： 財務虚偽報告の検出への成功した適用は、ラベル付きデータが希少で偏っている高リスクの実世界ドメインにおける本手法の実用性を示している。
• 柔軟性： 様々な分類器（MLP、XGBoost）と互換性のあるリスク最小化フレームワークに依存することで、このアプローチは専用 PU アルゴリズムに対する柔軟な代替案を提供する。

著者らは、公平な比較を確保するためにハイパーパラメータ調整を回避したが、XGBoost および Focal Loss パラメータのさらなる最適化により、さらに強力な結果が得られる可能性があることを控えめに指摘している。また、較正のための温度スケーリングや多クラス設定への拡張を今後の研究課題として特定している。