技術要約：単一データセットによる結論が失敗する場合

1. 問題提起

クラス不均衡を扱う二値分類に関する文献では、単一のベンチマークデータセットに対して行われた性能評価に基づき、一般的な結論を導き出すことが頻繁にある。この慣習は、介入（リサンプリングや決定閾値の調整など）の効果に関する知見が、特定のデータ分布に起因するアーティファクトではなく、手法自体の特性であると仮定している。

著者は、外部妥当性における重大な欠落を指摘している。たとえ単一データセットを用いた研究が（リークのない）方法論的に厳密であったとしても、その結論が他のタスクに一般化できるとは限らない。具体的には、「十分に較正されたアンサンブル学習には不均衡処理は不要である」というコンセンサスが、より幅広い不均衡比率やモデルファミリーにおいても真実なのか、あるいは、非常に多くベンチマークで使用されているKaggleのクレジットカード不正利用データセットに特有の例外的な現象なのかを、本論文では調査している。

2. 方法論

評価プロトコル

本研究では、内部妥当性を確保するために、厳格な**リークのない入れ子状交差検証（nested cross-validation）**プロトコルを採用している：

1. 外側分割（Outer Split）: 層化 $k$-分割法（不正利用データセットには5分割、45タスク・スイートには3分割）。
2. 内側分割（Inner Split）: 外側の訓練セットを、内側の訓練セットと内側の検証セット（80/20または75/25）に分割する。
3. 前処理: StandardScaler はのみ内側の訓練セットに対して適合（fit）される。SMOTE（合成少数オーバーサンプリング）を使用する場合、それはのみスケーリングされた内側の訓練セットに対して適用される。検証用およびテスト用のフォールドに対して、テストセットの統計量を用いたリサンプリングやスケーリングは一切行わない。
4. 閾値選択: 調整戦略を用いる場合、決定閾値はF1スコアを最大化するように内側の検証フォールドで選択される。テストフォールドは閾値選択には決して使用されない。
5. 報告: 指標（F1、AUPRC、ROC-AUC、較正誤差）は、保持されたテストフォールド上で算出される。

研究設計

本研究は、2つの異なる研究で構成されている：

• 研究A（クレジットカード不正利用）: 標準的なベンチマークの再現。Kaggleのクレジットカード不正利用データセット（284,807件のトランザクション、正例クラス 0.172%、不均衡比 1:577）を使用。5つのモデルファミリー（ランダムフォレスト、勾配ブースティング、MLP、ロジスティック回帰、オートエンコーダ）をテストした。
• 研究B（45タスク・スイート）: 不均衡比が1:1.5から1:178の範囲にわたる45の二値分類タスクを用いた包括的な評価。
  • 構成: 15の実世界のタスク（digits、breast cancer、wineからの標準的な14タスク、およびサブサンプリングされた希少なbreast cancerタスク1つ）と、不均衡、クラス分離、次元数を系統的に変化させるために make_classification を用いて生成された30の合成タスク。
  • 規模: 4つのモデルファミリー（ロジスティック回帰、ランダムフォレスト、ヒストグラム勾配ブースティング、MLP）と4つの戦略（Plain、Tuned Threshold、Class-Balanced + Tuned、SMOTE + Tuned）にわたる2,025件のモデル適合。

主要指標

関心の対象となる主要な指標は、ペアF1差 ($\Delta F1$) である：
$$\Delta F1 = F1(\text{threshold } t^*) - F1(\text{threshold } 0.5)$$
これにより、調整されたモデルとデフォルトの閾値を持つモデルを全く同じテストフォールド上で比較することで、閾値調整の効果を分離して抽出する。

3. 主要な結果

単一データセットの特異性（研究A）

クレジットカード不正利用データセットにおいて、デフォルトの0.5閾値を用いたランダムフォレストは、F1スコア 0.861 ± 0.021 を達成した。

• 閾値調整: 恩恵を与えなかった ($\Delta F1 = -0.002$)。
• リサンプリング (SMOTE): パフォーマンスを低下させた（F1が約2.3ポイント低下）。
• 研究Aのみからの結論: 重度の不均衡がある場合、十分に較正されたアンサンブル学習にとって、不均衡処理は不要であり、むしろ有害である可能性がある。

一般化の失敗（研究B）

同じプロトコルを45タスク・スイートに適用したところ、ランダムフォレストに関する結論は逆転した：

• ランダムフォレスト: スイート全体を通じて、閾値調整から最も恩恵を受けたモデルファミリーとなった ($\Delta F1 = +0.101 \pm 0.134$)。
• その他のモデル: ロジスティック回帰、ヒストグラム勾配ブースティング、MLPは、不正利用データセットと同様の挙動（小さな、あるいは中立的な利得）を示し、ランダムフォレストが不正利用データセットにおける特異的な事例であったことが浮き彫りになった。
• SMOTE: 不正利用データセットでは有害であったが、スイート全体では平均して有益であった ($\Delta F1 = +0.076, p = 2.7 \times 10^{-17}$)。ただし、その恩恵はモデルに強く依存していた（例：MLPでは+0.170に対し、ロジスティック回帰では+0.005）。

非単調な関係

閾値調整の恩恵は、不均衡比に対して単調ではない。それは逆U字型の分布に従う：

• 軽度の不均衡 (< 1:5): 調整はわずかに有害である ($\Delta F1 \approx -0.009$)。
• 中程度の不均衡 (1:15 – 1:40): 調整の有効性がピークに達する ($\Delta F1 = +0.120$)。
• 極端な不均衡 (> 1:100): 恩恵は減少する ($\Delta F1 = +0.045$)。
• 示唆: クレジットカード不正利用データセット（1:577）はこの曲線の「減少」局面にあるため、閾値選択の研究対象としては代表性に欠ける。

較正診断の失敗

モデルの較正誤差（検証セット上）が閾値調整の恩恵を予測するというヒューリスティックを本論文では検証している。

• 結果: この仮説は棄却された。期待較正誤差（ECE）は $\Delta F1$ と相関していない ($r = -0.087$)。ブライア・スコアも、分散の2%未満しか説明できない弱い正の相関 ($r = +0.137$) しか示さなかった。
• 結論: 実務者は、閾値調整を行う価値があるかどうかを判断するために、較正指標を用いることはできない。

4. 貢献

1. 非一般化の証明: 最も多くベンチマークされている不均衡データセット（クレジットカード不正利用）による結論が、不均衡処理の必要性に関するランダムフォレストの知見を逆転させることを示し、一般化が失敗することを具体的に証明した。
2. 一般化可能な傾向の特性付け:
   • 閾値調整は平均的には有益であるが、モデルに強く依存する。
   • SMOTEは平均的には有益であるが、ロジスティック回帰には効果がない。
3. 逆U字型の発見: 不均衡比と閾値調整の恩恵との間の非単調な関係を特定し、極端な不均衡データセットが閾値選択に関する誤った結果をもたらす理由を明らかにした。
4. 診断に関する負の結果: 検証セットの較正誤差が、閾値調整を行うかどうかの判断材料として機能するかどうかについての経験的な拒絶。

5. 意義と主張

本論文は、機械学習の研究において外部妥当性が内部妥当性と同じくらい重要であることを主張している。

• 実務家へ: 閾値調整は計算コストが低く、平均的に有益であるため、ルーチンワークとして検証フォールド上で実行すべきである。しかし、実務家は較正診断に基づいてこのステップをスキップすることを決めてはならず、また、特定のモデルファミリーを考慮せずに、リサンプリングが普遍的に有害か有益かを判断するための「経験則」に頼るべきではない。
• 研究者へ: 単一のデータセットに基づいた不均衡処理手法の一般的な主張（例：「手法XはモデルYには不要である」）は、安全ではない。著者は、そのような主張を裏付けるためには、少なくとも2桁の不均衡比をカバーする12個以上のタスクを用いることを推奨している。
• 査読者へ: 論文の評価はリークのチェックで終わってはならない。査読者は、単一データセットによる結論が一般化可能であるかどうかが検証されているかを問う必要がある。

著者は、閾値調整が常に効果的であると主張しているのではなく、それが効果的（あるいは非効果的）となる条件が複雑かつデータセット依存的であり、単一データセットによる「経験則」がいかに危険であるかを明示している。