An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

この論文を、平易な言葉と日常的な比喩を用いて解説します。

全体像：「正解が多数ある」問題

チェスの勝者を予測しようとしていると想像してください。過去の対局データセットがあるのですが、問題があります。対局の 90% が白の勝利で、黒の勝利は 10% しかありません。これを不均衡データセットと呼びます。

このデータを修正せずにコンピュータモデルを訓練すると、コンピュータは怠け者になります。「白はいつも勝つ」と学習するため、新しい対局すべてに対して「白」と予測します。精度は 90% になりますが、黒の勝利の予測は完全に失敗します。

これを修正するために、データサイエンティストはバランス調整手法を使用します。彼らはスープに材料を加える料理人のように行動します。

• オーバーサンプリング： 稀な「黒の勝利」の対局をコピーして数を増やします（塩をさらに加えるようなもの）。
• アンダーサンプリング： 一般的な「白の勝利」の対局をいくつか捨てて、鍋の量を減らします（余分な水を取り除くようなもの）。

目標は、コンピュータに少数クラスの存在に注意を払わせることです。しかし、この論文は恐ろしい問いを投げかけます：データを修正することは、新たな種類の混乱を生み出さないか？

ラシュモンの効果：「真実が多数ある」現象

この論文は、ラシュモンの効果という概念を用います。犯罪現場を想像してください。5 人の異なる目撃者が、5 つの異なる証言をしています。5 つの証言すべては説得力があり、事実と同等によく合致していますが、互いに矛盾しています。

機械学習において、ラシュモン集合とは、ほぼ同じ性能を発揮する（すべてが「説得力がある」）異なるコンピュータモデルのグループですが、同じ人物や状況に対して異なる予測を行うものを指します。

• モデル A は言います：「このローン申請者は安全です。」
• モデル B は言います：「このローン申請者はリスクがあります。」
• 両方のモデルは、同じ全体の精度スコアを持っています。

もしランダムに（盲目的に）1 つのモデルを選んだ場合、同等に正確な別のモデルが承認したはずの良質な人物に対して、誤ってローンの拒否をするモデルを選んでしまう可能性があります。これを予測の多重性と呼びます。

実験：データをバランス調整するとどうなるか？

著者たちは知りたいと思いました：バランス調整手法（オーバーサンプリング/アンダーサンプリング）を使用することは、この「真実が多数ある」問題を悪化させるか？

彼らは 21 の異なる実世界のデータセット（スパム検出、クレジットカード詐欺、ワインの品質など）を取り出し、「モデル工場」（Forester というツール）に通しました。このツールは、各データセットに対して数百のわずかに異なるモデルを作成します。彼らはこれを 2 回行いました。

1. 元の不均衡なデータを使用して。
2. バランス調整されたデータ（バランス調整手法を適用した後）を使用して。

その後、モデル同士がどの程度食い違っているかを見るために、3 つの指標を測定しました。

1. 曖昧性： どれだけの人が矛盾した回答を得るか？（例：「100 人中 5 人が異なる予測を受ける」）
2. 不一致： 最悪のケースは何か？（例：「特定の 1 つのモデルが、他のモデルと 20 人について食い違う」）
3. 不明瞭性（新しい指標）： これが論文の新しいアイデアです。これは平均的な混乱の量を測定します。「衝突があるか？」と問うのではなく、「衝突は平均してどの程度厄介か？」と問います。データを覆う「霧」を測定すると考えてください。

発見：「修正」が霧を濃くした

彼らが発見したことは以下の通りです。

• バランス調整手法は混乱を増大させる： バランス調整手法（SMOTE やランダムなオーバーサンプリングなど）を使用すると、不明瞭性と不一致が上昇しました。
  • 比喩： パークで迷子の犬を探す状況を想像してください。元のパーク（不均衡データ）では、すべての捜索犬が犬のいる場所について一致しています。しかし、「バランス調整」（より多くの捜索犬を追加したり、地形を変えたりすること）を加えると、捜索犬は異なる方向で吠え始めます。彼らはすべて「良い」犬ですが、場所について合意できません。
• 「部分的」な修正は機能しなかった： 一部の専門家は、この混乱を避けるために「部分的なリサンプリング」（データを 100% ではなく少しだけバランス調整する）を使用することを提案しました。著者たちはこれをテストしましたが、効果はなかったと判明しました。データをどの程度バランス調整しても、混乱は高いまま残りました。
• 変数の重要度が変わった： また、モデルが異なる手がかりを見ていたかどうかも確認しました。例えば、あるモデルは「収入」が最も重要な要因だと考え、別のモデルは「年齢」だと考えるかもしれません。統計的な意味で重要度の順序が劇的に変わったわけではありませんでしたが、バランス調整手法はモデルの全体的な振る舞いを異ならせました。

解決策：新しいダッシュボード

混乱を発生させないようにすることができないため、著者たちはそれを監視する方法を提案しました。

彼らは、拡張パフォーマンス・ゲイン・プロットの使用を提案しました。

• 2 つのダイヤルがあるダッシュボードを想像してください。
• ダイヤル 1（水平）： モデルが正しく予測する能力がどの程度向上するか（パフォーマンス・ゲイン）を示します。
• ダイヤル 2（垂直）： モデル同士がどの程度互いに食い違うか（多重性/不明瞭性）を示します。

教訓： ダイヤル 1 だけを見てはいけません。わずかに精度を向上させる方法（ダイヤル 1 が上昇）が見つかるかもしれませんが、それにより不一致が爆発的に増加する（ダイヤル 2 が大幅に上昇）可能性があります。著者たちは、責任ある決定を下すためには、両方のダイヤルを見る必要があると言っています。

論文の主張の要約

1. 不均衡問題に対してデータのバランス調整は必要ですが、隠れたコストがあります。
2. バランス調整手法は「予測の多重性」を増大させます。 多くのモデルが同等に正確であるにもかかわらず、同じ人々に対して矛盾する回答を与える状況を作り出します。
3. 新しい指標： 彼らは、これらのモデル予測が平均してどの程度「霧がかかっている」か、あるいは矛盾しているかを測定するために「不明瞭性」を導入しました。
4. 部分的なリサンプリングは魔法の弾丸ではありません。 増加した混乱の問題を解決するものではありません。
5. 責任ある AI： モデルを選択する際、それが正確かどうかだけでなく、安定しているかも確認する必要があります。バランス調整手法によって作成された「ラシュモン集合」から盲目的にモデルを選んだ場合、個人を害する恣意的な決定を下すリスクがあります。

この論文は結論として、バランス調整手法は不均衡データを解決するための「避難所」ですが、研究者たちは矛盾する予測の霧の中に盲目で歩み入らないよう注意しなければならないと述べています。彼らは、精度と安定性の間のトレードオフを見るために、新しい「ダッシュボード」（拡張プロット）を使用する必要があります。