Confidence intervals for the random forest generalization error

現代のデータサイエンスの世界において、コンピュータはしばしば、過去に見出されたパターンに基づいて将来の予測を行うよう求められます。住宅価格の予測であれ、病状の診断であれ、あるいは顧客がサービスを解約するかどうかの推測であれ、これらのシステムは大規模な情報セットで学習された複雑なモデルに依存しています。これらのツールを使用する者にとっての中心的な課題は、予測に対してどの程度の信頼を置くべきかを知ることです。モデルが学習に使用したデータに対して優れた性能を示したからといって、それが新しい未知の状況においてもうまく機能することを保証するものではありません。この信頼性を測定するために、科学者たちは伝統的に、データを「モデルを教えるためのもの」と「モデルをテストするためのもの」という2つの山に分割してきました。これは有効な手法ではありますが、データを半分に切り分ける必要があり、精度を明確にするために何度もモデルを再学習させなければならないことが多いため、時間がかかりコストの高いプロセスです。

ランダムフォレストとして知られる特定の種類のモデルは、その性能がどの程度になるかを推定するための巧妙なショートカットを長らく提供してきました。それぞれの木が、データのわずかに異なるバージョンに基づいて学習された意思決定者である「森」を想像してみてください。これらの木が成長する仕組みにより、個々の木は学習データの小さなランコー部分を無視します。つまり、データセット内のあらゆる情報に対して、学習中にその情報を見ることがなかった木のグループが存在することになります。これらの木に対して、その特定の情報を予測させることで、データを分割したり新しいシミュレーションを実行したりすることなく、モデル内に組み込まれた精度のテストを行うことができます。アウト・オブ・バッグ（out-of-bag）推定として知られるこの手法は、数十年にわたり標準的なツールとして提供されており、データの分割や再学習を必要とせずに、モデルの予想される誤差を示す単一の数値を素早く、ほぼ無料に近い形で得る方法を提供してきました。しかし、長い間、この手法は単一の点推定値しか提供できず、ユーザーはその数値を取り巻く不確実性の範囲を把握することができませんでした。

2021年後半に発表された論文の中で、ブラジルのインスパー教育研究機関（Insper Institute of Education and Research）の研究者、パウロ・C・マルケス・F・氏は、この単一の数値を完全な「信頼の範囲」へと変える方法を提案しました。その目的は、ランダムフォレストの学習プロセスによって生じる既存の副産物を利用して、データの分割やモデルの再学習という重い計算コストをかけることなく、信頼区間（真のエラー率が位置する可能性が高い統計的な範囲）を構築することでした。研究者のアプローチは、学習データと、「どの木がどのデータを見逃したか」という記録、および「それらの木が何を予測したか」という情報を一つの完全なパッケージとして扱います。このパッケージを「ブートストラップ」と呼ばれる特定の統計的手法を用いて繰り返し再サンプリングすることで、この手法は起こりうるエラー率の分布を生成します。これにより、モデルの性能に関する不確実性を反映した信頼区間の構築が可能になります。しかも、これはモデルを学習させたのと同じデータを使用して行われます。

この論文は、この手法が計算効率に優れているだけでなく、統計的にも妥当であることを示しています。連続した数値を予測することを目的とする回帰タスクと、項目をカテゴリーに分類することを目的とする分類タスクの両方を用いた広範なコンピュータ・シミュレーションを通じて、研究者は、これらの新しい信頼区間が実際に真のエラー率をどの程度捉えているかをテストしました。10個の入力変数を持つ複雑な数学関数を含む回帰の例と、20個の変数を含む分類の例において、シミュレーションの結果、これらの区間は意図した通りに機能しました。研究者が95パーセントの信頼水準を求めた場合、数千回のシミュレーション試行を通じて、真のエラーは計算された範囲内にほぼ95パーセントの割合で収まりました。さらに、これらの区間の幅は、学習データの量が増えるにつれて予測可能な速度で縮小し、この手法がより大きなデータセットを用いることでより精密になることを裏付けました。

この手法が現実世界の課題においても機能することを証明するために、研究では4つの異なるデータセットにこの手法を適用しました。第一のデータセットは、車両特性に基づいて燃費（マイル毎ガロン）を予測する、自動車の燃費に関する古典的なコレクションです。第二は、正当なメッセージとスパムを区別するための膨大なメールのデータセットです。第三は、住宅価格を予測するために使用されるアイオワ州エイムズの住宅販売の詳細な記録であり、第四は、解約する可能性が高い顧客を特定するための電気通信会社の顧客行動を追跡したものです。各データセットにおいて、研究者は様々な確信度における信頼区間を算出しました。例えば、住宅データの場合、予測誤差に対する95パーセントの信頼区間はおよそ2万3千ドルから2万7千ドルの範囲でした。スパム検出タスクでは、エラー率の区間は、およそ4.1パーセントから5.4パーセントの狭い範囲となりました。これらの結果は、この手法が多様で実践的なアプリケーションに対して、意味のある、解釈可能な境界を提供できることを示しました。

このアプローチの大きな利点は、その速度と簡便さにあります。ランダムフォレストの初期学習中に既に生成されているデータを利用するため、データを繰り返し分割してモデルを再学習させるという骨の折れるプロセスを回避できます。研究者が標準的なノートパソコンを使用してこの手順の実行時間をテストしたところ、4,000件以上のメールを含む最大のデータセットであっても、信頼区間を生成する全工程にわずか1秒強しかかかりませんでした。この効率性により、データサイエンティストは最小限の追加作業で予測モデルの信頼性を定量化できるようになり、日常的な使用におけるアクセシビリティが高まります。また、この研究は、この手法のユニークな特性も強調しています。この手法はエラー自体の分布に基づいているため、結果を問題の自然な単位（住宅価格であればドル、自動車であればマイル毎ガロンなど）に容易に変換でき、不確実性を非専門家にとっても理解しやすいものにしています。

論文は、これらの計算を実行するためのコードがオープンソースのライブラリとして無料で公開されており、他の人々がすぐにこの技術を適用できることを記して締めくくられています。標準的な学習プロセスから得られる隠れた副産物を、堅牢な不確実性の尺度へと変えることで、この研究は、モデルの汎化の限界を理解するための直接的な道筋を提供しています。適切な統計ツールがあれば、ランダムフォレストの性能に関する信頼区間を学習データから直接導き出すことができ、予測モデルが現実世界でどのように通用するかを評価するための、信頼性が高く低コストな方法を提供できることを、この研究は裏付けています。