POSSE-kNN: Pathwise Out-of-Bag Selected Subspace Ensembles for Binary Classification

あなたは、特定の目的地に到達するために、霧の立ち込める深い森の中を最適なルートで進もうとしているところだと想像してください。コンピュータサイエンスの世界では、これは「機械学習」に少し似ています。アルゴリズムがデータに基づいて賢い推測を行おうとするプロセスです。一つの人気のある方法は「k-近傍法（k-nearest neighbors, kNN）」と呼ばれます。kNNを、近くにいる5人の観光客に道を聞く旅行者だと考えてみてください。もしその5人の多くが「左に曲がれ」と言えば、旅行者は左に曲がります。これは単純な方法であり、開けた野原ではうまく機能しますが、曲がりくねった道がある森の中では混乱してしまうことがあります。もし「左に曲がれ」と言っている人々が、長い曲線を描いて並んでいた場合、旅行者が直線距離だけで最も近い人たちだけを見ていると、グループ全体を見逃して迷ってしまう可能性があるのです。

この論文は、まさにその問題に取り組んでいます。デジタルな旅行者が、データの森の中で、どのようにして曲がりくねったトリッキーな道を、行き詰まることなく進めるようにできるのでしょうか？研究者たちは、「隣人に尋ねる」戦略のより優れたバージョンを作り上げています。彼らは単に最も近い人を探しているのではなく、論理的な鎖のように、互いに繋がっている人々を探しているのです。それはまるで、小川に浮かぶ踏み石のようなものです。また、彼らは「アウト・オブ・バッグ（Out-of-Bag, OOB）」スクリーニングと呼ばれる巧妙なテクニックも使用しています。これは、本番の旅が始まる前に、スカウトのグループが自分たちの地図を使って練習走行を行い、自分たちを迷わせなかった地図だけを残しておくようなものです。

論文の物語：道を見つけるためのより良い方法

研究者のザルダッド・カーン（Zardad Khan）とそのチームは、POSSE-kNNと呼ばれる新しい手法を紹介しました。これは、パズルを解こうとしている探検家たちのスーパーチームのようなものだと考えてください。一人の探検家が地図を見る代わりに、彼らは500通りの異なる「候補」となる探検家を作り出します。それぞれが少しずつ異なります。彼らは少し異なるレンズ（ランダムな特徴部分空間）を通して森を見渡し、独自の経路を辿って隣人を見つけます。

この特別な「パスワイズ（Pathwise）」メソッドがどのように機能するかを説明します。あなたがクエリポイント（意思決定を行う必要がある場所）に立っている探検家だと想像してください。

1. 第一歩： あなたは周囲を見渡し、あなたに最も近い一人を見つけます。
2. 連鎖反応： 次に、あなたに最も近い人を探すのではなく、今見つけた「最初の一人」に最も近い人を探します。次に、その人の次に最も近い人を探します。
3. 経路： このようにして、$k$ 人の連鎖ができるまで続けます。これにより、たとえ群衆が曲がっていたり、ねじれていたりしても、群衆の局所的な形状に従う「パス（経路）」が作成されます。これは、単に直線距離で最も近い5人を選ぶよりもずっとスマートです。なぜなら、直線距離で選んだ5人は、奇妙で役に立たない塊の中に集まっている可能性があるからです。

しかし待ってください、500人の探検家は多すぎるノイズになります。中にはナビゲーションが下手な探検家もいるかもしれません。そこで、チームは**アウト・オブ・バッグ（OOB）**スクリーニングを使用します。最終的なレースの前に、チームは500人の探検家それぞれを、訓練に使わなかったデータセットを使って練習走行に送り出します。もし探検家が練習中に迷ってしまったら、チームから外されます。研究者たちは、500人中、最も優れた125人（上位25%）の探検家を残し、彼らに最終的な答えを投票させました。これは、挑戦に失敗したコンテスタントを脱落させ、チャンピオンだけを残して勝者を決定するリアリティ番組のようなものです。

彼らが発見したこと

チームはこの新しいPOSSE-kNNメソッドを、10種類の異なるデータセット（小さな医療記録から大きなエンジニアリングデータまで、10種類の異なるタイプの森のようなもの）でテストしました。彼らは、標準的なkNN、ランダムフォレスト、サポートベクターマシン（SVM）を含む、6つの確立された手法と比較しました。

結果は非常に有望でした。全体的なランキングにおいて、POSSE-kNNはトップに立ちました。

• 精度（Accuracy）： 平均して 0.740 の割合で正解を得ました。これはテストされたすべての手法の中で最も高いスコアでした。
• 信頼性（Reliability）： また、真実との一致度を示す**コーヘンのカッパ（Cohen's kappa, 0.412）と、確率の予測がどれほど自信を持って正しいかを示すブライア・スコア（Brier score, 0.175）**においても、最高のスコアを記録しました。

このメソッドは、10個のデータセットのうち8つで1位になるか、同率1位となりました。しかし、論文はこれがあらゆる問題に対する魔法の杖であるとは述べていません。2つの特定のデータセット（ILPDおよびChscase Vineと呼ばれるもの）では、他の手法の方がわずかに優れた性能を示しました。例えば、Chscase Vineのデータでは、SVMという線形手法の方が優れていました。これは、時には「森」が実は直線であり、複雑な経路は必要ない場合があることを示唆しています。

「隣人の数」という問い

研究者たちはまた、グループのサイズ、つまり隣人の数（$k$）を3、5、または7へと変化させて実験を行いました。彼らは、いくつかの「森」（「Heart」データセットなど）においては、どの数を選んでもメソッドがうまく機能することを発見しました。しかし、他の「森」（「ILPD」など）では、数を変えてもあまり効果がなく、時には別の戦略の方が適していることもありました。これは、パスワイズ・メソッドは強力であるものの、解決しようとしている特定の問題に応じて設定を調整する必要があることを示唆しています。

結論

論文は、POSSE-kNNが強力で競争力のあるツールであることを結論づけています。隣人を見つけるための「踏み石」方式と、厳格な「練習走行」によるフィルタリングを組み合わせることで、トリッキーなデータに対してより優れた分類器を構築できることを示唆しています。これは、機械学習の世界のあらゆる問題を解決したと主張するものではありませんが、データが曲がっていて複雑な場合、直線的に最も近い人を見るよりも、経路を辿る方が優れたアイデアになることが多いということを示しています。著者らは、今後の課題として、いかにしてこれをさらに高速化し、設定を自動的に微調整できるようにするかを挙げていますが、現時点では、コンピュータが現実世界の乱雑で曲がりくねったデータの森をナビゲートするのを助けるための、確かな一歩となっています。