巨大で、もつれた結び目のような問題に直面しているところを想像してみてください。コンピュータサイエンスの世界、特に機械学習と呼ばれる分野では、顧客が製品を購入するかどうか、あるいは患者がある疾患を持っているかどうかを推測するように、コンピュータに「最善の」方法を見つけ出すよう求めることがよくあります。長い間、科学者たちは、通常、ただ一つの完璧な答え、つまり唯一無二の「黄金のモデル」が存在すると信じてきました。しかし、この物語には「羅生門効果（Rashomon effect）」と呼ばれる、非常に興味深いひねりがあります。有名な映画にちなんで名付けられたこの効果は、全く異なる複数のモデルが、ほぼ同じ性能を発揮するという現実を表しています。それらはすべて「十分に良い」ものですが、使う手がかりやデータの見方が全く異なる場合があります。

なぜこれが重要なのでしょうか？ なぜなら、もしあなたがその一つの「黄金の」モデルだけを探しているとしたら、他にも存在する、同等に優れた代替案の群れを見逃してしまうかもしれないからです。それらの代替案の中には、より安全であったり、理解しやすかったり、あるいはより公平であったりするものがあるかもしれません。これを研究するために、研究者たちは「羅生門集合（Rashomom set）」、つまり、ほぼ完璧なモデルの全集合を探します。課題は、この集合を見つけることが、まるでビーチにある砂粒を一つ残らず数えようとするような作業であることです。これは、データが単なる「はい」か「いいえ」（赤か青かのような）ではなく、温度や身長、価格のように、いくらでも分割可能な数値を含む「連続的な特徴量」を含んでいる場合、非常に膨大で混沌とした作業になります。

ここで、新しい研究が登場します。彼らは「ArborEnum」と呼ばれる巧妙な新しいツールを紹介しています。研究者たちを、濃い霧に包まれた森を地図に描き出そうとしている探検家だと考えてみてください。以前は、もし彼らが森を地図に描こうと思ったら、管理しやすくするために、森を整然とした正方形のグリッド（格子）状に切り刻まなければなりませんでした（これは「二値化（binarization）」と呼ばれるプロセスです）。しかし、そうすることで、彼らは野生のままの、連続的な景観の中に存在する隠れた小道や、珍しい木、あるいは重要な近道を見逃してしまうことがありました。論文の著者たちは、この「コンパス」を新たに作り上げました。これにより、彼らはデータを事前に切り刻むことなく、あるがままの滑らかな連続曲線を持つ森を探索することができるようになったのです。彼らは、データの滑らかさを無視することで、古い手法がいかに多くの「優れた」モデルを見逃していたかを明らかにしました。彼らの新しい手法は、これらのモデルを以前よりもはるかに速く、時には数百倍も速くリストアップすることができます。さらに素晴らしいことに、彼らは、最初は大まかなスケッチから始まり、実行時間を長くするにつれて詳細に洗練されていく「スマートな」バージョンを作成しました。つまり、十分な情報が得られた時点でいつでも停止できるのです。彼らは、実験を通じて、このアプローチが単に時間を節約するだけでなく、古いグリッドベースの手法が見落としていた重要な特徴やモデルのバリエーションをも発見できることを証明しました。

森とグリッドの物語

あなたがミステリーを解こうとしている探偵だと想像してください。あなたには手がかりの山があり、犯人を特定するための決定木（フローチャートのようなもの）を作る必要があります。通常、あなたは「容疑者は身長が180cm以上か？」とか「容疑者は帽子を被っているか？」といった質問を投げかけます。昔は、コンピュータサイエンティストは、決定木を作り始める前に、あらゆる手がかりを単純な「はい」か「いいえ」の質問に変えなければなりませんでした。もし手がかりが「容疑者の身長は178cmである」という数値だった場合、彼らはそれを「170cm未満か？」「170〜180cmの間か？」「180cm以上か？」といった具合に、バケツに分類して切り刻まなければなりませんでした。

この切り刻むプロセスは「二値化」と呼ばれます。それは、滑らかに流れる川を、一連の四角いコンクリート製の水路に無理やり押し込めるようなものです。問題は、水をこれらの硬い箱の中に押し込めることで、完璧な小さな渦や、その隙間を縫って流れる隠れた流れを見逃してしまう可能性があることです。機械学習の世界において、これは、完璧なデータの分割方法を見逃す可能性があることを意味します。なぜなら、あなたの「グリッド」に、まさにデータが必要としている位置に線が存在しなかった場合、その分割を見逃してしまうからです。

羅生門効果とは、たった一つの完璧なフローチャートが存在するわけではないという考え方です。高精度で謎を解くフローチャートは、数十、あるいは数百通り存在する可能性があります。あるものは身長を使い、あるものは体重を使い、またあるものはその両方を組み合わせるかもしれません。「羅生門集合」とは、これらと同等に優れたフローチャートのコレクションのことです。この集合を見つけることは、どの手がかりが本当に重要で、どれが単なる偶然の的中なのかを理解するのに非常に役立ちます。もしある手がかりが、ほとんどすべての優れたフローチャートに登場するのであれば、それは真の鍵である可能性が高いでしょう。もしそれが一つのフローチャートにしか登場しないのであれば、それは単なる偶然かもしれません。

古い地図の問題点

長い間、この羅生門集合を見つける唯一の方法は、「コンクリートの水路」方式（二値化）を用いることでした。研究者たちは連続的な数値をいくつかのバケツに切り分け、それからすべての良い木を見つけようとしました。しかし、これには大きな問題が2つありました。第一に、探索空間自体がすでに膨大でした。わずか20個のバイナリ特徴量があるだけで、地球上の砂粒の数よりも多くの木が存在することになります。第二に、データを切り刻むことで、情報を捨ててしまっていたのです。例えば、彼らのバケツが5.5と6.0しかなかった場合、5.99インチという非常に特定の数値で起こる分割を見逃してしまうかもしれません。

論文によれば、この「粗い」二値化は、まるで、最上層の干し草だけを見て、干し草の山の中から針を探しているようなものです。針は見つかるかもしれませんが、より深く埋まっているものや、少し形が異なるものを見逃してしまうでしょう。著者たちは、データを粗いバケツに強制的に押し込めたとき、多くの重要な木、重要な特徴、そして解決策の真の多様性（予測的多様性）を見逃していることを発見しました。

新しいコンパス：ArborEnum

ここで「ArborEnum」が登場します。著者たちは、データを事前に切り刻むことなく、「連続的な森」を探索できる最初のアルゴリズムを構築しました。データを正方形のバケツに押し込める代わりに、ArborEnumは数値の自然な順序を尊重します。それはデータを滑らかな線として扱い、そこを切り取るための最善の場所を探します。そこには何千ものカットポイントが存在し得ることを理解した上でです。

これを行うために、彼らは巧妙なトリックを用いました。想像してみてください、あなたはロープを切るベストな場所を探しています。すべてのミリメートルをテストする必要はありません。もし10インチで切るのが悪く、11インチで切るのも悪いと分かっていれば、おそらく10.5インチで切っても良くないだろうと推測できます。著者たちは、これらの「境界（bounds）」を利用して、テストする必要のないロープの広大な区間をスキップする方法を開発しました。彼らはこれを「枝刈り（pruning）」と呼んでいます。それは、「この谷全体を調べる必要はない。宝物はそこにはない」と教えてくれる地図を持っているようなものです。

彼らはまた、「プロキシ（代理）」システムも導入しました。プロキシとは、素早く、大まかな推測のことだと考えてください。すべての可能性を厳密にチェックするという大変な作業を行う前に、アルゴリズムは高速で近似的な推測を行い、その経路を探索する価値があるかどうかを確認します。もし推測が「無理だ」と言えば、その枝全体をスキップします。もし「おそらく可能だ」と言えば、さらに深く掘り下げます。これにより、アルゴリズムは驚異的な速さで動作します。テストにおいて、この手法は既存の手法よりも平均で270倍速く、場合によってはさらに劇的な差を示しました。

「エニタイム」機能：改善され続けるスケッチ

ArborEnumの最も素晴らしい部分の一つは、その「エニタイム（Anytime）アルゴリズム」です。通常、完璧な地図が欲しい場合は、コンピュータがすべての作業を終えるまで待たなければなりません。しかし、もし今すぐ答えが必要だったらどうすればよいでしょうか？ エニタイム版のArborEnumは、非常に大まかなスケッチから始まります。いくつかの主要なカットポイントだけを見ることもあります。そして、得られるのは、その大まかなスケッチに基づいた木のリストです。

その後、実行時間を長くするにつれて、アルゴリズムはより多くのカットポイントを地図に追加していきます。スケッチを精緻化し、隙間を埋めていくのです。時間をかければかけるほど、地図はより詳細かつ正確になります。最終的に、十分に時間をかければ、すべての「良い木」の正確なリストを見つけ出すことができます。最高の点は、いつでも停止できることです。5分間の回答が必要なら、良好な近似値が得られます。5時間あれば、ほぼ完璧な答えが得られます。著者たちは、この「粗いスタート」を用いても、ほとんどすべての重要な木を回収できることを証明しました。また、地図を精緻化するためにかかる追加時間は極めて小さく、最終的なポイントセットに対して実行した非精緻化版と比較して、わずか2.7%増程度でした。

彼らが発見したこと、そしてその意味

実験は、自転車のレンタル予測からクレジットカードのデフォルト予測まで、20種類の現実世界のデータセットを用いて行われました。結果は明白でした。

1. 粗い二値化は多くを見逃す： 古い「切り刻む」手法と新しい連続的な手法を比較したところ、古い手法は多くの木と重要な特徴を見逃していました。それは、曇った窓越しに写真を眺めているようなものでした。全体的な形は見えても、細部は見落としてしまうのです。
2. スピードは本物である： 新しい手法は、桁違いに高速でした。ある「Bike」というデータセットでは、新しい最適手法は、実行可能な唯一の他の手法よりも63倍速く完了しました。
3. 精度が高い： 高速な近似「プロキシ」手法を用いた場合でも、完全な手法が見つけた木の94.5%から100%を回収できました。これは、待ち時間を増やすことなく、羅生門集合の恩恵をほぼすべて享受できることを意味します。
4. 「エニタイム」アプローチは有効である： 粗い状態から始まり、次第に改善していく手法は非常に効率的であることが証明されました。重要な特徴を早い段階で見つけ出すことができたため、フル計算を待つことなく、迅速に有用な洞察を得ることができます。

この論文は、機械学習のあらゆる問題を解決したと主張しているわけではありません。連続的な特徴量が「唯一の」方法であると言っているわけでもありませんし、この手法がすべての種類のモデルに適用できると言っているわけでもありません。しかし、決定木に関しては、連続的なデータを連続的なものとして扱うことが、ゲームチェンジャーになることを、実験による確かな証拠とともに示しています。これにより、複雑さに翻弄されることなく、羅生門集合の全貌を見ることができるのです。

要するに、ArborEnumは「良い解決策」の風景を探索するための新しい方法です。それは、世界を適合しないグリッドに押し込めることを止め、答えが隠れている滑らかで連続的な道を歩ませてくれます。あなたが最高のモデルを探しているデータサイエンティストであっても、あるいはコンピュータがどのように意思決定を行っているのかを知りたい好奇心旺盛な人であっても、この研究は、私たちが考えていたよりも多くの「良い答え」が存在しており、そして今、それらを見つけるためのより優れた方法があることを示唆しています。