path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting

巨大なレゴブロックの箱を想像してみてください。単にタワーを作るのではなく、ブロックがどのように組み合わされているかを見るだけで、謎の生物がどのような姿をしているのかを推測しようとしています。データサイエンスの世界では、これらの生物は「グラフ」と呼ばれます（ノードと呼ばれる点と、エッジと呼ばれる線でつながれたネットワークです）。長い間、グラフの秘密を解き明かす最良の方法は、「グラフニューラルネットワーク（GNN）」を使うことでした。GNNは、構造全体を見渡して素晴らしい答えを出してくれる、超スマートで超複雑な魔法使いのようなものだと考えてください。しかし、ここに落とし穴があります。GNNは「ブラックボックス」なのです。「なぜこの生物は青いのですか？」と魔法使いに尋ねても、彼はただ肩をすくめるだけです。どの特定のレゴの接続が、その生物を青くしたのかを説明することは不可能です。

そこで登場したのが、オスロ大学のClaudio Meggio、Johan Pensar、Riccardo De Binによって作成された新しいPythonパッケージ、path boostです。彼らは単なる魔法使いが欲しかったのではありません。彼らが求めていたのは、足跡を残していく「探偵」でした。

探偵の手法：手がかりを追う

グラフ全体を一度に飲み込もうとする代わりに、path boostはPathBoostと呼ばれる手法を使用します。あなたが足跡の特定の跡を追って謎を解こうとしている探偵だと想像してください。

1. アンカー（錨）： 探索を開始するための特定の種類の足（例えば、分子における「金属」の足）を選びます。これは「アンカーノード」と呼ばれます。
2. パス（経路）： 「金属の足 → 炭素の足 → 窒素の足」という足跡の跡を追います。このシーケンスは「ラベル付きパス」です。
3. ブースティング： 探偵は一度に答えを推測するわけではありません。代わりに、小さなステップを踏みます。彼らは考えうるすべての足跡を調べ、最も怪しい（予測に役立つ）ものを選び、「この足跡は答えを推測するのに役立つか？」と問いかけます。もしそうなら、それを手がかりのリストに加えます。次に、リストに加えるべき「次なる最善の足跡」を探します。

このプロセスは**勾配ブースティング（gradient boosting）と呼ばれます。それは、弱い探偵たちの強力なチームを構築するようなものです。ある探偵は「金属ー炭素」の足跡を見つけるのが得意で、別の探偵は「金属ーシリコン」の足跡を見つけるのが得意かもしれません。これらを組み合わせることで、正確であり、かつ決定的に解釈可能（interpretable）**なスーパー探偵が出来上がります。「ああ！この予測は、白金から始まり酸素へと続く足跡によって主に導かれたのだ」と言うことができるのです。

彼らが拒絶したもの（「ノー」のリスト）

著者たちは、自分たちが「何をしていないか」についても明確に述べています。

• ブラックボックスの否定： 彼らは、なぜその予測が行われたのかを知る必要があるタスクにおいて、グラフニューラルネットワークだけに頼ることに対して明確に反対しています。GNNは生の精度においては優れていますが、論文では、科学的発見においては一般的に解釈が難しすぎると示唆されています。
• 網羅的な探索の否定： 彼らは、開始前にグラフ内の「あらゆる可能なパス」をチェックするという考えを退けています。それでは時間がかかりすぎます（「組合せ爆発」）。代わりに、path boostは実際に有用であると判明したパスのみを探索するため、膨大な時間を節約できます。
• 魔法のデータの否定： 彼らは、これがすべてのケースにおいてGNNよりも優れていると主張しているわけではありません。実際、彼ら自身のテストでは、巨大で均質なデータセット（134,000個の有機分子を含むQM9データセットなど）においては、GNN（GINEと呼ばれる）が依然として勝利しています。path boostがチャンピオンとなるのは、データセットが小さい場合や、「なぜ」を知る必要がある場合です。

証明：どれほど確かなのか？

著者たちは単に推測したわけではありません。彼らは、2つの確立された手法、すなわちGINE（一種のGNN）と、WL + SVR（グラフカーネルとサポートベクターマシンを組み合わせたもの）に対して、数値的なテストを行いました。彼らは、ESOL、FreeSolv、QM9、およびtmQMgデータセットの3つの異なるターゲットを含む、6つの異なる分子データセットでこれらのテストを実施しました。

データが示唆していることは以下の通りです：

• 小規模なデータセット： ESOL（1,128分子）やFreeSolv（643分子）のような小さなデータセットでは、path boostはすべての指標においてGNNとカーネル手法の両方を上回りました。例えば、ESOLにおいて、path boostはR²スコア0.8759 ± 0.0121を達成し、GINEの0.7941 ± 0.0328に打ち勝ちました。
• 遷移金属： tmQMgデータセット（遷移金属化合物）において、path boostは3つのターゲットのうち2つで明確な勝者となりました。彼は分極率をR² = 0.9284 ± 0.0153で、HOMOエネルギーを0.5841 ± 0.0650で予測しましたが、他の手法は苦戦しました。
• 例外： 巨大なQM9データセット（サンプリングされた10,000個の分子）では、GNN（GINE）が最高の結果を出しました（R² = 0.8494 ± 0.0208）。これに対し、path boostのスコアは0.6429 ± 0.0480でした。これは、巨大で均質なデータセットにおいては、「ブラックボックス」であるGNNが依然として王座に君臨していることを示唆しています。
• 速度： path boostはほとんどのタスクにおいてGINEよりも高速です。tmQMgのタスクでは、GINEは1フォールドあたり最大1036.3秒かかったのに対し、path boostは456.7秒でした。

ツールキット

このパッケージは、scikit-learn（人気の高いPythonライブラリ）をすでに使用しているデータサイエンティストにとって親しみやすいように構築されています。既存のワークフローにそのまま組み込むことができ、標準的なツールであるGridSearchCVを使ってチューニングすることも可能です。また、回帰（化学的特性などの数値を予測すること）と二値分類（はい／いいえの予測）の両方をサポートしています。

最も素晴らしい機能の一つは、**変数重要度（Variable Importance）**ツールです。モデルが予測を行った後、どの「パス」が最も重要であったかを正確に伝えることができます。

• 絶対的重要度（Absolute Importance）： 特定の足跡がどれだけエラーを減少させたかを伝えます。
• 相対的重要度（Relative Importance）： その足跡が問題を解決できる唯一のものだったのか、あるいは、同じ役割を果たせた他の類似した足跡があったのかを伝えます。
• 相関調整（Correlation Adjustment）： 長い足跡は短い足跡の延長であるため、ツールは調整を行い、どの部分の足跡が真のヒーローであるのかについて混乱が生じないようにします。

結論

論文は、path boostが、特に計算化学のような分野において、モデルがなぜその予測を行ったのかを理解する必要がある科学者にとって、強力なオープンソースツールであると結論づけています。GNNは強力ですが、それだけが唯一の道ではないことを示唆しています。特定の、解釈可能なパスに焦点を当てることで、path boostは「中間領域」を提供します。それは重厚なGNNよりも速く、そして答えに至った手がかりの明確な地図を与えてくれます。

コードはGitHubとPyPIで無料で公開されており、誰でも試すことができます。著者たちが述べているように、科学においては、予測がなされた「理由」を理解することは、予測そのものと同じくらい重要なことが多いのです。path boostは、一度に一つのパスずつ、その理解を提供してくれます。