path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting

想象一下，你有一个巨大的乐高积木盒，但你不是在搭建一座塔，而是在试图仅仅通过观察积木是如何连接在一起的，来猜猜一个神秘生物的长相。在数据科学的世界里，这些生物就是“图”（graphs）——即由点（节点）和连接它们的线（边）组成的网络。长期以来，猜测这些生物秘密的最佳方法是使用“图神经网络”（GNN）。你可以把 GNN 想象成一个超级聪明、超级复杂的巫师，他可以观察整个结构并给出一个完美的答案。但问题在于：巫师是一个黑盒。当你问：“为什么这个生物是蓝色的？”时，巫师只会耸耸肩。你无法得知究竟是哪些特定的乐高连接让它变成了蓝色。

path boost 应运而生，这是一个由奥斯陆大学的 Claudio Meggio、Johan Pensar 和 Riccardo De Bin 开发的新型 Python 包。他们不想要一个巫师，他们想要一个会留下线索的侦探。

侦探的方法：追踪线索

path boost 并没有试图一次性吞下整个图，而是使用了一种叫做 PathBoost 的方法。想象你是一名侦探，正试图通过观察特定的足迹轨迹来破解谜题。

1. 锚点（The Anchor）： 你选择一种特定的脚印类型作为搜索起点（比如分子中的“金属”脚印）。这被称为“锚点节点”。
2. 路径（The Path）： 你观察这条轨迹：“金属脚印 -> 碳脚印 -> 氮脚印”。这个序列就是一个“标记路径”。
3. 提升（The Boosting）： 侦探不会一次性猜出整个答案。相反，他们会小步前进。他们观察所有可能的轨迹，挑选出看起来最可疑（具有预测性）的一条，然后询问：“这条轨迹是否能帮我们更好地猜出答案？”如果是，就把这条轨迹加入到他们的线索清单中。接着，他们再去寻找下一个最好的轨迹进行添加。

这个过程被称为梯度提升（gradient boosting）。这就像是在组建一支由弱侦探组成的强大团队。有的侦探可能擅长发现“金属-碳”轨迹，而另一位侦探可能擅长“金属-硅”轨迹。当你把他们组合在一起时，你就得到了一位既准确又至关重要的是**可解释（interpretable）**的超级侦探。你可以查看最终的清单并说：“啊！这个预测主要是由以铂（Platinum）开始并走向氧（Oxygen）的轨迹驱动的。”

他们拒绝了什么（“不”清单）

作者们非常明确地说明了他们不是在做什么。

• 拒绝黑盒： 他们明确反对在需要知道预测原因的任务中仅仅依赖图神经网络（GNN）。虽然 GNN 在原始准确度方面表现出色，但论文指出，它们在进行科学发现时通常过于难以解释。
• 拒绝穷举搜索： 他们排除了在开始之前检查图中每一个可能路径的想法。那会耗费无穷的时间（即“组合爆炸”）。相反，path boost 只探索那些实际上被证明是有用的路径，从而节省了大量时间。
• 拒绝魔法数据： 他们并不声称这在所有方面都比 GNN 更好。事实上，他们自己的测试显示，在处理巨大的、同质的数据集（如包含 134,000 个有机分子的 QM9 数据集）时，GNN（称为 GINE）仍然是赢家。path boost 的优势在于当你拥有较小的数据集或需要理解“为什么”的时候。

证据：他们有多确定？

作者们不仅仅是在凭直觉猜测；他们运行了数据。他们将自己的包与两种成熟的方法进行了对比测试：GINE（一种类型的 GNN）和一种名为“WL + SVR”（一种图核与支持向量机结合的方法）的方法。他们在六个不同的分子数据集上进行了这些测试，包括 ESOL、FreeSolv、QM9 以及 tmQMg 数据集的三个不同目标。

以下是数据所表明的情况：

• 小型数据集： 在像 ESOL（1,128 个分子）和 FreeSolv（643 个分子）这样的小型数据集上，path boost 在所有指标上都优于 GNN 和核方法。例如，在 ESOL 上，path boost 实现了 0.8759 ± 0.0121 的 R² 分数，击败了 GINE 的 0.7941 ± 0.0328。
• 过渡金属： 在 tmQMg 数据集（过渡金属化合物）上，path-boost 在三个目标中的两个目标上都是明显的赢家。它预测**极化率（polarizability）**的 R² 为 0.9284 ± 0.0153，预测 HOMO 能量的 R² 为 0.5841 ± 0.0650，而其他方法则表现挣扎。
• 例外情况： 在庞大的 QM9 数据集（采样了 10,000 个分子）上，GNN (GINE) 是最好的，其 R² 为 0.8494 ± 0.0208，而 path boost 得分为 0.6429 ± 0.0480。这表明对于巨大的、同质的数据集，那个“黑盒” GNN 可能仍然是王者。
• 速度： 在大多数任务中，path boost 也比 GINE 更快。在 tmQMg 任务中，GINE 每个 fold 需要高达 1036.3 秒，而 path boost 仅需 456.7 秒。

工具包

该工具包专为那些已经在使用 scikit-learn（一个流行的 Python 库）的数据科学家而设计。它能完美融入现有的工作流，这意味着你可以使用标准的工具如 GridSearchCV 来对其进行调优。它同时支持回归（预测一个数值，如化学性质）和二元分类（预测一个“是/否”）。

最酷的功能之一是**变量重要性（Variable Importance）**工具。在模型做出预测后，它可以准确告诉你哪些“路径”起到了关键作用。

• 绝对重要性（Absolute Importance）： 告诉你特定的轨迹在多大程度上降低了误差。
• 相对重要性（Relative Importance）： 告诉你某条轨迹是否是解决问题的唯一路径，或者是否有其他类似的轨迹也能完成这项工作。
• 相关性调整（Correlation Adjustment）： 由于长路径只是短路径的延伸，该工具可以进行调整，以免让你对究竟是路径的哪一部分才是真正的“英雄”产生困惑。

总结

论文得出结论，path boost 是一个强大的开源工具，适用于那些需要理解模型为何做出预测的科学家，特别是在计算化学等领域。它表明，虽然 GNN 功能强大，但它们并不是唯一的选择。通过专注于特定的、可解释的路径，path boost 提供了一个“中间地带”：它比沉重的 GNN 更快，并且能为你提供一张清晰的、通往答案的线索地图。

代码是免费的，可以在 GitHub 和 PyPI 上获取，因此任何人都可以尝试。正如作者所言，在科学领域，理解预测背后的“为什么”往往与预测本身一样重要。path boost 正是通过一条条路径，为你带来这种理解。