On the Hyper-Parameters and the Scoring Functions of PCTABU and PCHC Bayesian Network Algorithms

在浩瀚的数据景观中，成千上万个变量以往往隐匿的方式相互作用，科学家们长期以来一直试图寻找一种方法，来绘制出因果关系那看不见的丝线。想象一下，如果你只能通过观察最终产品来试图理解一台复杂的机器；你可能会看到转动一个旋钮会让灯闪烁，但你无法知道是这个旋钮直接导致了灯亮，还是它触发了通过其他部件发生的连锁反应。为了解决这个问题，研究人员使用了一种叫做贝叶斯网络（Bayesian network）的工具。可以把它想象成一张城市的地图，其中的街道不仅仅是道路，更是直接的影响线。在这张地图上，每一个点都代表一个变量，比如温度读数或股票价格，而连接它们的箭头则展示了哪些变量直接影响着其他变量。这些地图不仅仅是静态的图画；它们是用于预测和理解的强大引擎，被广泛应用于从金融到医学等领域，用以揭示世界运作方式的真实结构。然而，从原始数据中构建一张准确的地图是一个困难的谜题。仅凭数据本身并不会告诉你哪些连接是真实的，哪些仅仅是巧合，因此研究人员必须依靠数学规则来决定应该画出哪些箭头，以及擦除哪些箭头。

两位研究人员 Volkan Sevinç 和 Michail Tsagris 着手改进绘制这些地图的过程。他们专注于一种特定类型的算法，即计算机遵循的一套指令，用以从数据中学习网络的结构。虽然之前的方法已经展现出了前景，但研究人员想知道，用于导航寻找最佳地图的具体工具是否可以得到改进。他们引入了一种名为 PCTABU 的新方法，该方法将一种绘制网络初始轮廓的标准方式与一种更复杂的搜索技术——禁忌搜索（Tabu search）结合在一起。随后，他们将这种新方法与一种现有的、备受推崇的方法 PCHC 进行了正面交锋，后者使用的是一种被称为爬山法（hill-climbing）的更简单、更直接的搜索技术。为了确保测试公平，他们不仅依赖理论，还利用海量数据对两种方法进行了严格测试。他们在八个已被科学界作为基准使用了多年的真实世界网络上进行了测试，同时也测试了数千个旨在模拟不同复杂程度的模拟网络。在每一次测试中，他们还改变了用于判断地图优劣的数学规则，通过比较三种不同的评分系统，以观察哪一种能帮助算法找到真相。

广泛对比的结果揭示了一个高度依赖于所研究网络性质的清晰模式。当研究人员在稠密网络（即变量高度互连，有许多箭头指向四面八方）上测试算法时，新的 PCTABU 方法和旧的 PCHC 方法的表现几乎完全相同。两者在寻找正确结构方面同样出色。然而，当他们观察稀疏网络（即变量之间的连接较少，地图更加开阔）时，情况发生了变化。在这些不太拥挤的网络中，新的 PCTABU 算法始终优于旧的方法。研究人员发现，这种优势在每个变量的平均连接数较低的网络中最为显著。这种成功的奥秘在于两种搜索技术的行为方式。旧的爬山法就像一名登山者，只有当脚步立即通向更高处时才会迈步；如果路径变平缓或者通向一个看起来像是顶峰的小山丘，登山者就会停止。相比之下，新的禁忌法就像一名会在脑中记录下刚刚走过的路径，并拒绝立即重复这些路径的登山者。这使得新方法能够通过侧向移动甚至稍微向下走，从而逃离一个小山峰，去寻找一个旧方法错过的更高大的山峰。这种更广泛探索的能力，对于理清那些更简单、更稀疏的网络至关重要。

除了选择搜索方法外，这项研究还解决了一个关于用于评判地图质量规则的争论。研究人员测试了三种不同的评分函数，即告诉计算机一个提议的网络是好是坏的数学公式。其中一种被称为对数似然得分（log-likelihood score）的方法，其结果始终是最差的。研究人员解释说，这种方法过于急于讨好数据；它奖励在地图中添加越来越多的箭头，因为更密的地图总能完美契合现有的数据点。这会导致过拟合（overfitting），即地图因充斥了不必要的连接而变得过于杂乱，以至于无法预测任何新事物。相比之下，另外两种评分方法——贝叶斯狄利克雷等价评分（Bayesian Dirichlet equivalent）和贝叶斯信息准则（Bayesian information criterion）——都包含了一个针对增加过多连接的惩罚项。这些方法起到了过滤器的作用，阻止算法绘制那些并非真正必要的箭头。研究发现，这两种方法表现得几乎同样出色，并且远优于对数似然得分。这表明，对于任何试图从数据中学习网络结构的人来说，使用一个重视简洁性并惩罚不必要复杂性的评分系统要好得多。

研究人员还观察了这些方法运行所需的时间，并发现尽管 PCTABU 算法执行了更复杂的搜索，但其运行时间并不比旧的 PCHC 方法显著增加。这意味着，在稀疏网络中提高的准确性并不是以沉重的计算能力为代价的。虽然新方法在使用了随机生成网络的模拟测试中没有显示出明显的优势，但真实世界的测试具有决定性意义。真实世界的网络通常具有不规则且独特的结构，这些环境让新方法通过“逃离局部陷阱”所展现出的能力发挥了作用。研究结论认为，虽然旧方法对于非常稠密的网络仍然是一个强有力的选择，但新的 PCTABU 算法为许多变量并不紧密堆叠的现实世界问题提供了明显的优势。通过将稳健的初始草图与更具冒险精神的搜索策略相结合，并使用避免过度复杂化的评分系统，研究人员现在可以构建出更准确的、关于支配我们世界的因果关系的地图。