📊 statistics

Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values

本文介绍了 RuleSHAP，这是一个整合了贝叶斯稀疏回归、基于树的规则生成以及 Shapley 值的创新框架，旨在为流行病学数据中的非线性效应和交互效应实现统计有效的推断与不确定性量化。

原作者： Giorgio Spadaccini, Marjolein Fokkema, Mark A. van de Wiel

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Giorgio Spadaccini, Marjolein Fokkema, Mark A. van de Wiel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解一个关于“什么因素使人的心脏健康或不健康”之谜的侦探。你面前有一大堆线索（数据），包括人们的年龄、体重、饮食和背景。

长期以来，侦探们一直使用一种非常简单的工具：一把直尺。这个工具假设如果增加一点线索（比如变老了一点），结果会以一个固定的、可预测的量发生变化。它易于使用，但现实生活很少是直线型的。有时候，变老只有在你也处于某种特定体重时才会产生影响。有时候，一个线索的效果会完全取决于你是谁。

这就是机器学习 (ML) 发挥作用的地方。它就像一个超级聪明、能随形变幻的侦探，能够发现这些直尺会错过的奇特、弯曲且复杂的模式。但问题在于，虽然这个超级聪明的侦探擅长寻找模式，但它却非常不擅长解释自己对这些模式的确定程度。它会给你一个答案，但它不会告诉你这个答案是一个确凿的事实，还是仅仅是一个幸运的猜测。在科学领域，知道“确定程度”（不确定性）这一部分，与得到答案本身一样重要。

问题所在：“黑盒” vs. “直尺”

这篇论文指出，我们正困于两个糟糕的选择之间：

直尺（线性回归）： 它能给你一个清晰的“置信度评分”（推断），但它会错过数据中所有复杂、弯曲的关系。
形变者（机器学习）： 它能找到复杂的关系，但它表现得像一个“黑盒”。你无法轻易地询问：“你对这条特定的规则有多大信心？”或者“这个模式是真的，还是仅仅是噪声？”

现有的方法试图通过给黑盒照亮一束手电筒光（使用被称为 Shapley 值的东西）来解决这个问题，但这个手电筒的光是摇晃的。它经常会让侦探看起来比实际更有信心，从而导致虚假警报。

解决方案：RuleSHAP

作者创建了一个名为 RuleSHAP 的新工具。你可以把它想象成构建了一个结合了两者优点的侦探团队。

1. “平滑型”侦探（规则生成）
通常，当这些形变侦探寻找规则时，它们会过于兴奋，从而死记硬背它们正在寻找的具体线索，而不是学习通用的模式。这就像一个学生在死记硬背练习题的答案，而不是在学习学科知识。
RuleSHAP 使用了一种叫做“平滑化”（Smoothing）的技巧。它假装每次观察数据时，数据都会略有不同（加入一点“噪声”）。这迫使侦探去寻找那些即使在数据波动时依然成立的真实底层模式，而不是死记硬背具体的细节。这防止了他们做出虚假的声明。

2. “人格分裂式”数学（贝叶斯回归）
一旦找到了规则，团队就需要对其进行加权。作者注意到，之前的工具将“直线”（简单规则）和“复杂规则”（弯曲的相互作用）视为完全相同的东西。这导致数学计算会无意中忽略掉简单的、直线型的客观事实，因为它们太忙于寻找复杂的规则了。
RuleSHAP 将其大脑一分为二。它用一部分大脑处理简单的、直线型的客观事实，另一部分用于处理复杂的规则。这确保了如果某种关系实际上是一条直线，该工具就能识别出这一点，并给予其适当的置信度评分。

3. “局部成绩单”（Shapley 值）
最后，工具会计算“Shapley 值”。想象一下一个小组项目，每个人都做出了贡献。Shapley 值会告诉你每个人具体为最终成绩贡献了多少。
RuleSHAP 不仅仅给出一个全局成绩；它为研究中的每一个人都提供一份局部成绩单。它会说：“对于这位特定的 50 岁女性，年龄是一个巨大的风险因素。但对于那位 20 岁的男性，年龄并不重要。”至关重要的是，它为每一个这样的局部报告都附带了一个“置信区间”，告诉你该特定的贡献在统计学上是显著的，还是仅仅是随机噪声。

他们的发现

团队在两类数据上测试了这个新工具：

模拟数据： 他们创建了一个已知答案的谜题。RuleSHHAP 能够找到正确的答案，更重要的是，它能正确识别哪些线索是不重要的（噪声），而不会引发虚假警报。其他工具经常会产生混乱，误以为噪声是重要的。
真实的健康数据： 他们将该工具应用于一项针对荷兰 21,000 多人的大规模研究，以观察胆固醇和血压。
- 他们确认了已知事实：年龄增长和 BMI 升高通常意味着血压升高。
- 他们发现了复杂的相互作用：年龄对胆固醇的影响对每个人都不一样。例如，男女之间胆固醇水平的差距在 52 岁之后（与绝经期重合）变得大得多。
- 他们发现了一个“悖论”：在他们的数据中，吸烟似乎与较低的血压有关。作者指出，这是一个已知的统计学特征（可能是因为吸烟者可能伴有其他健康问题导致体重降低，或者是测量误差），而他们的工具正确地将其标记为一个特定的、非因果性的关联，而不是一种神奇的疗法。

底线

RuleSH-AP 是一个全新的框架，它让科学家能够使用强大且灵活的机器学习来寻找复杂的健康模式，同时拥有可靠统计学的安全网。它不仅告诉你模式是什么，还告诉你对于特定个体，你可以对该模式有多大的把握，而不会被随机噪声所欺骗。

局限性： 论文指出，该工具目前计算量很大（在处理极大型数据集时需要很长时间），并且与所有观察性研究一样，它不能证明因果关系——它只能显示强关联性。

技术摘要：用于非线性流行病学推断的 RuleSHAP

问题陈述

机器学习（ML）越来越多地被用于流行病学中的“无假设发现”（hypothesis-free discovery），以寻找风险因素和保护因素，因为它能够捕捉传统线性模型所缺失的复杂非线性和交互作用。然而，一个关键的局限性依然存在：标准的机器学习模型缺乏可靠的统计推断。虽然 SHAP（Shapley 加性解释）等特征重要性度量可以提供局部效应估计，但它们通常缺乏有效的确定性量化（UQ）。现有的量化 SHAP 不确定性的尝试往往仅关注偶然不确定性（数据中的噪声），而忽略了认知不确定性（模型参数的不稳定性）。此外，将机器学习特征选择与随后的线性回归相结合的方法，往往会产生过于乐观的不确定性估计，并且无法一致地捕捉非线性交互作用。挑战在于开发一种既能利用机器学习检测复杂模式的灵活性，又能提供具有置信区间（credible intervals）的严谨局部水平统计推断的框架。

方法论：RuleSHAP 框架

作者提出了 RuleSHAP，这是一个整合了贝叶斯稀疏回归、树集成模型和 Shapley 值的框架，旨在解决现有 RuleFit 类模型的局限性。该方法由三个核心创新组成：

1. 改进的带有结构化 Horseshoe 先验的线性拟合

RuleSHAP 采用了增强了二分决策规则的贝叶斯线性回归模型。与使用单一全局收缩参数（这会导致线性项过度收缩，从而导致线性信号丢失）的标准 HorseRule 模型不同，RuleSHAP 引入了层级结构化 Horseshoe 先验。

独立的全局收缩参数： 该模型利用不同的全局收缩参数（线性项的 $\tau_L$ 和规则项的 $\tau_R$ ）。这确保了不具信息的规则不会通过抬高全局收缩来损害线性项。
推断重点： 这种分离使得对线性效应进行更准确的确定性量化成为可能，这至关重要，因为线性项不像规则那样依赖于数据条件，因此更适用于推断。

2. 鲁棒的规则生成（平滑随机森林）

为了解决规则生成具有随机性且依赖于特定数据集（导致过拟合和低估不确定性）的问题，RuleSHAP 引入了一种“平滑随机森林”方法：

参数化自助法集成： 该方法不是使用原始观测结果进行规则生成，而是拟合一个随机森林，利用袋外预测（out-of-bag predictions）估计结果分布的参数（例如均值和方差），然后通过在从这些估计分布中采样的合成结果上拟合一个新的随机森林来生成规则。
基于残差的拟合： 对于初始线性拟合，规则是从基于线性项的贝叶斯 Horseshoe 回归的残差中生成的。这确保了规则建模的是超越线性的趋势，而不是重新捕捉线性信号。
规则解构： 为了增强可解释性并防止对复杂交互作用的过拟合，该方法对树路径进行了完全解构。树路径中的条件以所有可能的方式进行重组，允许模型利用简单的必要条件，而不必被迫使用不必要的复杂交互规则。

3. 高效的 Shapley 值计算

该框架推导出了直接从规则项计算边际 Shapley 值和交互 Shapley 值的显式公式。

直接估计： 与需要将规则转换回完整树以增加计算成本的 TreeSHAP 不同，RuleSHAP 提供了一个作为数据集样本均值的无偏 SHAP 估计量。
不确定性传播： 通过为贝时模型中的每个后验样本计算 Shapley 值，该框架生成了特征效应的完整后验分布，从而能够构建用于局部推断的置信区间。

关键结果

模拟研究

作者在具有不同样本量 ( $n$ ) 和维度 ( $p$ ) 的模拟数据（Friedman 基准测试）上验证了 RuleSHAP，并将其与 OLS、LASSO、RuleFit、HorseRule、随机森林和 BART 进行了比较。

信号重建： RuleSHAP 成功识别了线性信号 ( $x_4, x_5$ )，而 RuleFit 和 HorseRule 由于过度收缩经常会错过这些信号。它重建了交互效应 ( $x_1, x_2$ ) 和纯非线性效应 ( $x_3$ )，其准确性在较大样本量下与竞争对手相当甚至更好。
噪声检测： RuleSHAP 展示了区分信号与噪声的卓越能力。虽然 BART 和 HorseRule 经常会对噪声特征产生显著的局部效应（由于低估了不确定性），但 RuleSHAP 对噪声特征的置信区间始终包含零。
确定性量化： RuleSHAP 在噪声特征方面实现了最低的拒绝率，在信号特征方面实现了最高拒绝率，表明其在局部推断中更好地平衡了第一类错误和第二类错误。

流行病学应用（HELIUS 研究）

该框架应用于 HELIUS 队列 ( $n=21,570$ )，以调查收缩压（SBP）和胆固醇水平的风险因素。

预测性能： RuleSHAP 在 SBP（一个大致呈线性的关系）方面与线性模型匹配，但在胆固醇方面显著优于线性模型，捕捉到了必要的非线性。
推断发现：
- SBP： 证实了年龄、BMI 和葡萄糖的正向关联。它揭示了年龄在不同种族和性别之间的异质性效应。
- 胆固醇： 检测到吸烟的正向关联和葡萄糖的负向关联。至关重要的是，它发现了年龄与性别的非线性交互作用，显示出性别间的胆固醇水平差异在 52 岁之后变得最为显著，这与绝经年龄段相吻合。
- 噪声控制： 所有四个添加的噪声特征都被正确识别为具有非显著效应。

意义与主张

论文声称 RuleSHAP 提供了一个具有局部统计推断能力的无假设发现的有效框架。其主要意义在于弥合了机器学习的灵活性与统计推断的严谨性之间的鸿沟：

局部推断： 与广义加性模型（GAMs）受限于全局推断或次优局部区间不同，RuleSHAP 为局部特征效应提供了有效的置信区间。
认知不确定性： 通过整合贝叶斯回归，该方法考虑了模型的不稳定性（认知不确定性），这在其他基于 SHAP 的推断尝试中经常被忽略。
线性与非线性的平衡： 结构化先验防止了“过度收缩”线性项，这是以往 RuleFit 变体的一个常见失效模式，确保了线性信号不会在追求复杂交互作用的过程中丢失。
计算效率： 推导出的显式 Shapley 值公式允许高效计算，其扩展性比将规则转换为完整树进行 TreeSHAP 更好，特别是在分析单个规则时。

作者总结道，尽管计算成本仍是一个限制（贝叶斯拟合的复杂度随样本量呈二次方增长），但 RuleSHAP 为透明的医疗机器学习提供了一个强大的工具，能够检测复杂的、具有统计学有效不确定性量化的非线性风险因素。