📈 economics

SplitWise Regression: Stepwise Modeling with Adaptive Dummy Encoding

本文介绍了 SplitWise，这是一个新颖的 R 程序包，它通过仅在根据 AIC 或 BIC 能够改善模型拟合度时，利用浅层决策树将数值型预测变量自适应地转换为基于阈值的二元特征，从而增强了逐步回归，进而实现了捕捉非线性关系与保持模型可解释性之间的平衡。

原作者： Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Marcell T. Kurbucz, Nikolaos Tzivanakis, Nilufer Sari Aslam, Adam M. Sykulski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图根据汽车的特征（如发动机大小或重量）来预测其性能表现。传统上，统计学家使用一种简单的“直线”方法：他们假设如果发动机尺寸翻倍，性能就会发生固定的变化。这种方法易于理解，但往往是错误的，因为现实生活并非一条直线。有时，只有当发动机变得过大时，性能才会显著下降；或者某个特征只有在跨越特定阈值后才会产生影响。

另一方面，现代机器学习使用复杂的“黑盒”方法（如深度神经网络），这些方法可以发现这些奇特的、非直线的模式。但它们过于复杂，以至于没人能解释为什么它们做出了某种预测。这就像是一个 GPS 导航，它能给你正确的转向指令，却拒绝告诉你地图是什么样的。

迎来“SplitWise”：两全其美的方案

这篇论文介绍了一种名为 SplitWise 回归 的新工具。你可以把它想象成一个聪明且灵活的助手，它能帮助你构建一个既简单透明，又能应对现实世界中混乱、非线性现实的模型。

它是如何工作的，这里使用了一些日常类比：

1. “智能开关”（自适应虚拟变量编码）

在标准模型中，像“年龄”这样的变量被视为一条连续的线。而 SplitWise 会询问：“这个变量表现得像一条直线，还是存在一个‘转折点’？”

如果数据表明，“年龄”仅在 50 岁之后才开始影响健康状况，SplitWise 就不会强行使用直线。相反，它会创建一个智能开关。它将“年龄”变量转化为一个简单的“是/否”问题：“此人是否大于 50 岁？”

如果答案是是，它应用一条规则。
如果答案是否，它应用另一条规则（或根本不应用任何规则）。

这就像一个恒温器。你不需要知道房间内温度变化的精确曲线；你只需要知道：“温度是否高于 70 度？如果是，就开启空调。” SplitWise 会自动在数据中寻找这些“转折点”（阈值）。

2. “严谨的会计师”（基于 AIC/BIC 的逐步选择）

你可能会担心：“如果我们不断添加这些‘是/否’开关，模型会不会变得过于复杂和混乱？”

这就是 SplitWise 的“严谨会计师”发挥作用的地方。在向模型中添加任何新开关之前，它会检查一个被称为 AIC 或 BIC 的财务账本。这些分数平衡了两个方面：

模型对数据的拟合程度（准确性）。
模型拥有的规则数量（复杂度）。

如果添加一个新的“开关”（例如“血压是否 > 140 ?”）所带来的改进不足以抵消增加复杂度带来的代价，会计师就会说：“不必了，我们保持简单就好。” 这确保了最终模型保持易读易懂，避免了“过拟合”陷阱（即模型记住了噪声而非学习到了规律）。

3. “两种烹饪方式”（迭代法与单变量法）

论文描述了 SplitWise 构建模型的两种方式：

“团队集思广益”（迭代模式）： 算法会同时观察所有变量。它会问：“如果我们已经在模型中包含了‘发动机大小’，那么加入‘重量是否 > 2000 磅？’会有帮助吗？” 这种方式非常精确，并考虑了变量之间的相互作用。
“独行侦察兵”（单变量模式）： 算法会逐一检查每个变量，就像侦察兵检查单个食材一样。它会独立决定每种食材的最佳呈现形式，然后将它们组装成最终的佳肴。对于拥有大量变量的海量数据集，这种方式速度更快。

论文的研究结果

作者在模拟数据（他们已知“真实答案”）和现实世界数据（如汽车燃油效率、房价和葡萄酒质量）上对 SplitWise 进行了测试。

结果： SplitWise 构建的模型一致地比传统的直线方法更准确，并且比复杂的机器学习模型更简单（变量更少）。
黄金分割点： 它成功捕捉到了数据中的“起伏”和“跳跃”（非线性），同时没有让模型变成一个无法解读的黑盒。
工具： 他们将此作为一款免费软件包（使用 R 语言）发布，以便任何人都能使用。

核心结论

SplitWise 就像是从一把僵硬的直尺升级到了一把灵活的卷尺，它可以精准地在数据行为发生变化的位置卡入到位。它既保持了模型的透明度，足以让需要解释决策的人（如医生、政策制定者或工程师）理解，又足够聪明，能够捕捉到简单模型会错过的复杂非线性关系。

该论文并未声称的内容：
论文完全侧重于统计性能和软件工具本身。它并不声称这种方法已在特定的临床试验中经过测试，也不预测特定的未来医疗结果或金融市场崩盘。它仅仅证明了这种数学方法在构建清晰、准确的回归模型方面，比现有的替代方案效果更好。

技术摘要：SplitWise 回归

问题陈述

在回归建模中，存在一个持久的挑战：如何在不牺牲线性模型固有可解释性的前提下，捕捉非线性关系。传统的线性回归具有透明度，其系数可以直接量化预测因子的影响，但无法对阈值效应或复杂的非线性关系（例如，健康状况在特定年龄后发生剧变）进行建模。相反，决策树和神经网络等机器学习方法可以模拟这些复杂的关系，但往往会产生缺乏全局可解释性的“黑盒”结构，而这在医疗保健、金融和公共政策等高风险领域至关重要。

现有的混合方法，如 RuleFit 或带有线性组件的树类方法（如 M5、PILOT），试图弥补这一差距。然而，它们通常会导致复杂的模型结构，包含多个嵌套拆分或集成组件，从而降低了透明度。此外，目前的逐步选择方法通常依赖于 p 值阈值或信息准则，但无法自动检测数值变量内的最优阈值，以增强模型的稳健性并减少过拟合。目前迫切需要一种能够以受控方式引入非线性的方法——即通过创建二进制阈值变量来直接增强线性模型的性能，同时保持全局线性方程的连贯性。

方法论

本文介绍了一种名为 SplitWise 的确定性框架，该框架将自适应的基于阈值的变换集成到逐步回归过程中。其核心创新在于能够自动确定一个数值预测因子应当以标准线性项的形式进入模型，还是作为由数据驱动的切分点派生的一个或多个二进制（虚拟）指标进入模型。

算法模式

SplitWise 以两种不同的模式运行，两者均利用赤池信息准则 (AIC) 或贝叶斯信息准则 (BIC) 来平衡模型拟合度与复杂度：

迭代模式 (Iterative Mode)：
- 通过逐步程序（前向、后向或双向）构建模型。
- 在每一步中，它都会评估被排除的预测因子以寻找其最佳形式（线性或虚拟变量转换形式），并评估当前预测因子以查看移除该变量是否能改善模型。
- 候选转换通过浅层决策树（通过 rpart 包）生成，最大深度为 2。
- 算法选择能产生最低 AIC/BIC 的动作（添加、移除或切换形式）。
- 此模式考虑了变量交互作用和联合效应，通常能提供更高的精度。
单变量模式 (Univariate Mode)：
- 独立评估每个预测因子，以确定其最优表示形式（空值、线性、单拆分虚拟变量或双拆分虚拟变量）。
- 使用相同的浅层树逻辑来识别最优拆分点。
- 在组装最终模型之前，根据 AIC/BIC 为每个变量选择最佳转换。
- 此模式旨在处理高维数据时的可扩展性。

软件实现

该方法通过开源 R 包 (SplitWise) 实现。它对外部依赖的需求极低，主要使用基础 R 函数 (lm、step) 和 rpart 包进行基于树的拆分。该包输出一个标准的回归模型对象 (splitwise_lm)，该对象保留了线性结构，并包含了详细说明特定切分点和编码方式（例如， $I(\text{血压} > 140)$ ）的元数据，确保最终模型保持人类可读且可审计。

核心贡献

自适应虚拟编码： 不同于将变量视为固定线性项的传统逐步回归，SplitWise 会动态地将数值预测因子转换为二进制阈值特征，前提是这样做能改善信息准则。
保持可解释性： 生成的模型是一个由少量阈值特征增强的全局线性方程。这避免了全树集成模型的复杂性，同时捕捉了相关的非线性关系。
简约性与稳定性： 该框架旨在生成稀疏模型。通过使用 AIC/BIC 进行选择，旨在防止过拟合并确保仅保留有意义的转换。
开源工具： 发布 SplitWise R 包为分析师提供了一个可重复、用户友好的工具，使其无需手动实现复杂的树搜索算法即可应用这些方法。

实验结果

作者使用合成数据集和真实世界数据集，将 SplitWise 与经典逐步回归、最佳子集选择以及惩罚回归技术（LASSO、Ridge、Elastic Net）进行了对比评估。

合成数据集

性能： 在具有 15、30 和 60 个预测因子的数据集中，SplitWise（尤其是迭代配置）始终实现了最低的均方根误差 (RMSE) 和最高的调整 $R^2$ 。
模型选择： 它在大多数场景下都产生了最低的 AIC 和 BIC 值，表明其在拟合度与复杂度之间取得了更优的权衡。
稀疏性： 在 15 个预测因子的设置中，SplitWise 在保持高准确度的同时识别出了非常稀疏的模型（例如 4–5 个变量），而传统的逐步回归和惩罚方法为了达到相似的性能往往会选择规模更大的模型。
稳定性： 该方法展示了极高的稳定性（在重采样运行中选择相同预测因子的比例），通常达到 1.00，而传统的逐步回归方法在高维情况下表现出较低的稳定性。

真实世界数据集

在五个数据集（Bodyfat、Boston Housing、Mtcars、Wine Quality Red/White）上的评估结果如下：

预测准确度： 在 Boston Housing 和 Wine Quality 等复杂数据集中，SplitWise（迭代模式）始终实现了最低的 RMSE。
变量选择： 与传统方法相比，它以更少或相当数量的预测因子实现了这些结果。例如，在 Wine Quality (Red) 数据集中，它仅用 7 个变量就超越了其他方法。
对比： 虽然传统的逐步回归在低维数据集（如 Bodyfat）中仍具竞争力，但在更复杂的场景中，其效率和稳定性表现欠佳。惩罚方法虽然计算效率高，但在 RMSE 和调整 $R^2$ 方面通常落后。

重要性与主张

论文声称，对于那些对高预测性能和可解释性都有严格要求的领域，SplitWise 提供了一个切实可行的解决方案。通过将模型选择的严谨性与自适应阈值处理相结合，它允许分析师在不求助于不透明的机器学习集成模型的情况下模拟非线性关系。

作者将 SplitWise 定位为一种能够“始终比传统逐步回归和惩罚回归技术产生更简约且更具泛化能力的模型”的工具。他们强调，该方法能够发现连续变量中有意义的断点，同时保持全局线性回归的透明度。作者指出，虽然该方法非常有效，但它是一个确定性框架，旨在增强而非取代线性建模的可解释性，因此适用于医疗保健、经济学和社会科学领域。未来的工作方向包括将该框架扩展到 Python、广义线性模型和时间序列，以及开发用于超高维场景的加速版本。