🤖 machine learning

PINE: Pruning Boosted Tree Ensembles with Conformal In-Distribution Prediction Equivalence

本文介绍了 PINE，这是一种针对树集成的新颖剪枝方法，它利用共形校准来保证在可控的分布内区域中预测等价性，在保持可比预测精度的同时，实现了比现有忠实剪枝技术高达 30% 的更高压缩率。

原作者： Haruki Yajima, Yusuke Matsui

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Haruki Yajima, Yusuke Matsui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一支由 30 名专家侦探组成的团队（一个“树集成”）正在联手破解一桩谜案。他们极其精准，但行动缓慢、雇佣成本高昂，且占用大量办公空间。你想解雇其中一些人以节省开支，但又害怕如果解雇了不该解雇的侦探，团队可能会开始给出错误的答案。

这正是PINE所要解决的问题。

以下是 PINE 如何运作的故事，使用简单的类比：

问题：“完美”与“实用”的抉择

目前，缩减这支侦探团队有两种方法：

“准确性优先”方法：你解雇那些看似最没用的侦探。这能节省大量资金（高压缩率），但有时剩余的团队会犯下以前不会犯的错误。这就像解雇了一位每年只出现一次的专家，结果却发现他是唯一懂得如何处理特定紧急情况的人。
“忠实”方法（旧方式）：你承诺新的、更小的团队将在宇宙中每一个可能的场景（包括那些从未发生也永远不会发生的场景）下，给出与大型团队完全相同的答案。
- 代价：为了信守这一承诺，你不能解雇太多侦探。你必须保留整个团队，以防万一出现奇怪、不可能的场景（例如，一个侦探同时处于“已婚”和“从未结婚”的状态）。这导致节省非常有限。

PINE 解决方案：“现实”保证

PINE（基于分布内等价性的剪枝）表示：“让我们停止担心那些不可能的场景。”

PINE 不再承诺团队在每一个理论可能性上都完美无缺，而是承诺它们仅在现实场景——即现实世界中实际发生的案例——中保持完美。

“合理度评分”（现实检验）

PINE 使用一种名为Chow-Liu 树的特殊工具作为“现实检验”。

想象侦探们拥有一张城市地图，显示了人们实际居住的地方。
当新案件出现时，PINE 会检查：“这个案件看起来像是属于这个城市的吗？”
如果案件是正常、现实的情况（例如，一个拥有正常工作和年龄的人），它会获得“低分”（它是合理的）。
如果案件奇怪或不可能（例如，一个 200 岁的人或拥有 500 年教育经历的人），它会获得“高分”（它是不合理的）。

“共形校准”（设定安全网）

PINE 利用一种称为共形预测的统计技巧来划定界限。

你告诉 PINE：“我希望有 95% 的把握，我们关心的案件都位于‘合理’这一侧的界限内。”
PINE 查看历史数据并划定边界。边界内的所有内容都是“现实世界”。边界外的所有内容都是“奇怪/不可能”。
神奇之处：PINE 仅承诺对在此边界内的案件保持答案完全一致。对于边界外的奇怪事物，它不在乎答案是否改变。

结果：剔除脂肪，保留肌肉

由于 PINE 不浪费精力去处理不可能的场景（例如一个既已婚又单身的人），它比旧的“忠实”方法能解雇更多的侦探。

论文主张：在 12 个不同数据集的测试中，PINE 能够在保持现实世界数据准确率同样高的同时，将团队规模缩减得比严格的“忠实”方法多高达 30%。
权衡：你可以调节一个旋钮（称为 $\alpha$ $α$ ）。
- 将旋钮调至非常严格（低 $\alpha$ ）：你保留更大的团队，但你几乎 100% 确定答案对现实案例是完美的。
- 将旋钮调至更宽松（高 $\alpha$ ）：你解雇更多的侦探，节省更多资金，同时在现实案例中出现错误的可能性略有增加（但仍受控制）。

总结

将 PINE 想象为一位聪明的管理者，他说：“我们不需要训练团队去应对巨龙或时间旅行。那些东西不存在。让我们解雇那些只懂得如何对抗巨龙的人，这样我们可以节省资金，同时承诺我们的团队仍然能解决我们面临的每一个实际案件。”

这使得公司能够显著缩小其昂贵的 AI 模型规模，而不会破坏模型在真正重要的数据上表现正确的信任。

技术摘要：PINE——基于共形分布内预测等价性的剪枝提升树集成方法

1. 问题陈述

树集成方法（如随机森林、梯度提升决策树（GBDT）和 XGBoost）因其强大的预测性能和可解释性，被广泛应用于表格数据。然而，大型集成模型会产生高昂的推理成本和内存占用，给鲁棒性验证和公平性检查等下游任务带来困难。

事后集成剪枝是一种标准解决方案，但现有方法在压缩率与保真度（预测等价性）之间面临权衡：

面向准确率的剪枝：优化准确率 - 压缩率权衡的方法往往会改变部分预测结果。这种保真度的缺失可能破坏高风险领域（如医疗、金融）中的决策一致性，因为这些领域的下游工作流依赖于特定的模型输出。
保真剪枝：FIPE（Emine 等人，2025）和再生树集成（Born-Again Tree Ensembles，Vidal & Schiffer，2020）等方法能保证在整个输入空间的所有输入上实现精确的预测等价性。虽然这确保了决策一致性，但要求即使在罕见或分布外（OOD）输入上也保留预测结果，严重限制了可达到的压缩比。

核心问题在于：如何在不对实践中极少观察到的分布外（OOD）输入施加等价性保证这一限制性负担的前提下，实现更高的压缩率并保持高保真度。

2. 方法：PINE

作者提出了PINE（基于分布内等价性的剪枝），这是一个仅保证在校准后的分布内（ID）区域 $X_{ID}(\alpha)$ 内实现预测等价性的剪枝框架。

核心概念

PINE 通过将等价性保证限制在数据分布下“合理”的输入上，放宽了保真剪枝的约束。它引入了一个超参数 $\alpha$ （未覆盖率），用于控制该区域的大小。该方法保证：对于从同一分布中采样的未来输入，剪枝后模型的预测与原始模型预测相匹配的概率至少为 $1-\alpha$ 。

算法流程

PINE 建立在 FIPE 使用的迭代剪枝器 - 预言机（Pruner-Oracle）框架之上，但修改了预言机的搜索空间：

合理分数定义：定义一个分数函数 $s(x)$ ，分数越低表示在数据分布下的合理性（似然度）越高。分布内区域定义为 $X_{ID}(\alpha) = \{x \in \mathcal{X} \mid s(x) \leq \tau(\alpha)\}$ 。
Chow-Liu 树分数：本文采用Chow-Liu 树的负对数似然作为合理分数。连续特征被离散化为分箱，Chow-Liu 树将联合分布近似为树结构。这一选择至关重要，因为负对数似然可分解为加性形式（根节点边际项 + 边条件项），使得约束 $s(x) \leq \tau(\alpha)$ 能够被高效地编码为**混合整数线性规划（MILP）**约束。
共形校准：利用校准集 $D_{cal}$ ，通过分割共形预测确定阈值 $\tau(\alpha)$ 。这确保了在可交换性假设下，区域 $X_{ID}(\alpha)$ 覆盖未来输入的概率至少为 $1-\alpha$ 。
迭代剪枝：
- 剪枝器：更新树权重，以满足不断增长的约束集上的预测等价性。
- 预言机：搜索反例（预测结果不同的输入），但将其搜索范围限制在区域 $X_{ID}(\alpha)$ 内。
- 该过程重复进行，直到在 ID 区域内未找到反例。

理论保证

概率等价性：在可交换性假设下，PINE 为剪枝后模型对未来输入的预测与原始模型预测相匹配的概率提供了 $1-\alpha$ 的下界。
复杂度：预言机必须探索的离散状态数量上限为 $e^{\tau(\alpha)}$ 。由于 $\tau(\alpha)$ 关于 $\alpha$ 单调，增加 $\alpha$ （允许更大的未覆盖率）会指数级地减少搜索空间，从而促进更高的压缩率。

3. 主要贡献

PINE 框架：一种新颖的剪枝方法，以严格的全局保真度换取高概率的分布内保真度，实现了比保真剪枝基线显著更高的压缩比。
共形集成：首次将分割共形预测应用于定义集成剪枝的有保障分布内区域，为预测等价性提供了严格的概率界限。
可嵌入 MILP 的评分：提出使用 Chow-Liu 树负对数似然作为合理分数，该方法既能有效捕捉特征依赖性，又便于进行 MILP 编码，计算高效。
系统性权衡控制：一种通过单一参数 $\alpha$ 系统性调节保真度 - 压缩率权衡的机制。

4. 实验结果

作者在12 个公共表格数据集（如 Adult、COMPAS、Pima-Diabetes）上使用 XGBoost 集成（ $M=30$ 棵树，深度 $D=2$ ）评估了 PINE。

压缩率与保真度：PINE 显著优于保真剪枝基线（FIPE）。随着 $\alpha$ 从 0.05 增加到 0.8，平均剪枝率从约 45% 提升至约 68%，而平均保真度保持高位（99.15%–99.96%）。相比之下，FIPE 在 100% 保真度下仅实现了约 44% 的平均剪枝率。
与面向准确率方法的比较：虽然面向准确率的方法（IC、DREP、MDEP）能保持测试准确率，但即使在分布内区域，其保真度也会大幅下降（通常低于 90%）。PINE 在校准区域内保持了近乎完美的保真度。
覆盖率验证：经验测试覆盖率 $\hat{\pi}_{ID}$ 紧密跟踪目标值 $1-\alpha$ ，验证了分割共形校准的有效性。
可扩展性：该方法对树深度（ $D$ ）的敏感度高于树的数量（ $M$ ）。更深的树由于决策区域更加局部化，会降低可达到的压缩率；而更大的集成主要增加了优化运行时间。

5. 意义与主张

本文主张，PINE 解决了模型压缩中的一个关键缺口：现有保真方法无法在不牺牲决策一致性的情况下有效压缩模型，而标准剪枝方法无法保证一致性。

实际影响：PINE 允许实践者在保留对可能未来输入决策一致性的同时，将模型压缩率提高30% 以上。这对于模型输出触发下游工作流或需要可审计性的高风险领域尤为宝贵。
局限性：作者谦逊地承认，该保证依赖于可交换性假设（即无分布偏移）。如果数据分布发生偏移，保证可能会减弱。此外，计算成本与求解 MILP 相关，这在多分类设置或极深树的情况下可能非常昂贵。
结论：PINE 提供了一种可验证的、概率性的剪枝方法，平衡了效率与可靠性这两个相互竞争的目标，超越了“准确但不一致”与“一致但未压缩”之间的二元选择。