🔢 mathematics

DT-PBO: an Interpretable Tree-based Surrogate Model for Preferential Bayesian Optimization

本文提出了一种名为 DT-PBO 的新型可解释树代理模型，用于偏好贝叶斯优化，该模型在实现具有竞争力的性能与鲁棒性的同时，为决策者偏好提供透明洞察，从而解决了传统基于高斯过程方法的解释性局限。

原作者： Nick Leenders, Thomas Quadt, Boris Cule, Roy Lindelauf, Herman Monsuur, Joost van Oijen, Mark Voskuijl

发布于 2026-05-11

📖 1 分钟阅读🧠 深度阅读

原作者： Nick Leenders, Thomas Quadt, Boris Cule, Roy Lindelauf, Herman Monsuur, Joost van Oijen, Mark Voskuijl

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在为朋友寻找一块完美的蛋糕。你不会让他们对每一块蛋糕按 1 到 10 分进行评分（因为这既困难又令人困惑），而是提出简单的问题：“你更喜欢巧克力蛋糕还是胡萝卜蛋糕？”“那巧克力蛋糕和香草蛋糕呢？”

这就是**偏好贝叶斯优化（PBO）**的核心：通过一系列"A 还是 B？”的问题来寻找“最佳”选项。

长期以来，计算机一直使用**高斯过程（GPs）**来解决这个问题。将高斯过程想象成一位超级聪明却神秘莫测的巫师。它能以惊人的准确度预测出最佳蛋糕，但它将推理过程隐藏在一个“黑盒”之中。如果你问这位巫师：“你为什么选巧克力蛋糕？”它可能会回答：“因为涉及食材之间距离的复杂数学公式。”如果你需要向医生、法官或持怀疑态度的患者解释你的选择，这并没有太大帮助。

本文介绍了DT-PBO，一种解决该问题的新方法。DT-PBO 不再依赖神秘的巫师，而是使用决策树。

树的类比：偏好的流程图

想象墙上挂着一张巨大的流程图（一棵树）。

分支是问题：树从顶部开始，提出一个问题，例如“蛋糕是巧克力的吗？”
叶子是答案：沿着分支向下走，你最终会到达一个“叶子”（分支的末端）。这个叶子会告诉你“效用”（决策者有多喜欢这种类型的蛋糕），并提供一点不确定性（例如，“我们有 90% 的把握他们喜欢这个”）。

DT-PBO 直接从"A 还是 B？”的回答中构建这棵树。 它不是靠猜测，而是查看数据并询问：“什么问题能最好地将‘赢家’与‘输家’区分开来？”

它是如何工作的（魔术戏法）

分裂启发式（侦探）：算法查看所有比较结果。如果大多数偏好“巧克力”胜过“胡萝卜”的人，也偏好“巧克力”胜过“香草”，那么树就会为“巧克力”创建一个分支。它使用一种称为“一致性得分”的特殊数学技巧，找出接下来最合乎逻辑的问题。
叶子（水晶球）：一旦树构建完成，分支的末端（叶子）不仅仅是简单的“是/否”答案。它们包含一个概率分布。这意味着树可以说：“根据数据，这组选项可能是最好的，但存在很小的出错几率。”这使得系统能够持续学习并提出更好的问题。
“跨线者”戏法：有时，一对物品（如巧克力蛋糕和胡萝卜蛋糕）正好落在两个分支之间的分界线上。DT-PBO 在构建树的结构时巧妙地忽略了这些“跨线者”。为什么？因为主要的分裂（巧克力 vs. 胡萝卜）已经决定了胜者。忽略它们能让树保持小巧、简洁且易于阅读，同时不会丢失重要信息。

这为什么重要？

本文提出了三个主要观点：

它是透明的（“玻璃盒”）：与巫师（高斯过程）不同，你可以查看这棵树，确切地看到决策是为什么做出的。你可以追踪路径：“系统选择这个是因为用户喜欢海鲜、不喜欢高油腻度，并且偏好低价。”这对于医疗或国防等高风险领域至关重要，因为在这些领域你不能仅仅信任黑盒。
它快速且稳健：作者在八个不同的“景观”（数学问题）上测试了 DT-PBO。
- 在平滑、简单的景观上，它的表现与巫师相当。
- 在“崎岖”的景观上（最佳答案隐藏在崎岖不平的地形中），DT-PBO 的表现实际上优于巫师。
- 它的速度也快得多（快 10 到 400 倍），因为它不需要为每一步进行繁重复杂的数学运算。
现实世界的证明：
- 寿司：他们利用它来寻找一个人最喜欢的寿司。树揭示了原因（例如，“这位用户喜欢海鲜但讨厌高油腻度”），这是黑盒无法做到的。
- 患者信息：在一项涉及患者信息的高风险测试中，树帮助医生优先处理紧急病例。树显示“胸痛”和“呼吸窘迫”是紧急程度的关键驱动因素。这至关重要，因为医生需要知道为什么某条信息被标记为紧急情况，而不仅仅是知道它被标记了。

局限性（论文中诚实的保留意见）

作者谨慎地指出了他们的树可能遇到的困难之处：

高维度：如果你有太多特征（超过 7 或 8 个），树就会有点迷失，尤其是在平滑的问题上。对于处理非常平滑的高维曲线，“巫师”（高斯过程）仍然更胜一筹。
无差别：该模型假设你总是有偏好（A 优于 B）。它目前还不太擅长处理“我不在乎”（A 等于 B）的情况。

总结

DT-PBO就像是用一张清晰的手绘地图取代了一个神秘的高科技 GPS，后者只说“左转”，而前者会解释“左转，因为前方有路障”。它能同样好地（有时在棘手地形上甚至更好）找到最佳解决方案，但它是以人类能够真正理解、信任并验证的方式做到的。

技术摘要：DT-PBO——一种用于偏好贝叶斯优化的可解释树形代理模型

1. 问题陈述

偏好贝叶斯优化（PBO）旨在利用尽可能少的成对比较（PCs），在搜索空间内识别决策者（DM）最偏好的解决方案。尽管现有的 PBO 方法主要依赖高斯过程（GP）代理模型，但这些模型存在一个关键缺陷：缺乏可解释性。GP 作为黑盒模型运作，使得决策者难以理解为何某些解决方案更受青睐。这种不透明性在高风险领域（如医疗保健、国防）构成了重大障碍，在这些领域中，监管框架（如欧盟的 GDPR）和道德准则（如北约的负责任人工智能战略）均强制要求可解释性。此外，针对 GP 的事后解释方法往往无法忠实反映底层模型，可能提供误导性的见解。

本文针对以下需求提出了一种代理模型：在保持建模偏好不确定性和支持主动学习（样本效率）能力的同时，具备内在的可解释性。

2. 方法论：DT-PBO

作者提出了DT-PBO，这是一种专为 PBO 设计的新型基于决策树（DT）的代理模型。与在分类或排序数据上训练的标准决策树不同，DT-PBO 直接从成对比较数据中学习。该方法遵循标准的 PBO 优化循环（图 1），但用树形结构替换了 GP 代理模型。

2.1 空间划分（分裂启发式）

核心创新在于一种一致性分数（Consistency Score）分裂启发式，旨在根据观察到的偏好而非排序标签来划分特征空间。

机制：对于包含一组比较 $D_A$ 的节点 $A$ ，算法评估候选分裂（特征索引 $k$ 和阈值 $t$ ）。
一致性分数（ $S_A$ ）：分裂的评分基于其分离“胜者”与“败者”的程度。具体而言，它计算变量 $Z_i(s)$ 的经验均值，若胜者位于分裂的一侧而败者位于另一侧，则该变量为 $+1$ ；若相反则为 $-1 $；若两者位于同一侧则为$ 0$。该分数为此均值的绝对值。
跨区排除：一个关键的结构特征是，将“跨区对”（即一个项目落在左子节点，另一个落在右子节点的对）从用于后代分裂的数据集中排除。作者从数学上论证，一旦父分裂确立，跨区对就不包含关于子节点内部结构的信息。这种排除自然地控制了树的生长，倾向于生成浅层、可解释的树，而无需激进的超参数调整。

2.2 叶节点参数估计

一旦确定树结构，模型为每个叶节点分配概率估计以支持主动学习。

概率叶节点：每个叶节点 $j$ 不是被建模为单一值，而是被建模为具有均值 $f_j$ 的高斯分布。
拉普拉斯近似（LA）：作者采用贝叶斯方法，其中跨叶节点的潜在效用值遵循联合多元高斯先验。他们利用拉普拉斯近似来寻找最大后验（MAP）估计和后验协方差。
可识别性：为了解决成对似然中固有的平移不变性（即给所有效用值加上一个常数不会改变偏好），应用了求和为零约束（ $\sum f_i = 0$ ）。这确保了模型的可识别性，并消除了常数平移方向上的不可约方差。
超参数：该模型依赖于噪声方差与先验方差的比率（ $\sigma^2_{noise}/\sigma^2_{prior}$ ），研究表明这是控制优化的唯一可识别参数。

2.3 主动学习

该模型利用qEUBO（最佳选项期望效用）采集函数来选择下一个信息量最大的成对比较。

叶间与叶内：虽然 qEUBO 能有效选择不同叶节点之间的比较，但在单个叶节点内（预测均值为常数）会失效。为解决这一问题，作者在离散设置中采用了一种叶内优先启发式方法，将探索重点放在当前被认为包含最优解的叶节点上。

3. 主要贡献

基于树的偏好学习：开发了一种算法，利用新颖的一致性分裂启发式和概率叶节点估计，直接从成对比较数据中学习可解释的决策树。
数值评估：实证验证表明，DT-PBO 在与最先进 GP 基模型（SkewGP 和基于 LA 的 GP）的竞争中实现了收敛，特别是在具有崎岖优化景观（如 De Jong、Holder、Schwefel）的函数上。该方法显示出显著更快的计算运行时间（比 GP 快 10–400 倍）。
现实生活案例研究：展示了该模型在两种不同场景中的可解释性和实用性：
- 寿司偏好：表明模型可以恢复用户偏好并泛化到未见过的物品。
- 患者消息排序（PMR）：一项高风险的临床分诊任务，模型识别出驱动紧迫性的特定特征（如“红旗综合征”、“消息可操作性”），提供了黑盒 LLM 或 GP 方法无法提供的见解。

4. 结果

收敛性：在八个基准函数中，DT-PBO 表现具有竞争力。它在平滑、非崎岖函数（如 Rosenbrock、Hartmann）上表现略逊一筹，但在崎岖函数上优于或持平于 GP。
效率：DT-PBO 在计算上更优越，200 次迭代的运行时间约为 12 秒，而 GP 变体则需要数百甚至数千秒。这归因于避免了核长度尺度的超参数优化，并将海森矩阵的大小从唯一项目数量（ $m$ ）减少到叶节点数量（ $m_l$ ）。
鲁棒性：该模型对偏好中的噪声具有鲁棒性，并且对噪声/先验比率超参数的微小变化不敏感。
可解释性：在案例研究中，生成的树（深度 4–6）提供了清晰、人类可读的规则（例如，“若存在胸痛，则优先处理”），这些规则与领域知识一致，不同于 GP 或大型语言模型（LLM）的黑盒输出。

5. 意义与局限性

本文声称，DT-PBO 为 PBO 中的黑盒 GP 代理模型提供了一种可行且内在可解释的替代方案。其意义在于弥合了样本高效优化与关键决策领域对可解释性需求之间的差距。通过提供透明模型，它使决策者能够以更自信和信任的态度完善其偏好。

作者承认的局限性：

无差异：当前模型无法明确建模无差异陈述（ $A \sim B$ ）。
高维：随着维度增加（ $D > 7$ ），在非崎岖函数上的性能会下降，这可能是因为决策树分裂的轴对齐特性难以处理高维平滑函数中常见的复杂对角决策边界。
特征提取：在 PMR 案例研究中，最终模型的质量取决于用于特征提取的 LLM 的可靠性。

作者总结道，尽管存在局限性，DT-PBO 成功证明了可解释代理模型可以在 PBO 中实现具有竞争力的性能，特别是在可解释性是部署先决条件的情景中。