🤖 machine learning

Steering Neural Network Training through Interpretable Constraints Based on Partial Dependence

本文介绍了一种解释引导的学习方法，该方法通过部分依赖约束来引导神经网络训练，以使模型行为与领域知识保持一致，并证明了在回归任务上相比于无约束模型，该方法具有更高的性能、数据效率和可解释性。

原作者： Yann Claes, Pierre Geurts, Vân Anh Huynh-Thu

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Yann Claes, Pierre Geurts, Vân Anh Huynh-Thu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明但有点调皮的机器人如何预测天气。你给了它海量的数据，它学会了猜测温度。但问题在于，这个机器人是一个“黑盒”。它能得到正确的答案，但有时是因为错误的原因。比如，它可能学到了“云意味着雨”，但实际上真正起作用的是“湿度”，它只是恰好经常看到云和雨同时出现。

这就是作者 Yann Claes 及其团队正在解决的问题。他们想要停止让机器人仅仅靠“猜”，而是让它基于人类已有的知识进行“理解”。

“偏依赖”指南针

作者引入了一种新的方式来引导这些神经网络（即机器人），这种方式被称为偏依赖（Partial Dependence, PD）。你可以把 PD 想象成一张“边际效应”图。如果你问：“在忽略其他所有因素的情况下，仅因为湿度的变化，温度会如何改变？”那么 PD 图就会展示出这种特定的关系。

通常，我们只是在机器人学习完成后查看这些图表，以观察它是否合理。但本文提出了一种不同的方法：解释引导学习（Explanation-Guided Learning）。与其等待看到机器人是否正确，不如在它开始学习之前，先递给它一个指南针。你会说：“嘿，机器人，我们知道湿度和温度之间有一种特定的关系（比如一条曲线或一条直线）。确保你的内部地图看起来就像这样。”

“等距采样（Linspace）” vs. “分布内（In-Distribution）”的对决

团队测试了两种向机器人提供这种指南针的方式：

分布内约束（In-Distribution Constraints）： 这就像是告诉机器人：“确保你的地图只在我们有数据的区域看起来是正确的。”如果你只有夏季的天气数据，机器人只会保证它在夏季的关系是正确的。
等距采样约束（Linspace Constraints）： 这是本文的明星选手。在这里，你告诉机器人：“确保你的地图在整个均匀分布的点阵上看起来都是正确的，即使是在我们没有任何数据的区域。”这就像是在整张地图上画出一条平滑、完美的曲线，而不仅仅是在你投下标记点的那些地方。

重大发现：
在他们的实验中——包括预测混凝土强度、水化学成分，甚至是一个阻尼单摆的摆动——Linspace 方法成为了明显的赢家。

当机器人在数据非常稀缺（有时仅有 25 或 50 个样本）的情况下进行训练时，“分布内”机器人会感到困惑，并在它观察到的数据之外忘记规则。但 Linspace 机器人呢？它保持了关系的形状，即使在必须对从未见过的天气状况进行猜测时也是如此。

例如，在混凝土强度的实验中，他们知道随着混凝土变老，其强度会以特定的对数方式增长。

**无约束（Unconstrained）机器人（没有指南针）和分布内（In-Distribution）**机器人（有限的指南针）在被要求预测极老混凝土的强度时都失败了（超出了训练范围）。它们忘记了那条曲线。
然而，Linspace 机器人记住了这个形状。即使在训练期间只见过年轻的混凝土，它也能更好地预测老旧混凝土的强度。

他们明确排除了什么

作者小心地指出，他们的方法不是什么：

它不是传统意义上的“物理启发式（Physics-Informed）”： 他们将自己的方法与其它试图将物理方程直接融入代码的技术（比如把物理公式加入机器人的大脑）进行了比较。他们发现，如果现实世界是混乱且并非完全“可加性”的（即各部分并不是简单相加的），那些混合物理的方法可能会失败。他们的方法更加灵活，因为它并不强迫整个模型成为一个简单的部分之和，它只是强迫关系的“形状”是正确的。
它不是魔法： 如果你给机器人的指南针方向错了（指定的知识有误），它并不会完美运行。然而，他们发现，即使是一个模糊的或略微错误的指南针（比如用平方根关系代替对数关系），在数据稀缺时，也比完全没有指南针要好。

他们有多大的把握？

作者对他们的结果非常有信心，但他们明确说明了这种信心的来源。

他们在真实世界的数据集（如混凝土强度和水 pH 值）上进行了测量，并在合成问题（如著名的 Friedman 问题和摆动的单摆）上进行了模拟。
他们不仅仅是说“看起来不错”。他们反复运行了数字（针对合成问题运行了 10 次不同的训练起始点，针对真实数据进行了 20 次拆分），并证明了 Linspace 方法在误差和“地图”（PD 估计值）方面始终优于其他方法。
他们明确指出，虽然该方法需要更多的计算时间（因为机器人必须不断地根据网格检查其地图），但为了准确性，这是值得的，尤其是在你没有大量数据的时候。

给好奇青少年的启示

想象一下，你正在学习画一座山。

无约束机器人看着几张山的图片，试图猜测形状。如果它没见过雪顶的山峰，它可能会画出一个平缓的小丘。
分布内机器人承诺会完全按照照片中的样子来画山。但如果让你画一座它没见过的山，它就会僵住或者画出奇怪的东西。
Linspace 机器人得到了一个规则：“山总是向上升起然后平滑地降下。”即使它在照片中只看到了山的底部，它也会利用这个规则正确地画出山峰。

这篇论文表明，通过强制我们的 AI 在整个地图上遵循这些“平滑曲线”的规则（偏依赖约束），而不仅仅是在我们观察到的部分，我们可以构建出更聪明、更可靠的模型，使其在数据稀缺或情况发生变化时不会迷失方向。这是一种在机器人开始探索之前，就教会它尊重“土地法则”的方法。

技术摘要：通过基于偏依赖的可解释约束引导神经网络训练

问题陈述

解释性人工智能（XAI）领域在开发解释模型决策的技术方面取得了显著进展。然而，在评估解释质量以及更重要的——如何调整模型以确保其解释符合先验领域知识方面，仍然存在关键空白。现有的“解释引导学习”（EGL）方法主要侧重于分类任务（通常涉及图像或文本），并且通常假设已知特征重要性或特定的输入区域。此外，许多引入约束的方法关注的是函数的结构属性（例如凸性、单调性），而非解释本身。

本研究解决了为回归问题（特别包括动力系统预测）引导神经网络训练的挑战，旨在确保模型的平均响应（即其偏依赖）与特定的函数领域知识保持一致。其目标是生成不仅具有更高数据效率和对分布外（OOD）偏移鲁棒性，而且能产生符合所提供先验知识的忠实解释的模型。

方法论

作为约束的偏依赖

作者将该问题定义为学习一个可微模型 $h_\theta(x)$ ，使其对某些特征子集 $x_k$ 的偏依赖（Partial Dependence, PD）与已知的函数形式对齐。函数 $f$ 在 $x_k$ 上的 PD 定义为函数在剩余特征 $x_{-k}$ 的边缘分布上的期望值：
$PD_\infty(f, x_k) = \mathbb{E}_{x_{-k}}[f(x_k, x_{-k})]$

作者假设真实的 PD 遵循一个由 $\phi$ 参数化的代数形状 $h^\phi_k(x_k)$ 。该形状可以代表某种已知的物理关系（例如对数关系、正弦关系），仅在比例和偏置常数上有所不同。

训练算法

训练目标最小化一个综合损失函数 $L_\lambda$ ，该函数平衡了预测准确性和对 PD 约束的遵循程度：
$L_\lambda(h_\theta, h^\phi_k, f; LS) = (1 - \lambda)L_{tot}(h_\theta, f; LS) + \lambda L_{PD}(h_\theta, h^\phi_k; LS)$
其中：

$L_{tot}$ 是训练集上的标准均方误差。
$L_{PD}$ 衡量估计的模型的 PD 与在特定点 $x_k$ 上评估的目标函数 $h^\phi_k$ 之间的平方差。
$\lambda \in [0, 1]$ 控制两者的权衡。

优化策略：
作者提出了一个交替优化程序（算法 1）：

初始化： 将目标函数 $h^\phi_k$ 拟合到原始输出上，经过一定数量的 epoch 以初始化 $\phi$ 。
交替步骤： 模型参数 $\theta$ 和先验参数 $\phi$ 以交替块的形式进行更新。每隔 $S$ 个 epoch，首先根据当前的 $\theta$ 更新 $\phi$ 以最小化 PD 损失，然后更新 $\theta$ 以最小化综合损失。
数据集构建： 一个关键组成部分是为约束项构建一个单独的数据集 $LS_{PD}$ $L S_{P D}$ 。该数据集可以是：
- 分布内（In-distribution, ID）： 从训练分布 $p(x_k)$ 中抽取的样本。
- 等间距线性（Linspace, L）： 一组覆盖整个输入域的均匀间隔值（可能超出训练分布）。作者认为，在均匀间隔点上进行约束有助于模型在数据稀疏区域实现更好的泛化，以及在分布外（OOD）数据上的表现。

核心贡献

针对回归任务的新型 EGL 框架： 不同于以往关注分类任务中特征重要性的 EGL 工作，本方法约束的是回归任务中偏依赖的函数形式，包括动力系统。
Linspace 约束配置： 本文引入并实证验证了使用“linspace”约束（在整个定义域内的均匀间隔点上约束）作为分布内约束的优越替代方案。这种配置迫使模型即使在训练数据稀疏的区域也能学习正确的函数形状。
对数据稀缺和 OOD 偏移的鲁棒性： 研究表明，该方法在低数据量机制和测试时数据发生分布偏移的情况下特别有效。
与物理信息机器学习（Physics-Informed ML）的比较： 作者将他们的单模型约束方法与物理信息混合模型（如 APHYNITY, PD-hybrid）进行了对比。结果表明，由于其方法不严格依赖于混合模型所需的加性假设，因此往往能产生更好的预测性能和更忠实的 PD 估计。

实验结果

作者在合成问题（Friedman, Product）、真实世界数据集（混凝土抗压强度, PHALK）以及动力系统（阻尼单摆）上评估了该方法。

预测性能： 使用 PD 约束训练的模型一致优于未受约束的模型，尤其是在训练样本量减少时（例如 50 个样本）。在许多情况下，使用 50 个样本训练的约束模型达到了与使用 300 个样本训练的未约束模型相当的性能。
解释质量： 约束模型的 PD 估计与先验知识（基准真相或近似值）的一致性显著高于未约束模型。
Linspace 与分布内（In-Distribution）对比： 在所有实验中，linspace 约束（在均匀间隔点上进行约束）通常优于分布内约束。这在测试数据落在训练域之外的外推场景中尤为明显。Linspace 约束有助于减弱领域偏移的影响，而分布内约束在训练范围之外往往表现不佳。
对误设知识的鲁棒性： 即使先验知识是不完美的（例如，假设是平方根关系而非对数关系，或使用频率错误的傅里叶级数），Linspace 约束模型依然保持稳健。它们通常优于未约束模型，并且在外推设置中，生成的 PD 形状比使用分布内约束的模型更接近真实的底层函数。
动力系统： 该方法成功扩展到了动力系统预测（Neural ODEs），展示了改进的轨迹预测能力和 PD 对齐度，特别是在初始状态处于分布外时。

重要性与主张

本文主张，通过偏依赖约束来引导神经网络是回归领域中一种强大的解释引导学习机制。其主要意义在于能够：

提高数据效率： 通过利用函数先验知识，以显著更少的数据样本实现高预测精度。
增强泛化能力： 通过在整个输入域（而非仅仅在数据密集区）强制执行正确的函数形状，使模型更好地泛化到分布外数据。
确保忠实的解释： 保证模型的可解释性（通过 PD 图）反映领域专家的知识，防止模型通过“错误的原因”得出“正确的预测”。

作者指出，虽然由于需要对多种特征组合进行模型评估来估计偏依赖，导致计算成本有所增加，但在泛化能力和可解释性至关重要的低数据量场景下，这是一个可以接受的权衡。他们总结道，这种方法提供了一种更通用的替代方案，优于物理信息混合模型，因为它不需要对问题进行显式的加性分解。