🤖 machine learning

From Hybrid Mechanistic--Data-Driven Modeling Toward Neuro-Symbolic AI: What, Why, and How

本文通过引入一种“从混合到神经符号”（H2N）框架，将现有设计重构为统一的语义接口，从而架起了混合机理-数据驱动建模与神经符号人工智能之间的桥梁，进而能够推导出新指标（结构违规率和置信度离散度），以显式地量化认知不确定性和结构符合度，从而实现改进的模型验证与外推。

原作者： Moein E. Samadi, Andreas Schuppert

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Moein E. Samadi, Andreas Schuppert

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

侦探与水晶球

想象一下你正在尝试预测天气。你有两种方法可以做到这一点。第一种是“老派”做法：你知道物理定律。你知道热空气上升，也知道云是在水分冷却时形成的。这就像是一个机械模型（mechanistic model）——它是基于始终成立的规则构建的，比如重力。第二种是“新派”做法：你观察大量的过往天气照片，并使用一台超级聪明的计算机，根据模式来猜测接下来的情况。这是一个数据驱动模型（data-driven model）。它擅长发现趋势，但并不真正“理解”为什么会下雨。

长期以来，科学家们一直试图将这两种方法融合进一个**混合模型（hybrid model）**中。把它想象成一个既了解物理定律（游戏规则）又使用水晶球（数据）来填补缺失部分的侦探。这在工程和科学领域非常有用，因为它让我们能够构建既智能又可靠的系统。但问题在于：当你把一本规则书和一个水晶球混合在一起时，很难分辨到底是谁在起作用。如果预测错了，是因为规则太严苛了？还是因为水晶球今天“状态不好”？我们需要一种方法来衡量有多少程度的“规则”得到了尊重，以及有多少程度的“猜测”在摇摆。

论文的核心思想：翻译谜团

这篇题为《从混合机械–数据驱动建模走向神经符号人工智能》（From Hybrid Mechanistic–Data-Driven Modeling Toward Neuro-Symbolic AI）的论文，提出了一种看待这些混合模型的巧妙新方法。作者 Moein E. Samadi 和 Andreas Schuppert 建议，我们不要仅仅将这些模型视为计算机代码，而应该开始将它们视为一个**神经符号（Neuro-Symbolic, NeSy）**系统。

为了理解这一点，请想象一个法庭。

逻辑侧（法官）： 这代表了宇宙的硬性规则，如物理定律或机器的结构。法官决定什么是可采纳的（允许的）以及什么是违规。
信念侧（陪审团）： 这代表了数据驱动的部分。陪审团观察证据，并决定什么是合理的或极有可能发生的。

论文认为，每一个混合模型都可以被转化为这种“法庭”设置。他们将这种转化称为 H2N（混合到神经符号）。在这种新视角下，固定的方程是法官的法律，而学习到的计算机部分则是陪审团的信念。这种分离是非常强大的，因为它让我们能够提出两个此前难以回答的具体问题：

陪审团是否违反了法官的规则？（这通过所谓的结构违规率/Structural Violation Rate来衡量）。
陪审团是否感到困惑？（这通过信念离散度/Belief Dispersion来衡量）。

他们的发现：水晶球的信心

作者在一个用于二分类（基本上就是将事物分为两类，比如“垃圾邮件”或“非垃圾邮件”）的特定混合模型上测试了这个想法，其中训练数据包含一些“噪声”（标签错误）。他们不仅仅是靠猜测；他们运行了带有 50 个不同“种子”（起始点）的模拟实验，以观察模型的行为。

以下是他们的发现：

1. “困惑”测量仪有效
他们发现，陪审团信念的“分散程度”与模型准确性的不可预测性之间存在强关联。他们将这种分散程度称为信念离散度（Belief Dispersion, BD）。

当模型非常确定时（低 BD），其准确性是稳定且高的。
当模型感到困惑时（高 BD），其准确性会变得波动不定。
在他们的模拟中，随着训练数据中噪声的增加，信念离散度从 0 上升到接近 4。与此同时，测试准确性的标准差（即“摇摆度”）从 0 上升到约 0.073。
至关重要的是，这种“摇摆”可以在模型看到测试数据之前就被预测出来。论文指出，通过观察信念离散度，你可以预知你的模型准确性会有多大的波动，而传统方法只能在你测试完之后才告诉你模型失败了。

2. “违规”测量仪
他们还测量了结构违规率（Structural Violation Rate, SVR），用于检查模型是否忽略了硬性规则。

在他们的实验中，只要模型保持在一定的“预算”内（即允许误差的容差为 κ = ⌊0.5 S⌋，其中 S 是样本数量），SVR 就保持在接近 0.000 的水平。
只有当噪声变得极其高（45% 的标签噪声）时，SVR 才跳升至 0.428，这意味着模型频繁地违反了规则。
这表明，只要“困惑度”（BD）不是太高，模型就可以处理大量的噪声而不破坏物理定律。

3. 预见未来（外推/Extrapolation）
最令人兴奋的发现是关于“外推”——即预测模型从未见过的事物。

他们在训练期间对数据的某些部分进行了隐藏（例如隐藏表格中的特定行）。
他们发现，信念离散度可以分为两部分：模型已见的（BD_seen）和模型未见的（BD_unseen）。
BD_unseen 部分可以在模型尝试进行任何新预测之前，仅通过观察哪些行被隐藏了就能立即计算出来。
在他们的测试中，当他们隐藏了 4 行数据时，BD_unseen 跳升至 0.68，而这些新、未见行的准确性骤降至 0.56。传统的“测试准确性”指标只能在事后显示这种失败，但 BD 指标在事前就发出了警告。

为什么这很重要

这篇论文并不声称已经解决了所有的人工智能问题。相反，它提供了一个看待混合模型的全新“透镜”或全新的语言。通过将这些复杂的工程设计转化为“法官与陪审团”框架，科学家终于可以测量认知不确定性（epistemic uncertainty）——这是一个高级说法，意指“模型对自己规则的了解程度”。

作者认为，这种方法允许我们将“逻辑”（不可改变的规则）与“信念”（数据驱动的猜测）区分开来。这意味着如果一个模型失败了，我们可以判断是因为规则太严苛，还是因为模型只是在进行疯狂的猜测。它将黑盒变成了一个透明的系统，让我们能够清晰地看到不确定性究竟存在于何处，从而帮助工程师为现实世界构建更安全、更可靠的 AI 系统。

技术摘要：从混合机理–数据驱动建模迈向神经符号 AI

1. 问题陈述

混合机理–数据驱动模型（也称为半参数或灰盒模型）正越来越多地被用于处理部分已知的系统，这在过程工程和科学机器学习领域日益普及。这些模型嵌入了固定的第一性原理（例如质量平衡、化学计量关系），同时通过数据学习未知的组成部分（例如构效闭合项、未观测到的速率）。

尽管具有实用价值，但目前的混合建模实践面临两个主要局性：

缺乏共享语义接口： 设计通常通过架构和训练损失进行指定。这种侧重于架构的设计阻碍了跨领域的比较与验证，因为目前缺乏一个统一的语义解释来描述混合模型作为一个推理对象所代表的内容。
不充分的不确定性表示： 目前往往缺乏一种原则性的方法来专门表示机理部分中的认识论不确定性（epistemic uncertainty）。标准指标（如测试准确率）仅能反映事后（post hoc）的性能变化，无法在部署前量化外推过程中的不确定性或结构分布偏移。

本文认为，这些问题源于混合模型中“逻辑”（结构约束）与“信念”（学习到的合理性）之间缺乏正式的分离。

2. 方法论：混合到神经符号（Hybrid-to-NeSy, H2N）的转换

作者提出了一种系统的转换程序——Hybrid-to-NeSy (H2N)，该程序将混合机理–数据驱动模型重构为神经符号（NeSy）AI 的实例，并遵循 De Smet 和 De Raedt 的通用定义。

2.1 NeSy 框架

一个 NeSy 模型被定义为一个元组 $(L, \mu, \Omega, b_\theta)$ ：

$L$ ：一个具有语义 $\mu$ 的语言，其定义在解释空间 $\Omega$ 上。
$b_\theta$ ：一个信念权重函数。
推理泛函： 定义为 $F_{\theta,x}(\phi) = \int_{\Omega'} l(\phi, \omega) b_{\theta,x}(\omega) dm(\omega)$ ，它结合了逻辑函数 $l$ （评估查询）与信念 $b_\theta$ 。

2.2 转换原则

H2N 程序基于以下五个原则将混合设计映射到 NeSy 元组：

机理结构作为语言 ( $L$ )： 结构核心方程（例如平衡律）和组合模式定义了语言及其语义。
运算语义 ( $\mu, l$ )： 逻辑函数 $l$ 实现容许性或评分，决定了什么是结构上有效的。
学习模块作为信念 ( $b_\theta$ )： 学习到的组件对未知量（参数、闭合项、潜状态）诱导出一个信念函数。确定性学习器对应于狄拉克（Dirac）信念；随机学习器对应于非退化分布。
有效域作为逻辑： 硬约束和有效域被置于逻辑侧（通过限制积分域 $\Omega'$ 或通过 $l$ ），而非信念侧。这确保了数据无关的容许性，因为物理定律不应依赖于样本量。
架构分解： 串行、并行和混合专家（mixture-of-experts）模式通过 $l$ 和/或 $b_{\theta,x}$ 的分解来体现。

这种转换产生了一个显式的推理泛函，用于任何混合设计，从而实现了结构容许性（逻辑侧）与学习合理性（信念侧）的分离。

3. 核心贡献

本文做出了四个具体的贡献：

原则性的转换程序： 一种将任何混合模型描述映射到 NeSy 元组 $(L, \mu, \Omega, b_\theta)$ 及其显式推理泛函的方法。
映射表： 一个紧凑的参考表（表 1），将典型的混合设计模式（如串行闭合、并行残差、混合专家）映射到其对应的 NeSy 元素及其对推理泛函的具体影响。
基于两种指标的评估协议： 基于逻辑–信念分解推导出两种指标：
- 结构违规率 (Structural Violation Rate, SVR)： 衡量落在违反结构约束的解释上的信念质量。它存在于逻辑侧，且取决于容忍度。
- 信念离散度 (Belief Dispersion, BD)： 衡量学习到的信念的集中程度（认识论不确定性）。它存在于信念侧，是容忍度无关的，且对于狄拉克信念为零。
经验实例化： 将 H2N 应用于带有标签噪声的结构化二分类混合模型，证明了这些指标如何量化测试准确率本身无法揭示的不确定性。

4. 结果：噪声二分类案例研究

作者在结构化布尔网络上实例化了 H2N，其中机理部分定义了特征分组，而学习部分则识别模块真值表（使用 NoiseCut 策略）。

4.1 量化机理部分的不确定性

与准确率的相关性： 随着标签噪声的增加，测试准确率下降，同时信念离散度 (BD) 上升。BD 与测试准确率呈现强负相关性 ( $\rho = -0 \text{ 且 } -0.94$ )。
预测变异性： 至关重要的是，研究发现 BD 能够预测测试准确率的变异性。具有较高 BD 的模型表现出更高的测试准确率在不同种子（seed-to-seed）之间的标准差。
先验估计： 由于 BD 是关于训练标签计数和机理结构的函数，因此它提供了部署时模型不确定性的先验估计，而测试准确率只能在收集到带标签的测试数据之后才能报告此类信息。

4.2 量化外推过程中的不确定性

分解： 在结构分布偏移（保留特定的第二层行）的情况下，BD 可以精确分解为 $BD = BD_{seen} + BD_{unseen}$ 。
早期预警： $BD_{unseen}$ 仅凭行覆盖率即可计算，无需观察到任何分布外（OOD）样本。在实验中，随着被留出的行数增加， $BD_{unseen}$ 单调上升，而分布内准确率保持高位，分布外准确率则发生崩溃。
意义： 这证明了 H2N 可以在失效发生之前，量化模型对于覆盖范围和外推风险的认识论状态，而这种能力在标准的架构与损失函数描述中是不存在的。

5. 重要性与主张

本文声称 H2N 转换提供了一个共享语义接口，允许在不同领域进行系统的比较与验证。

解耦逻辑与信念： 通过严格分离结构容许性（逻辑侧）与学习合理性（信念侧），该框架明确了哪些假设是硬约束，哪些是数据依赖的。这允许进行针对性干预：即针对机制变更修改 $l$ ，或针对不确定性修改 $b_\theta$ 。
新的诊断能力： 指标 SVR 和 BD 提供了传统架构描述中所没有的诊断工具。具体而言，BD 作为机理部分认识论不确定性的代理，能够检测结构分布偏移和外推风险，且能在部署前实现预警。
双向收益： 这项工作架起了两个领域的桥梁。它为混合建模者提供了严谨的语义接口，同时也为神经符号（NeSy）研究者提供了一个经过预处理的结构化不确定性设计目录（例如，有效性包络线、残差检查），这些设计均源自工程实践。

作者对局限性保持了谦逊的态度，指出转换并非唯一（尽管原则 P1–P5 固定了规范位置），且针对大型或连续空间的诊断依赖于近似推理，会继承其校准误差。