🤖 machine learning

DisjunctiveNet: Neural Symbolic Learning via Differentiable Convexified Optimization Layers

本文提出了 DisjunctiveNet，这是一个统一的端到端框架，它通过将规则表示为析取约束并应用分层凸松弛以创建可微优化层，从而在神经网络中强制执行硬性的、依赖输入的混合整数线性约束，并保证规则的精确满足。

原作者： Shraman Pal, Can Li

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Shraman Pal, Can Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在训练一个才华横溢但鲁莽的学生（一个神经网络）来解决复杂的问题。这个学生非常擅长发现数据中的模式，但他们非常不擅长遵守规则手册。有时，他们会做出在数学上可行但在物理上不可能或危险的预测——比如一辆自动驾驶汽车因为数据看起来“相似”，就决定冲向一面实心墙。

在工程学或生物学等许多现实世界领域，我们拥有一本严格的“规则手册”，这些规则源于物理学、安全协议或专家知识。这些规则通常看起来像这样：“如果（IF） 温度很高，那么（THEN） 风扇必须开启 或者（OR） 空调必须开启。”

问题在于，标准的 AI 难以处理这些“如果-那么”规则，尤其是当规则根据情况发生变化时。现有的方法试图通过惩罚来“引导”学生（就像老师说“再努力一点”），但学生仍然偶尔会违反规则。其他方法则是在学生已经给出答案后才强行套用规则，这就像是在考试结束后才纠正作业——这对学生学习正确的思考方式没有帮助。

DisjunctiveNet 正式登场。

作者提出了一个全新的框架，它就像是一个智能、实时的安全护栏，为神经网络提供保护。以下是它的工作原理，使用简单的类比：

1. “析取”（Disjunctive）谜题

书中的规则通常是“析取”性的，这意味着它们提供了选择。

规则： “如果下雨了，你必须穿雨衣或者打雨伞。”
问题： AI 可能会预测“既穿雨衣又打雨伞”（没问题）或者“两者都不穿”（错误）。但“或（OR）”背后的数学逻辑对计算机来说很棘手，因为它会创造出一个带有“孔洞”的形状（非凸性）。这就像试图画一个圆润的球体，但球体上被咬掉了一大块。标准的数学工具无法轻松地让球体在这样的形状上滚动。

2. “凸包”（Convex Hull）技巧（神奇的模具）

为了解决这个问题，作者使用了一个叫做凸包的数学技巧。

想象一下，有效的答案（雨衣 OR 雨伞）是海中两座独立的岛屿。AI 目前正漂浮在海中央（一个无效的答案）。
标准方法可能只是在最近的岛屿之间搭建一座桥，但这座桥是不稳固的。
DisjunctiveNet 在所有有效岛屿周围构建了一个完美的、紧密的模具。它创造了一个新的、平滑的形状，精确地包裹住所有的有效选项，而不包含中间任何“禁止通行”的海水。
至关重要的是，他们在“提升”（lifted）空间中进行此操作。可以将其想象为将二维的岛屿地图投影到一个三维雕塑上。在三维视图中，“孔洞”消失了，形状变成了一个平滑、坚实的块体，计算机可以轻松地在其间导航。

3. “投影层”（Projection Layer）（俱乐部的保镖）

这是核心创新。作者在神经网络中插入了一个特殊的层，充当俱乐部的保镖。

神经网络做出它的最佳猜测（“无约束预测”）。
这个猜测被交给保镖（优化层）。
保镖检查“模具”（凸包）。如果猜测超出了有效规则，保镖会立即找到规则内最接近的有效位置，并将预测“吸附”到那里。
神奇之处： 这种吸附过程是“可微的（differentiable）”。这意味着保镖不仅修正了答案，还告诉了学生他们到底错在哪里，以便他们能立即从中学习。学生学会了从源头上避免进入“禁止之水”区域。

4. 处理“如果-那么”的复杂性

论文强调，有些规则仅在特定情况下适用（输入依赖型）。

例子： “如果风扇坏了，那么使用空调。” 如果风扇没坏，这条规则就不适用。
DisjunctiveNet 非常聪明，它能够检查当前的情况，确定哪些规则处于激活状态，并立即重塑其“模具”以仅符合激活的规则。它不是采用“一刀切”的方法，而是为每一个输入量身定制安全护栏。

结果：完美的合规性

作者在两个场景中测试了该方法：

冷却系统： 一个模拟工厂，AI 必须在不违反安全规则的前提下控制风扇和冷水机。
医学数据 (scRNA-seq)： 根据基因标记对细胞进行分类，其中生物学规则规定，如果存在某些基因，则该细胞必须是某种特定类型。

研究结果非常明确：

规则满足度： 虽然其他方法（如基于惩罚的方法）经常违反规则，但 DisjunctiveNet 实现了 100% 的规则满足度。它从未违反规则。
性能： 在数据非常稀缺的情况下（在这种情况下 AI 通常表现挣扎），DisjunctiveNet 比其他方法更聪明，因为规则起到了强大的引导作用。
权衡： “完美版”（DNF）比“足够好版”（CNF）在计算上更重（计算模具需要更多时间），但它保证了规则被精确执行。

总结

DisjunctiveNet 是一种教 AI 尊重硬性逻辑规则的方法，而不是靠猜测或希望。它将复杂的、“有孔洞”的规则手册转化为平滑、可导航的形状，使 AI 可以直接从中学习。它确保了当 AI 做出决策时，该决策不仅在统计学上是可能的，而且在物理和逻辑上都得到保证，是安全且正确的。

技术摘要：DisjunctiveNet

问题陈述

许多科学与工程领域的学习任务运行在稀疏数据机制下，在这种环境下，纯数据驱动的深度学习模型往往难以泛化，或会违反已知的结构、物理或安全约束。虽然这些领域拥有丰富的先验知识（以物理定律、操作要求和专家启发式规则的形式表达），但现有的神经符号方法在有效整合这些知识方面仍面临困难。目前的方法通常依赖于软惩罚（无法保证可行性）、假设规则与输入无关，或者在推理时使用不可微的后处理。此外，由于此类约束空间的非凸性和不连续性，扩展可微优化层以处理逻辑或混合整数规则具有挑战性。

方法论

作者提出了 DisjunctiveNet，这是一个统一的端到端框架，用于在神经网络中强制执行硬性的、依赖输入的混合整数线性约束。其核心方法论包含三个关键组件：

析 disjunctive 约束表示：
领域知识被建模为一组依赖输入的规则。每条规则是一个蕴含关系 $I[x \in A_r] \Rightarrow I[y \in C_r(x)]$ ，其中输出可行集 $C_r(x)$ 被表示为一个有限个多面体集合的并集（即析 disjunction）。作者证明，这种表示法与混合整数线性规划（MILP）约束及量词自由线性实算术（QF-LRA）具有同等的表达能力。
分层凸化（CNF 与 DNF）：
为了在确保精确满足约束的同时实现端到端的可微性，该框架将非凸可行集转换为一个凸松弛形式。
- CNF 松弛： 独立地对每条规则进行凸化，然后对生成的凸集求交。该方法随活跃规则的数量线性扩展，但提供的松弛度较松。
- DNF 松弛： 通过枚举所有活跃规则中析项（disjuncts）的所有可能交集，将交集分配到并集之上。随后计算这些交集的凸包。这产生了原始非凸可行集的精确凸包，保证了求解结果满足原始逻辑约束。
- 顺序凸化（Sequential Convexification）： 引入了一种折中方案，其中一部分规则被展开为 DNF 形式，而另一部分保持为 CNF 形式，从而实现了计算复杂度与松弛紧度之间的权衡。
可微优化层：
将无约束网络输出 $\hat{y}$ 投影到凸化可行集的过程被公式化为一个线性规划（LP）问题，采用了 $\ell_1$ 范数上确界（epigraph）形式。通过将变量提升到更高维的空间（包括用于上确界的辅助变量和凸组合权重），该非凸投影问题被转化为一个易于处理的 LP 问题。
- 精确性： 作者证明，如果 LP 求解器返回极点解（例如，通过单纯形算法），则所得投影将精确满足原始硬约束。
- 可微性： 该层通过对 Karush-Kuhn-Tucker (KKT) 条件进行隐式微分来实现可微，从而允许梯度在训练期间流回神经网络参数。

核心贡献

统一框架： 本文提出了首个能够在训练和推理阶段都在神经网络中强制执行硬性、依赖输入的混合整数线性约束的方法。
精确可行性保证： 不同于以往将凸松弛作为启发式方法的做法，所提出的 DNF 松弛对应于最紧的凸包。作者正式证明，提升后的 LP 的极点解能精确满足原始逻辑约束。
表达能力： 该框架将逻辑规则（线性不等式上的布尔运算符）和基于优化的约束（MILP）统一在单一的析 disjunctive 规划公式之下。
可扩展机制： 引入了顺序凸化技术，并分析了 CNF（高扩展性）与 DNF（高紧度）松弛之间的权衡，为处理复杂的规则集提供了实用的工具。

实验结果

该框架在两个基准测试上进行了评估：合成冷却控制任务和单细胞 RNA 测序（scRNA-seq）分类任务。

合成冷却控制：
- 性能： DisjunctiveNet（特别是 DNF 变体）在分布内（IID）和分布外（OOD）测试集上均实现了完美的规则满足率（CSAT = 1.0），显著优于无约束基线模型和软惩罚方法。
- 泛化能力： 在数据稀缺机制和 OOD 偏移下，投影层提供了强大的归纳偏置，使得均方误差（MSE）明显低于基线模型。
- 效率： 虽然推理需要求解 LP（每个样本耗时约 25-29 ms），但计算开销被认为是实际可行的，且由于许多析 disjunct 组合是不可行的，DNF 公式在测试场景中并未出现最坏情况下的指数级爆炸。
scRNA-seq 分类：
- 规则满足率： 基于 DNF 的投影实现了近乎完美的规则满足率（CSAT > 0.9），而基于惩罚的方法和基础网络未能一致地满足依赖输入的标记基因规则。
- 准确性与约束的关系： 在低数据机制下，强制执行规则提高了 Macro-F1 分数。随着数据量的增加，基础模型的准确性有所提高，但基于投影的模型仍保持着卓越的规则遵循能力，这突显了在高数据机制下预测准确性与精确约束满足之间的权衡。

重要性与主张

本文声称 DisjunctiveNet 解决了神经符号学习中的一个关键空白，即能够精确执行复杂的、依赖输入的逻辑约束，而不依赖于软惩罚或事后修正。其重要性在于能够将领域知识直接整合进学习过程中，确保模型即使在数据有限或发生分布偏移时，也能遵循物理与安全约束。

作者将他们的工作定位为迈向更可靠的科学与工程应用 AI 的一步。他们也承认了局限性，主要是对于大量活跃规则时 DNF 松弛的计算成本，以及对 LP 求解器必须返回极点解以保证精确性的依赖。然而，他们认为对于涉及中等规模规则集的许多现实世界应用，该框架提供了一个原则性且有效的解决方案。