🤖 machine learning

Logic of Hypotheses: from Zero to Full Knowledge in Neurosymbolic Integration

本文介绍了假设逻辑（LoH），这是一种新颖的神经符号框架，通过将可学习的选择算子扩展至命题逻辑并编译为可微模糊逻辑，从而统一了手工构建的规则与数据驱动的机器学习，实现了灵活的知识整合与离散布尔推理，且无需牺牲性能。

原作者： Davide Bizzaro, Alessandro Daniele

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Davide Bizzaro, Alessandro Daniele

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《假设逻辑：神经符号集成中从零到全知》的通俗解释，辅以日常类比。

宏观图景： bridging 两个世界

想象你正在教计算机做出明智的决策。你有两个主要工具：

神经网络（“直觉学习者”）：这就像一个通过观察成千上万张图片来学习的孩子。它非常擅长发现模式（例如在照片中识别出一只猫），但极不擅长解释为什么它认为那是只猫。它是一个“黑盒”。
符号逻辑（“规则遵循者”）：这就像一位严格的律师或国际象棋特级大师。它遵循清晰、书面的规则（例如，“如果下雨，就带伞”）。它完美地解释其推理过程，但如果不被明确告知具体该做什么，它就极难从原始数据中学习新事物。

神经符号集成（NeSy） 就是试图将这两者结合。目标是构建一个既能从数据中学习，又能遵循逻辑规则的系统。然而，大多数现有方法都困在两个极端：要么你向计算机提供完美的规则（它只是学会遵循它们），要么你让它从零开始学习规则（它经常编造胡言乱语）。

问题在于：如果你拥有一些规则，但它们不完整呢？或者如果你有一系列可能的规则，但不确定哪些是正确的呢？目前的工具难以应对这种“中间地带”。

解决方案：假设逻辑（LoH）

作者引入了一种名为假设逻辑（Logic of Hypotheses, LoH）的新语言。你可以将 LoH 想象成一本计算机逻辑版的“选择你自己的冒险”书。

“选择算子”

在标准逻辑中，规则是固定的。而在 LoH 中，你可以在规则中插入一个特殊的“选择框”。

标准逻辑：“如果下雨，就带伞。”（固定）
LoH：“如果下雨，就带 [伞或雨衣或连衣帽]。”

计算机目前还不知道该选哪一个。它必须查看数据并决定：“根据我看到的图片，‘雨衣’似乎效果最好。”

这使得系统能够无缝处理三种不同的场景：

全知：你向计算机提供确切的规则。“选择框”是空的，因为只有一个选项。计算机只需学会识别下雨。
零知：你向计算机提供一份它可能学到的所有可能规则的庞大清单。它必须从零开始构建整个结构。
部分知（最佳点）：你向计算机提供规则的骨架，并为缺失的部分提供几个选项。它根据数据填补空白。

工作原理："Gödel 技巧”

将这些“选择框”转化为可学习的计算机程序颇具挑战性。通常，计算机需要平滑、滑动的刻度（像调光开关）来进行学习。但逻辑是二元的（开/关，是/否）。

作者使用了一个涉及Gödel 模糊逻辑的巧妙数学技巧。

类比：想象一个控制灯光的调光开关。通常，你可以将其设置为 30% 或 70%。但对于逻辑而言，你需要灯光要么完全开，要么完全关。
技巧：作者设计的系统使得即使计算机使用平滑、滑动的开关（利用梯度）进行学习，数学上也保证：当你最终将开关“咔哒”一声拨到“开”或“关”时，得出的答案与它从一开始就使用硬开关学习完全相同。
这为何重要：许多其他系统在尝试将其平滑学习转化为硬性的、可读的规则时会损失准确性。而这个系统在不损失任何性能的情况下做到了这一点。这就像一位厨师，既能用精密的秤烹饪出完美的菜肴，也能用粗略的食材估算来上菜，而味道完全一样。

实验：它有效吗？

作者在两类任务上测试了这种“选择你自己的冒险”逻辑：

1. 表格数据（“电子表格”测试）
他们使用了标准数据集（例如预测是否应批准银行贷款）。

结果：他们的模型表现与最好的“黑盒”神经网络一样好，但生成了清晰、可读且人类可理解的规则。它击败了其他规则学习系统，那些系统在试图兼顾灵活性和准确性时往往会陷入混乱。

2. 视觉井字棋（“感知”测试）
这是一个更难的测试。他们没有给计算机一个写有"X"和"O"的棋盘，而是给了它棋盘的图像（使用手写数字代表 X、O 和空格）。

挑战：计算机必须首先学会识别数字（感知），然后同时学会井字棋的规则（逻辑）。
结果：LoH 模型成功地直接从图像中学习了游戏规则。它弄懂了“一行三个 X 意味着获胜”，并能用通俗的英语解释这一规则。其他模型要么未能学会规则，要么学到的规则在尝试阅读时显得毫无意义。

野火示例

为了展示其灵活性，他们模拟了野火风险评估。

场景 A（全知）：他们告诉计算机火的精确物理原理（燃料 + 干燥度 + 触发因素）。计算机只需学会从卫星图像中识别“森林”和“干燥植被”。
场景 B（部分知）：他们告诉计算机：“我们知道燃料如何起作用，但不确定触发因素。”计算机得到了一份包含 5 种可能“触发”规则的清单。它查看数据，并挑选出实际最能预测火灾的那一条。
场景 C（零知）：他们给计算机列出了 20 条关于所有事物的可能规则，让它从零开始构建整个系统。

在每种场景中，系统都完美地适应了，证明它能够处理从“我什么都知道”到“我一无所知”的任何情况。

总结

这篇论文提出了假设逻辑（LoH），这是一种构建 AI 的新方法，它舒适地介于“僵化规则”和“盲目学习”之间。

它使用选择框让 AI 决定使用哪些规则。
它使用数学技巧确保其学到的规则在简化供人类阅读后依然完全准确。
它在电子表格和图像上均有效，证明其能够处理我们可能仅拥有部分知识的复杂现实世界问题。

本质上，LoH 赋予了 AI 这样的能力：它可以说“我知道答案的大致轮廓，但我需要查看数据来填充具体细节”，然后以完美的准确性做到这一点。

技术摘要：假设逻辑（LoH）

问题陈述

神经符号集成（NeSy）旨在结合符号逻辑的演绎能力与神经网络的习得能力。现有方法通常占据光谱的两端：

知识注入：DeepProbLog 和 LTN 等方法依赖领域专家提供高质量的逻辑公式作为先验或约束。这假设此类规则 readily available（立即可用），且无法处理规则必须被习得或部分修订的场景。
规则归纳：SATNet、DSL 和归纳逻辑编程（ILP）等方法直接从数据中学习符号规则。虽然灵活，但它们往往难以融入部分先验知识，或在没有特定临时机制的情况下强制执行特定的句法模板（例如固定长度的子句）。

在处理中间场景方面仍存在显著差距：在这些场景中，部分逻辑结构被提供，但缺失的组件必须被习得；或者习得的规则必须遵守特定的句法约束。当前的可微分神经符号模型通常缺乏在单一、原则性框架内跨越“从零到全知”这一光谱的灵活性。此外，许多使用模糊逻辑（例如积或 Lukasiewicz t-范数）的现有模型，其连续训练性能与其离散、可解释的规则提取之间存在差异，导致二值化后精度下降。

方法论：假设逻辑（LoH）

作者提出了假设逻辑（LoH），这是一种统一知识注入与规则归纳的新型逻辑形式化方法。

1. 选择算子

LoH 扩展了标准命题逻辑语法，引入了选择算子 $[\Phi_1, \dots, \Phi_n]$ 。

语法：公式 $\Phi$ 可以包含选择算子，从有限候选池中选择一个子公式。
语义：单个 LoH 公式代表一个假设空间 $\mathcal{H}(\Phi)$ ，即通过为每个选择算子恰好选择一个子公式而获得的所有经典命题公式的集合。
灵活性：这允许表示未完全指定的公式。通过调整选择算子的存在与否，LoH 可以表示从完全指定的规则（无选择）到完全数据驱动的搜索空间（所有选择）的任何内容。

2. 编译为可微分图

为了通过反向传播实现学习，LoH 公式被编译为可微分计算图：

加权门：选择算子中的每个候选子公式 $\Phi_i$ 被分配一个可学习权重 $w_i \in [0, 1]$ 。
双重编译：选择算子被转换为命题公式，使用析取编译（ $\bigvee w_i \land \Phi_i$ ）或合取编译（ $\bigwedge \neg w_i \lor \Phi_i$ ）。这两种编译方式的选择取决于算子的上下文（例如，位于合取内部还是析取内部），以优化梯度流。
模糊逻辑语义：编译后的公式使用Gödel 模糊逻辑进行解释（其中合取为 $\min$ ，析取为 $\max$ ）。这使得逻辑运算具有可微分性。

3. Gödel 技巧与离散化

一个关键组件是在学习离散决策的同时保持可微分性的机制：

参数化：模型不直接学习权重 $w_i$ ，而是学习 logits $z_i$ 。
随机局部搜索：在前向传播期间，向 logits 添加 Gumbel 噪声。随后对数值进行移位，使得恰好有一个 logit 为正，并应用 sigmoid 函数生成权重。
定理 1（无损提取）：利用 Gödel 逻辑的性质，作者证明对于任何模糊解释，使用 0.5 的阈值舍入输出值，都会产生与连续模型一致的布尔解释。这确保了离散化学习后的模型与连续版本相比，不会造成精度损失，而这一性质是积或 Lukasiewicz 等其他模糊逻辑所无法保证的。

4. 架构集成

LoH 可以堆叠在神经网络（例如 CNN）之上，以端到端地学习感知到符号的映射。选择算子也可用于强制执行句法模板（例如固定宽度的子句）或从已知知识库中选择子集。

主要贡献

新型语言（LoH）：一种扩展命题逻辑并引入选择算子的形式化方法，实现了假设空间的紧凑表示以及部分先验知识的灵活集成。
可微分编译：一种利用 Gödel 模糊逻辑和Gödel 技巧将 LoH 公式编译为计算图的程序。这使得离散逻辑规则的端到端学习成为可能，且在二值化时不会导致精度下降。
统一框架：LoH 涵盖了现有的神经符号范式。它可以作为纯规则归纳器（零知识）、知识注入器（全知知识），或处理中间场景（部分知识、模板约束）的混合系统。
实证验证：该框架在表格数据和感知任务（视觉井字棋）上表现出强劲性能，优于或媲美 MLLP 和 DLN 等最先进模型，同时提供可解释的离散规则。

实验结果

作者在两个主要方面评估了 LoH：

1. 表格分类（12 个 UCI 数据集）

设置：将 LoH 模型与决策树（DT）、随机森林（RF）、XGBoost、标准神经网络（NN）、可微分逻辑网络（DLN）和多层逻辑感知器（MLLP）进行比较。
发现：
- LoH 取得了具有竞争力的 F1 分数，通常达到或超过标准 NN 和 MLLP 的性能。
- 与 MLLP 不同（MLLP 中提取的规则 CRS 通常比连续模型性能显著下降），由于 Gödel 语义，LoH 的离散规则保持了与连续模型相同的精度。
- LoH 在大多数数据集上始终优于 CRS 和 DLN（以其离散形式），特别是在类别较少的多分类设置中。

2. 视觉井字棋

设置：一项感知任务，输入是 $3 \times 3$ 的 MNIST 数字网格（0=X, 1=O, 2=空白），而非符号输入。目标是预测'X'是否获胜。
发现：
- LoH（特别是 DNF 变体）取得了最高性能，在 30 次运行中有 4 次找到了 100% 正确的逻辑公式。
- 其他模型（MLLP、DLN）在训练后的符号评估中表现挣扎，尽管连续性能合理，但往往无法生成准确的离散规则。
- 该模型成功学会了将符号接地（从图像中识别 X、O 和空白）并同时发现底层的逻辑结构。

3. 野火风险模拟（知识体制）

设置：一项合成任务，测试不同水平的先验知识：全知知识、选择可靠规则、每集选择一个规则、以及部分知识。
发现：LoH 成功适应了所有体制。与修改后的 $\partial$ ILP 基线相比，LoH 在涉及大假设空间的体制中表现更优，展示了在处理复杂规则选择和部分知识集成方面的卓越效率。

意义与主张

该论文声称，LoH 提供了一个单一、原则性的学习框架，弥合了知识注入与规则归纳之间的差距。其主要意义在于：

灵活性：它允许研究人员指定可用先验知识的确切数量，从“零”到“全”，并处理需要修订或补全规则的中间情况。
无损离散化：通过利用 Gödel 逻辑和 Gödel 技巧，LoH 保证从模型中提取的离散、可解释规则与训练期间使用的连续模型一样准确。这解决了先前神经符号方法中的一个主要局限性。
端到端学习：它实现了符号规则与感知到符号映射的同时学习，将抽象概念扎根于原始数据中，而无需预训练的符号组件。

作者承认了局限性，指出当前的实现是命题逻辑层面的，且由于接地（groundings）的组合爆炸，可扩展性对于一阶扩展仍然是一个挑战。然而，他们提出 LoH 为神经符号人工智能的未来发展提供了坚实的基础。