💻 computer science

NeSyCat Torch: A Differentiable Tensor Implementation of Categorical Semantics for Neurosymbolic Learning

NeSyCat Torch 通过实现基于延迟对数张量单子（lazy log-tensor monad）的可微张量训练，将多样化的神经符号语义统一在单一的单子框架之下，在 MNIST 加法任务上实现了比现有系统更优越的速度与准确率，同时保持了能够适应各种一阶方法的统一结构。

原作者： Daniel Romero Schellhorn, Till Mossakowski, Björn Gehrke

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daniel Romero Schellhorn, Till Mossakowski, Björn Gehrke

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：语言太多了

想象一下，你有一支专家团队正在试图教机器人如何思考。

经典专家使用严格的“是/否”逻辑进行对话。
模糊专家使用“也许”或“差不多”进行对话。
概率专家使用百分比和概率进行对话。
神经专家（即 AI）通过观察图像并猜测模式来进行学习。

问题在于，这些专家说的都是不同的语言。他们对于什么是“真”有着不同的规则。如果经典专家写了一条规则，概率专家无法理解它，而神经专家也无法从中学习。这被称为碎片化（fragmentation）。

解决方案：通用翻译机 (NeSyCat)

作者之前构建了一个名为 NeSyCat 的“通用翻译机”。你可以把它看作一个大师级的蓝图，可以将任何一种专家语言翻译成统一的规则手册。它使用一种叫做**单子（Monad）**的数学工具（你可以将其理解为一种“容器”或“包装器”）来承载逻辑。

然而，直到现在，这个翻译机还缺少一个关键部分：它虽然可以描述规则，但实际上无法教导神经专家（AI）如何去学习这些规则。这就像是拥有了一张汽车蓝图，却缺少了引擎。

NeSyCat Torch 登场：引擎

NeSyCat Torch 就是那个缺失的引擎。它将那张通用蓝图直接接入现代 AI 工具（如 PyTorch 和 JAX）。它让 AI 能够从规则中学习，而不仅仅是靠猜测。

以下是它的工作原理，分为三个简单的层级：

1. “偷懒”的会计师（训练单子）

当 AI 进行学习时，它会进行大量的数学运算。如果你试图一次性计算所有可能的可能性，数字会变得非常混乱，甚至导致计算机崩溃（或耗时过长）。

类比： 想象一位厨师在品尝汤的味道。如果他必须逐一品尝每一粒盐，他永远也做不完。相反，他会一次性品尝整锅汤。
论文中的技巧： 作者使用了一种“懒惰（Lazy）”方法。他们不会立即计算每一个结果的概率。他们会等到最后时刻才进行数学计算。他们使用一种特殊的“对数张量（Log-Tensor）”容器来保持数字的稳定且易于处理，就像把食谱记在笔记本上，只有在真正要烹饪时才更新一样。

2. “批处理”传送带（批处理单子）

通常，AI 通过看一张图片、做一个猜测，然后看下一张图片来进行学习。这很慢。

类比： 想象一条工厂流水线。与其一次检查一辆车，不如把 32 辆车放在传送带上，同时对它们进行检查。
论文中的技巧： 他们使用“批处理单子（Batch Monad）”将一组数据（小批量数据）包装在一起。AI 一次性处理整个组，这使得训练速度极快。

3. “双向”桥梁

系统需要与神经网络（它看到的是模糊的图像）以及逻辑规则（它们需要清晰的答案）进行交流。

类比： 想想一位既能理解“模糊图像”又能理解“清晰逻辑”的翻译官。
论文中的技巧： 他们搭建了一座桥梁。当 AI 看到一张模糊的“7”的图像时，它不仅仅是猜测“7”。它会创建一个“可能性的云团”（概率分布）。系统随后使用数学方法来组合这些云团（就像混合颜料一样），以查看最终结果是否符合规则（例如：“这张图像加上那张图像是否等于 15？”）。

测试：添加手写数字

为了证明其有效性，作者在一个经典的测试任务上测试了该系统：MNIST 加法。

任务： 向 AI 展示两个手写数字（比如 3 和 4），但隐藏这两个数字本身。AI 只能看到它们的和（7）。
目标： AI 必须通过仅仅知道它们的和，来学会识别单个数字。
结果： AI 学习识别这些数字的准确率达到了约 97%。

为什么这很重要（研究结果）

作者将 NeSyCat Torch 与其他著名的 AI 逻辑系统（如 LTN 和 DeepProbLog）进行了对比。

速度： 它快得多。当其他系统因超时或卡在更难的问题上时，NeSyCat Torch 依然运行顺畅。
准确度： 它比 LTN 和 DeepProbLog 更准确，且接近于目前最优秀的系统（DeepStochLog）。
灵活性： 最棒的部分在于，由于它是基于这种“通用翻译机”（单子）构建的，你可以更换“容器”来改变 AI 的思考方式。你只需更改代码中的一个设置，就可以从“概率”切换到“模糊逻辑”，而无需重写整个程序。

总结

NeCyCat Torch 是一种构建结合了严格逻辑与灵活学习能力的 AI 的新方法。它利用巧妙的“懒惰”数学技巧来避免陷入繁琐的计算，并利用“批处理”技巧来快速处理数据。它证明了你只需要给出加法的规则，就能教会 AI 识别手写数字，而且比以往的方法更快、更准确。

技术摘要：NeSyCat Torch

问题陈述

神经符号（NeSy）人工智能旨在将神经网络的感知能力与符号逻辑的结构化推理相结合。然而，该领域正面临碎片化问题：经典、模糊和概率系统各自通过不同的归纳规则定义“真值”，导致知识库与学习目标之间无法进行迁移。虽然统一学习与推理语言（ULLER）此前通过基于单子的范畴框架统一了这些语义，但它缺乏针对由神经网络学习的谓词与函数的实现。此外，现有的实现方案在从离散向连续或大规模批处理设置迁移时，往往在可扩展性和数值稳定性方面表现不佳。

方法论

本文介绍了 NeSyCat Torch，它是 NeSyCat 范畴框架的一个可微张量实现。其核心方法论是通过单子参数化架构，在单子框架内通过神经网络解释计算符号。

1. 范畴框架与单子

该框架通过将语法与语义组织为四个层级（范畴层、逻辑层、领域层和语法层），扩展了 Johnstone (2002) 的范畴语义。其统一机制是强单子 $M$ ，它参数化了效应（例如：概率、张量权重）。本文使用了三种特定的单子层（表 1）：

分布单子 ( $D$ )： 表示有限支撑的概率分布。它作为参考语义和度量读出，其中 bind ( $>>=$ ) 执行边缘化（全概率定律）。
张量单子 ( $T$ ) / 对数张量单子 ( $T_{log}$ )： 以可微方式实现分布单子，使用实数（logits）而非概率。 $T_{log}$ 在对数半环 $(\mathbb{R}, \text{logsumexp}, +)$ 上运行，以确保数值稳定性和可微性，避免了在 $[0,1]$ 区间内使用模糊算子时产生的梯度退化问题。
批处理单子 ( $B$ )： 一个基于批处理索引集的 Reader 单子，能够在不引入随机性的情况下实现对小批量（mini-batches）的并行处理。

2. 语法与语义

系统支持三种类型的符号：

Tarski： 确定性映射（标准一阶逻辑 FOL）。
Kleisli： 进入 $M$ 的效应映射。
NeSy： 接收单子载体（monadic carriers）作为输入并产生单子载体输出的神经映射。

公式通过 do-notation（单子 bind 的语法糖）构建。一项关键创新是对计算函数符号（例如 $digit: \text{Image} \to M \text{Digit}$ ）和谓词的处理。语义是归纳定义的：

Bind ( $\leftarrow$ )： 在 $D$ 中执行边缘化，在 $T$ 中执行对数空间卷积。
量词： 在有限域上聚合单子真值。
惰性求值（Lazy Evaluation）： 框架采用惰性单子来延迟计算边缘化概率，直到严格需要时才进行，从而剪枝不必要的计算分支。

3. 训练与推理

训练过程通过最小化数据集上的知识损失（负对数真值的均值）来实现。

批处理（Batching）： 系统并非对 $N$ 个样本分别运行 $N$ 次 do-notation 程序，而是在一个批处理张量上运行一次。批处理单子 $B$ 与张量单子 $T$ 复合而成（ $B \circ T$ ）。
数据处理： 观测值被视为“确定”的值（在对数空间中进行 one-hot 编码），并通过 liftB 进入公式。
实现： 该框架使用 Haskell (HaskTorch)、Python (JAX) 和 Python (PyTorch) 实现。JAX 后端利用 JIT 编译进行对数空间卷积和微分。

核心贡献

NeSyCat 的神经实现： 提供了第一个 NeSyCat 范畴框架的神经实现，弥合了抽象范畴语义与实际深度学习之间的鸿沟。
统一的单子参数化： 证明了通过改变底层单子，可以在同一个代码库中实例化不同的语义（概率、模糊、经典）。
可微对数张量单子： 引入了一个使用对数半环的数值稳定且可微的训练后端，避免了在中间步骤中进行显式的 softmax 归一化（将其推迟到边界处）。
通过惰性实现的可扩展性： 通过延迟边缘化计算，实现了在批处理和多位数问题上的高效训练。

实验结果

作者在 MNIST 加法任务上评估了该框架（远距离监督：仅观测到两个手写数字之和，而非数字本身）。

准确率：
- 单位数 ( $N=1$ )： NeSyCat Torch 达到了 94.6% (LTN 风格) 和 94.2% (DeepProbLog 风格)，分别优于 LTN (93.5%) 和 DeepProbLog (92.2%)。
- 多位数 ( $N=4$ )： NeSyCat Torch 达到了 92.0% 的准确率。相比之下，LTN 和 DeepProbLog 在此任务上超时（T/O）。
- 对比： 该方法接近 DeepStochLog (对于 $N=4$ 为 92.7%) 的准确率，后者是目前最准确的基准，同时保持了适用于各种一阶方法的统一框架。
效率：
- 在单个 A100 GPU 上的训练步长显著快于 LTN（在旧硬件上，LTN 风格每步为 5.36ms，而本方法为 0.52ms）。
- 系统收敛迅速；单位数加法的完整 15 个种子扫描大约耗时 1.5 分钟。
泛化能力： 网络仅通过观测到的总和，就学会了以约 97% 的准确率识别数字，而无需使用数字标签。

意义与主张

论文声称 NeSyCat Torch 成功地将 NeSyCat 范畴框架的通用性扩展到了神经实现层面。其主要意义在于：

统一性： 它提供了一个单一且统一的框架，通过简单地实例化单子，即可应用于许多一阶 NeSy 方法（经典、模糊、概率），而不是需要为每种方法单独定义。
可扩展性： 通过利用惰性单子和张量结构，它克服了限制其他方法（如 DeepProbLog）处理更大问题（如 $N=4$ 位数）的计算瓶颈（如 DeepProbLog 中的 #P-hard 加权模型计数问题）。
可扩展性（Extensibility）： 该框架是参数化的；虽然当前工作侧重于有限域和离散分布，但作者指出，通过实例化 Giry 单子，可以将该方法扩展到连续概率（尽管其神经表示仍是未来的研究课题）。

作者谦虚地指出，虽然目前的实现能有效处理有限域和离散分布，但如何将该方法推广到无限域以及高效的连续概率神经表示，仍然是未来研究中开放的挑战。