🤖 AI

Probabilistic Circuits as Reasoning Machines in Artificial Intelligence (Part I)

这篇累积性授职论文的第一部分主张将概率电路作为一种在不确定性下进行人工智能推理与学习的可行框架，综合了过去十年关于其基础理论、学习算法、可扩展实现以及与深度和符号机器学习范式集成研究的成果。

原作者： Robert Peharz

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Robert Peharz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在探索构建能够思考的机器的过程中，科学家们长期以来一直在争论何为智能的最佳语言。一派观点主张严密的逻辑，即事实是绝对的，结论遵循严格的规则。另一派则青睐神经网络，即通过在海量数据中识别模式来进行学习的系统，这与人类大脑的运作方式非常相似。但还有第三条更古老的路径，它将不确定性视为世界的一个基本特征，而非需要修复的缺陷。这种方法依赖于概率，一种允许系统表达“我不确定，但我可以告诉你不同结果的可能性有多大”的数学框架。它是关于风险、天气预报或医生权衡症状与诊断之间关系的语言。概率的力量在于它能够将已知与未知结合起来，并随着新证据的到来不断更新信念。然而，几十年来，这种优雅的语言在实践中一直难以应用。虽然利用概率进行推理的规则很简单，但在处理复杂的现实问题时，实际执行计算往往需要计算机执行天文数字般的步骤，其耗时甚至可能超过宇宙的年龄。

格拉茨理工大学的研究员罗伯特·佩哈尔茨（Robert Peharz）在过去十年中一直致力于解决这一计算瓶al颈。他的研究重点是一种被称为“概率电路”（probabilistic circuit）的特定模型。想象一棵巨大的分支树，每一片叶子代表一个简单的信息片段，而每一个分支都将这些片段组合起来，以构成对世界的完整描绘。在标准模型中，计算特定场景的可能性需要追踪树中所有可能的路径，随着树的增长，这项任务会呈指数级变得更加困难。佩哈尔茨的研究表明，通过对这些分支如何连接施加一些严格的架构规则，我们可以使整个计算过程既快速又精确。这些规则确保了模型永远不会因为试图计算每一种可能性而陷入停滞。相反，它可以瞬间回答复杂的问题，例如预测一组症状最可能的成因，或者根据大量数据确定某一特定事件发生的概率。

佩哈尔茨贡献的核心在于，他意识到这些电路不仅是一项新发明，更是一种统一多种现有方法的语言。他展示了各种模型——从算术电路到和积网络（sum-product networks）——实际上都是同一种底层结构的异名。通过将它们视为一个凝聚的整体，他得以开发出一套适用于所有模型的标准工具。他的一个关键发现是，这些电路可以被构建为“平滑”且“可分解”的。通俗地说，这意味着模型的组织方式确保它永远不会尝试将两个依赖于同一个未知因素的信息片段相乘，也永远不会将两个覆盖不同事实集合的不同可能性相加。这些结构约束就像是计算机计算过程中的交通系统，防止交通拥堵，并确保信息能从树的底部平稳地流动到顶部。

由于这种组织方式，计算机可以执行此前被认为过于困难的任务。例如，它可以在不到一秒的时间内计算出某种情况的平均结果，或找到一组观察结果的最可能解释。佩哈尔茨还展示了如何教导这些电路从数据中学习。他开发的方法允许模型自动调整其内部权重，在无需猜测的情况下找到与数据的最佳拟合。此外，他证明了这些电路可以与其它强大但计算沉重的机器学习工具相结合。通过使用概率电路作为快速、可靠的引擎来处理问题的简单部分，并让更慢、更复杂的模型处理困难部分，整个系统既强大又高效。这种混合方法使研究人员能够构建出不仅准确而且能够解释其推理过程的模型。

这项工作还架起了统计学习与符号逻辑之间的桥梁。佩哈尔士证明了这些电路可以转化为决策树——一种基于规则进行选择的经典方法。这种联系使得系统能够优雅地处理缺失数据；如果某项信息缺失，电路可以简单地忽略该分支，并依然提供有效的答案，而不是直接失效。他还将这些思想应用于网络安全领域，利用电路分析物理侧信道（如功耗）以破解加密密钥。在这些测试中，基于电路的方法比以往的方法更成功，且对噪声的鲁棒性更强。

在整个研究过程中，佩哈尔茨解决了该领域的一个常见误解：即人们认为必须在“易于计算的模型”与“足以描述复杂现实的表达能力强的模型”之间做出选择。他的研究结果表明，这是一个伪命题。虽然概率电路在表示某些类型的数据时存在局限性，但他已经证明，对于许多实际应用而言，这些模型与那些难以处理的替代方案一样好，甚至更好。他还澄清了添加某些特性（如未归一化权重）实际上并不会增加模型的效能，这一发现有助于简化这些系统的设计。

这项工作的终极目标是创造出不仅聪明而且可靠、可理解的人工智能。通过将人工智能建立在严密的概率规则之上，并确保计算可以精确且快速地完成，佩哈尔茨的研究为实现能够像人类专家一样在不确定性下进行推理的机器奠定了基础。这种方法超越了许多现代人工智能系统的“黑箱”本质，提供了一种观察结论是如何得出的途径。随着这些方法被整合进深度学习框架并与其他技术结合，它们有望使人工智能变得更加值得信赖，使其能够在不牺牲速度或准确性的情况下，应对这个混乱且充满不确定的现实世界。

技术摘要：作为人工智能推理机器的概率电路（第一部分）

问题陈述

人工智能（AI）需要能够处理知识表示、推理以及在不确定性下进行学习的系统。虽然概率论为这些任务提供了一种严谨、一致且概念简单的语言——可归约为加法规则和乘法规则——但它面临着一个根本性的计算障碍：在大多数概率模型中，概率推理通常是 NP-hard 的。

现有的框架呈现出一种二分现象：

具有表现力但难以计算的模型： 深度生成模型（如 VAEs、GANs、归一化流、基于评分的模型）和复杂的概率图模型（PGMs）可以表示复杂的联合分布，但通常需要近似推理（如变分推理、MCMC），因为精确的边缘化或条件化在计算上是难以承受的。
具有计算可行性但能力有限的模型： 具有受限树宽或特定结构约束的模型允许精确推理，但往往在表达效率方面受到限制，对于某些分布需要指数级的表示规模。

核心问题在于缺乏一个统一的框架，既能结合深度学习的表现力，又能结合精确概率推理的计算可行性，从而在多项式时间内实现对边缘分布、条件分布、期望值和最可能解释（MPE）的计算，而无需近似。

方法论：概率电路 (PCs)

本文提出将**概率电路（PCs）**作为一种用于可计算概率建模的“通用语言”。PCs 被定义为有向无环计算图（神经网络），包含三种类型的节点：

分布节点（叶子节点）： 对变量子集的参数化概率分布（例如高斯分布、分类分布）。
求和节点（Sum Nodes）： 输入的加权和，代表混合模型。
乘积节点（Product Nodes）： 输入的乘积，代表因子化。

为了确保推理的可计算性，PCs 必须满足特定的结构约束：

可分解性（Decomposability）： 任何乘积节点的输入必须具有不相交的作用域（变量集合）。这确保了乘积代表一个因子化的分布，其中变量是独立的。
平滑性（Smoothness）： 任何求和节点的输入必须具有相同的作用域。这确保了求和代表一个有效的混合分布。
确定性（Determinism）： （可选但强大）对于任何给定的完全赋值，求和节点至多有一个输入是非零的。这使得高效计算最可能解释（MPE）成为可能。

在这些约束下，PCs 作为层次化混合模型发挥作用。论文证明，如果叶子分布支持可计算的边缘化和条件化，这些操作可以通过网络进行“递归委托”：

边缘化： 和的边缘是边缘的和；积的边缘是边缘的积（由于作用域不相交）。
条件化： 和的条件是条件的加权和；积的条件是条件的积。
期望与协方差： 这些可以通过使用全期望定律和协方差定律的递归网络传递来计算。
MPE： 在确定性条件下，可以通过在每个求和节点选择最大化分支的一次前向传递来计算 MPE。

核心贡献

本论文综合了十年的研究成果，强调了以下贡献：

1. 基础与理论

归一化与表现力： 作者证明了使用非归一化求和权重并不会增加平滑、可分解 PC 的建模能力；它们可以被转化为不改变所表示分布的归一化等价形式。类似地，证明了“一致性”（一种对可分解性的放宽）在表现力上并不会显著超越标准的不可分解性。
隐变量解释： PCs 被正式解释为层次化隐变量模型。这使得推导精确的祖先采样、期望最大化（EM）算法以及将 PCs “解构”为带有隐变量的贝叶斯网络成为可能。

2. 贝叶斯方法

贝叶斯推理： 该工作引入了针对 PC 参数的 Gibbs 采样算法，通过将叶子扩展为指数族混合模型来处理匿名数据类型。
结构学习： 推导出了针对确定性 PCs 的原则性贝叶斯结构评分，使用了因子化的 Dirichlet 先验。这使得在无限数据极限下学习最优结构成为可能，这为以往 PC 领域缺失的原则性方法提供了基础。

3. 深度学习集成

可扩展实现： 论文详细介绍了 PC 实现从最初的 TensorFlow 图到 RAT-SPNs 以及 Einsum 网络（EiNets） 的演进。EiNets 利用张量收缩（einsum）来向量化操作，实现了与多层感知机（MLP）相当的性能，并使其能够在 MNIST 等大型数据集上进行训练。
条件式 PC： 该框架支持以上下文（通过神经网络学习）为参数函数的条件式 PC，从而实现对条件分布 $p(y|x)$ 的可计算推理。
鲁棒性： 通过与可分解神经网络（放宽概率约束）的联系，实现了针对对抗攻击的精确鲁棒性保证。

4. 混合模型

论文提出了一个“中间地带”方法，将可计算的 PCs 与不可计算的模型相结合：

作为子模块的 PCs： 将不可计算的组件（例如 Attend-Infer-Repeat 系统中的对象模型）替换为 PCs，以执行大规模隐空间的精确边缘化，仅将少数变量留给变分推理。
作为叶子节点的不可计算模型： 使用 VAEs 或高斯过程（GPs）作为 PC 中的叶子节点。这创建了一个“由可计算模型粘合在一起的小型不可计算模型的集合”，与独立的 VAEs 相比，提高了收敛性和对数似然值。
积分节点： 在连续隐变量上增加积分节点，利用数值求积在标准 VAEs 需要近似的情况下实现精确推理。

5. 与符号模型的联系

决策树： 一种将决策树转换为 PCs 的方法，将条件分类器转换为完整的联合分布，同时保留原始分类逻辑。
知识图谱嵌入（KGEs）： 将 KGEs 映射到 PCs，从而实现标准的极大似然训练、从 SPO 三元组中采样，并编码硬逻辑约束。
侧信道攻击： 将 PC 推理应用于密码算法（如 AES）的软分析侧信道攻击（SASCA），实现比循环置信传播（loopy belief propagation）更高的精确推理能力和成功率。

结果与主张

论文声称 PCs 在 AI 版图中占据了独特的位置：

精确性： 与大多数深度生成模型不同，PCs 保证了在相对于电路规模的多项式时间内精确计算边缘分布、条件分布和期望值。
竞争性性能： 经验证据（见论文第二部分）表明，可计算模型在对数似然和预测准确度方面通常能与不可计算模型竞争，有时甚至超越后者，挑战了“可计算性必然导致表现力下降”的假设。
可解释性： 层次化混合结构以及执行精确推理的能力使 PCs 具有高度的可解释性，支持异常检测和缺失数据填补等任务。
统一框架： PCs 作为各种现有可计算模型（如算术电路、和-积网络、割集网络）的统一语法，澄清了它们的结构差异和共同属性。

意义

这项工作的意义在于其倡导将概率作为 AI 的核心语言，并证明了在不牺牲表示复杂联合分布能力的前提下，实现可计算性是完全可能的。

通过将结构约束（可分解性、平滑性、确定性）确立为实现可计算性的机制，本论文为能够进行不确定性下最优决策的“推理机器”提供了严谨的基础。它架起了概率推理的概念优雅性（和/积规则）与现代 AI 实际需求之间的桥梁，提供了一个推理不再是近似，而是保证高效计算的框架。这项工作不仅将 PCs 定位为一种模型类，更将其定位为一种一致地整合学习、推理和决策理论的基础方法。