🤖 machine learning

Composing Non-Conjugate Factor Graphs with Closed-Form Variational Inference

本文证明，通过组合五种特定的因子图原语，可以在深度概率架构中保留闭式变分推断，从而构建出具有校准不确定性的通用函数逼近器（如决策树和贝叶斯混合专家模型），而无需学习门控参数。

原作者： Mykola Lukashchuk, Kyrylo Yemets, Wouter M. Kouw, Dmitry Bagaev, żsmail Şenöz, Jeff Beck, Bert de Vries

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Mykola Lukashchuk, Kyrylo Yemets, Wouter M. Kouw, Dmitry Bagaev, żsmail Şenöz, Jeff Beck, Bert de Vries

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试预测天气。你有一个由七位不同预报员组成的团队：一位擅长识别降雨，一位是预测热浪的奇才，还有一位在预测风速方面表现出色。

在旧的方法（标准机器学习）中，你会征求所有七位预报员的意见，给他们分配固定的权重（例如，“降雨专家”获得 20% 的投票权，“热浪专家”获得 10%），然后取他们答案的平均值。问题在于：有时“降雨专家”在预测热浪方面实际上表现得很糟糕，但系统并不知道停止听取他的意见。它将他的置信度视为一个固定事实，而非一种随情境变化的感觉。

本文提出了一种构建“超级预报员”团队的新方法，该方法更智能、更灵活，并且——最重要的是——知道何时它是在猜测。

问题：“黑盒”陷阱

通常，当你堆叠智能组件层以构建更深、更复杂的系统时，你会破坏数学结构。方程变得如此混乱，以至于计算机无法精确求解。它们必须使用试错法（如采样或黑盒优化）来猜测答案。这很快，但往往不准确，而且无法告诉系统对其答案的确信程度。

解决方案：概率模型的乐高套装

作者发现了一套特殊的五块乐高积木（数学构建块），可以按任意顺序拼接在一起，构建出深层、复杂的模型。其神奇之处在于，无论你如何堆叠它们，数学结构都保持足够简单，可以精确求解。

以下是这五块积木：

软点积（Softdot）：一个基础计算器，用于混合输入（类似于混合配料）。
指数链接（Exponential Link）：一个开关，将数字转换为“置信度分数”（它确保分数始终为正）。
伽马先验（Gamma Prior）：一条规则，指出“我们期望这个置信度分数位于某个范围内”。
高斯似然（Gaussian Likelihood）：一个标准的钟形曲线规则，用于衡量观测值出现的可能性。
等式节点（Equality Node）：一种粘合剂，表示“这两根不同的导线必须携带完全相同的值”。

工作原理：“智能门控”系统

本文展示了如何利用这些积木构建一个像交通控制器一样的系统。

深度 0（静态）：想象一个委员会，每个人都有固定的座位。系统学习谁总体上表现良好，但它不会根据天气变化而调整。
深度 1（动态）：现在，系统查看当前输入（例如，“雨下得很大”）。它有一个“门控”，会说：“好吧，对于这个特定情况，让我们 90% 信任降雨专家，忽略其他人。”关键在于，系统不仅仅是挑选一个赢家；它会计算一个概率分布，以确定应该信任谁。它知道对该决策有多确信。
深度 2（分叉路由）：这是深层的魔法。系统构建了一个决策树。它会问：“下雨了吗？”如果是，向左走。“刮风了吗？”如果是，向右走。它可以创建复杂的分支路径来处理棘手的情况（例如"XOR"问题，其中答案取决于特定因素的组合）。

“编译器”类比

可以将此框架视为一种编程语言：

字母表：五块乐高积木。
语法：你可以将它们拼接在一起的规则。
运行时：自动计算数学问题的计算机引擎。

在大多数概率编程中，如果你编写了一个复杂模型，你必须手动推导如何求解它的数学方程。这就像编写一个程序，然后每次都要手动为其编写编译器。

在本文中，作者构建了一个通用编译器。你只需将积木拼接在一起，“贝叶斯自由能”（Bethe Free Energy，一种复杂的数学目标函数）就会自动生成求解模型所需的精确方程。你不需要是数学天才来推导更新；系统会为你完成。

结果：校准的不确定性

最大的收获是不确定性。

旧方法：神经网络可能会说：“我预测 25°C"，但它不知道是在猜测还是 100% 确信。
这种方法：系统会说：“我预测 25°C，但我只 60% 确信，因为数据很奇怪。”它会提供一个“置信区间”，该区间基于模型结构在数学上保证是正确的。

现实世界测试：时间序列预测

作者在预测时间序列数据（如用电量或股票汇率）时测试了该方法。他们结合了七个不同的 AI 模型（有些擅长趋势，有些擅长季节性）。

他们的系统学会了根据数据动态切换专家。
与标准的“专家混合”（Mixture of Experts）模型相比，它提供了更高的准确性。
最重要的是，它提供了可靠的不确定性估计。虽然标准模型经常变得“过度自信”（在错误时声称自己确信），但该系统能正确地在不确定时发出信号。

总结

本文为我们提供了一种构建深层、复杂 AI 模型的新方法，这些模型具有以下特点：

可组合性：你可以将它们堆叠得任意高。
精确性：数学被精确求解，而非猜测。
自我意识：模型知道何时不确定，提供经过“校准”的置信感。

这就像从僵化的、基于规则的机器人升级为一个灵活、自我反思的专家团队，它确切地知道何时该信任谁。

技术摘要：利用闭式变分推断构建非共轭因子图

问题陈述
概率建模通常需要分层架构来捕捉复杂的依赖关系，例如输入相关的专家可靠性或集成预测中的路由机制。然而，将概率构建模块堆叠成更深层的架构通常会破坏闭式推断的性质。处理非共轭性的标准方法依赖于黑盒推断方法（例如马尔可夫链蒙特卡洛、摊销变分自编码器或归一化流），这些方法学习或采样推断过程，但牺牲了分析上的可处理性。作者提出，概率模型是否可以在保留闭式推断的同时进行分层组合，从而避免需要近似或基于采样的推断过程。

方法论
本文提出了一种基于 Forney 风格因子图（FFG）和变分消息传递（VMP）的组合框架。核心贡献在于识别了一个包含五个概率因子的有限“字母表”，当它们被组合时，在平均场分解约束下能保持闭式更新。

字母表：作者定义了五个因子图原语：
- Softdot（双线性）： $f_*(z | w, \phi, \tau) = \mathcal{N}(z | w^\top\phi, \tau^{-1})$
- 指数链接： $f_{exp}(\gamma | z) = \delta(\gamma - \exp(z))$
- Gamma 先验： $f_G(\gamma | \alpha, \beta) = \mathcal{G}(\gamma | \alpha, \beta)$
- 高斯似然： $f_N(y | \mu, \tau) = \mathcal{N}(y | \mu, \tau^{-1})$
- 等式节点： $f_=(x_1, x_2, x_3) = \delta(x_1 - x_2)\delta(x_1 - x_3)$
组合与语法：
- 深度 0（静态集成）：具有固定精度的专家的简单组合。
- 深度 1（精度门控专家）：引入一个可重用的“单词”（精度单词 $\pi$ ），由 softdot 和指数链接组成。这使得专家的精度可以成为输入特征的学习函数，而不是固定常数。
- 深度 2（分叉路由）：将多个精度单词与相反的开关组合，以创建分段线性精度函数。堆叠这些层允许模型编码任意二叉决策树，将输入空间划分为不同专家活跃的区域。
运行时与推断：
- 推断算法并非预先规定，而是通过最小化贝特自由能（BFE）从模型规范中涌现。
- 消息传递类型：该框架采用混合方法。对于非确定性因子（softdot、Gamma、正态分布），在平均场约束下使用变分消息传递（VMP）。对于确定性因子（等式和指数链接），需要信念传播（BP），因为平均场分解会导致退化。
- Q-共轭性：一个关键的理论结果是，尽管指数链接具有非共轭性质，消息仍然具有可处理性。指数链接将潜在变量 $z$ 上的高斯消息转换为精度 $\gamma$ 上的对数正态消息，反之亦然（对数 Gamma）。通过施加形式约束（ $z$ 为高斯分布， $\gamma$ 为 Gamma 分布）并利用高斯分布的矩生成函数和 Gamma 族的充分统计量，作者推导出了边缘后验的闭式不动点方程。这确保了所有消息计算和边缘更新都是解析的，不需要数值积分或采样。

主要贡献

闭式组合推断：作者证明，由五字母表组成的任何模型都允许闭式变分消息传递。该集合在 Q-共轭更新下是封闭的，意味着消息的参数形式（高斯或 Gamma）在整个图中得以保持，即使跨越非共轭的指数链接也是如此。
通用函数逼近：本文证明，堆加分叉路由层可以编码任意决策树。在锐利路由（高精度）的极限情况下，输出的后验均值可以逼近紧致域上的任何连续函数，从而在保持闭式推断的同时确立了通用逼近能力。
贝叶斯专家混合：该框架应用于集成时间序列预测，产生了一个贝叶斯专家混合模型，其中门控函数是通过推断得出的，而不是通过梯度下降学习的。这提供了关于专家选择的校准不确定性。

结果
该框架在五个基准时间序列数据集（ETTh1、ETTh2、汇率、电力、交通）上进行了评估，使用了七个不同的预测器集成（包括 CNN、LSTM、DLinear 和分位数预测器）。

性能：“噪声对角线”变体（将预测器分歧与不可约噪声分离，并使用对角协方差约束）在准确性（MSE）、校准度（负对数似然，NLL）和参数效率之间取得了最佳权衡。
校准：与通常产生非有限 NLL 值（表明校准不良或过度自信）的基于 softmax 的专家混合（MoE）基线不同，所提出的框架提供了校准良好的预测分布。不确定性估计自然地捕捉了路由模糊性，后验标准差在锐利路由机制的决策边界处集中。
效率：对角线变体显著减少了参数量（例如，汇率数据集从约 15,000 个减少到约 950 个），同时保持了与全协方差和深度神经基线相比具有竞争力或更优越的性能。

意义与主张
本文声称缩小了深度学习的模块化与概率推断的分析严谨性之间的差距。通过将因子字母表视为一种语言，将贝特自由能视为一种编译器，作者使得构建深层分层概率模型成为可能，而无需为每种架构进行新的推导。

谦逊：作者承认，该字母表是特定操作（乘法、指数、加法）的一个子集，纯线性高斯字母表无法实现通用逼近；指数链接对于这种表达能力至关重要。
影响：这项工作确立了闭式推断与深层非共轭架构并非互斥。它提供了一种原则性的替代方案来取代黑盒推断方法，直接作为推断算法的输出提供边缘后验分布和校准的不确定性，而无需作为附加组件或近似处理。