🤖 machine learning

An Analysis of Posterior Collapse, Parameterization and Initialization in Variational Deep Gaussian Processes

本文研究了变分深度高斯过程中的后验崩溃问题，揭示了常用的线性先验均值主要有助于优化条件的改善而非防止非单射性，并提出了一种新颖的零均值初始化策略，该策略在不依赖于优化驱动的先验约束的情况下实现了稳定的训练并避免了崩溃。

原作者： Francisco Javier Sáez-Maldonado, Juan Maroñas, Daniel Hernández-Lobato

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Francisco Javier Sáez-Maldonado, Juan Maroñas, Daniel Hernández-Lobato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一群艺术家（一个深度高斯过程）根据几张参考照片来绘制一幅复杂的画作。目标是让这群艺术家学习照片中的模式，从而能够完美地重现它们。

然而，有一个陷阱：这些艺术家非常害羞，并且容易陷入一种特定的失败类型，叫做**“后验坍缩”（Posterior Collapse）**。

问题所在：艺术家们放弃了，并把责任推给了噪声

在这种情景下，“后验坍缩”发生时，艺术家们会认定：“这幅画太难学了，所以干脆把整个东西都看作是随机的静态噪声吧。”

他们不再去学习实际的形状和颜色，而是说服自己认为照片之间的差异只是随机的故障。他们停止学习细节，转而输出一种看起来像“噪声”的通用、模糊的混乱状态。在技术术语中，他们停止更新内部知识，只是在复制他们开始时的“默认设置”（先验）。

这篇论文研究了为什么会发生这种情况以及如何修复它。

旧的解决方法：“线性拐杖”

长期以来，研究人员一直试图通过给艺术家一个“拐杖”来阻止这种坍缩。这个拐杖是一个被称为 PCA 先验均值函数（PCA Prior Mean Function） 的特定规则。

旧的观点： 人们认为这个拐杖是必要的，因为艺术变得太深、太复杂了（就像一叠非常高的艺术家塔楼），如果没有这个拐杖，艺术家们会感到困惑并迷失方向（这是一个被称为“非单射病态/non-injective pathology”的问题）。
论文的发现： 作者发现这种观点是错误的。这个拐杖并没有真正帮助艺术家更好地理解艺术，而是充当了一个良好的起始位置。
- 当艺术家在没有拐杖的情况下（使用“零均值/Zero Mean”规则）开始时，他们被置于一个让他们立刻觉得任务不可能完成的位置，于是他们放弃了并把责任归咎于噪声。
- 当他们带着拐杖开始时，他们被置于一个让任务看起来可以解决的位置，因此他们能够坚持下去。

类比： 想象一下尝试用手指平衡一把扫帚。

零均值（Zero Mean）： 你让扫帚尖端向下。它立刻倒下了。你心想：“我做不到，”然后你就停止尝试了。
PCA 均值（PCA Mean）： 你让扫帚完美地直立平衡。它是稳定的。你继续尝试。
真相： 扫帚本身并没有变得更容易平衡；你只是从一个更好的位置开始。

真正的元凶：糟糕的起始位置

论文表明，坍缩的发生是因为模型的初始化方式（即在训练开始前如何设置模型），而不是因为模型本身存在根本性的缺陷。

当模型以“零均值”设置开始时，第一层艺术家向下一层发送一个“虚无”（零）的信号。下一层接收到的只有零，于是认为：“哦，输入是空的，所以输出一定只是随机噪声。” 这种连锁反应导致整个模型选择放弃。

解决方案：聪明的开始

作者提出，与其强迫艺术家使用特定的“拐杖”（PCA 均值）来防止他们放弃，不如采用一种聪明的初始化策略。

他们说：“让我们让‘零均值’艺术家在开始时，看起来就和使用‘拐杖’的艺术家完全一样。”

它是如何运作的： 他们通过数学计算出艺术家的完美初始值，使得在最开始时，他们就已经能清晰地看到数据，就像那些带有拐杖的艺术家一样。
结果： “零均值”艺术家不再觉得有必要放弃并归咎于噪声。他们可以立即开始学习。这使得模型可以建立在纯粹的逻辑假设（零均值）之上，而不是被迫使用某种技巧来使数学运算成立。

“白化”（Whitening）技巧

论文还研究了一种名为**“白化”**的技术。

隐喻： 想象艺术家们正试图穿过一个拥挤的房间。如果他们都在互相碰撞（相关联），他们的移动就会缓慢且混乱。**“白化”**就像是清空房间，给每个人一条清晰的路径。
发现： 论文证明了这种“清空房间”的技术使优化过程（学习过程）更加稳定，且不太容易陷入糟糕的状态。它解释了为什么这个技巧如此有效，而这在以前仅仅是社区中的一个“经验法则”。

研究结果总结

后验坍缩是指模型因为起始位置不好，而选择放弃并认为“一切都是噪声”。
受欢迎的 “PCA 均值” 技巧之所以有效，不是因为它修复了深层的结构问题，而是因为它提供了一个良好的起始位置。
作者创造了一种新的启动方式，无需使用那个技巧。他们设置了初始值，使模型自然地处于一个“好位置”。
这种新方法防止了模型坍缩，使训练更稳定，并且通常比旧的“拐杖”方法效果更好。

简而言之，这篇论文通过教模型如何**“强力起步”**来解决问题，而不是强迫它使用特定的拐杖来保持直立。

技术摘要：深度高斯过程中的后验坍缩、参数化与初始化分析

1. 问题陈述

深度高斯过程（Deep Gaussian Processes, DGPs）是一种层次化的概率模型，通过在多个层之间连接高斯过程（GPs）来捕捉复杂的非线性数据模式。然而，由于在 DGPs 中进行精确的贝叶斯推理是难以处理的，因此必须使用变分推断（Variational Inference, VI），特别是双重随机变分推断（Doubly Stochastic Variational Inference, DSVI）算法。

在通过 DSVI 训练 DGPs 时，一个关键挑战是后验坍缩（posterior collapse），即变分后验分布坍缩为先验分布的现象。在 DGPs 的语境下，这意味着模型学习将观测到的数据完全解释为噪声，未能捕捉到潜在的信号。

本文指出，后验坍缩的普遍存在与 DSVI 框架中两种常见的设计选择密切相关：

在内层使用零均值先验函数，并将变分均值初始化为零（ $m=0$ ）。
变分参数的初始化，特别是变分协方差（ $S$ ）和噪声参数（ $\sigma^2$ ）。

尽管业界广泛采用在内层使用线性（PCA）先验均值函数的方法来缓解这些问题，但普遍观点认为，这种选择对于避免极深 DGPs（其中从输入到输出的映射变为非单射）中的“非单射病态性”（non-injective pathologies）是必要的。本文对这一假设提出了挑战，认为 PCA 先验均值的成功并非源于架构上的必要性，而是源于它如何调节初始化的优化图景（optimization landscape）。

2. 方法论与分析

2.1 后验坍缩的理论分析

作者利用一个玩具回归问题和坐标更新模拟，分析了 DGPs 在初始化时的训练动态。他们证明了：

虚拟数据集效应： 当一个具有零先验均值的 DGP 以 $m=0$ 初始化时，内层的输出（作为下一层的输入）对于所有训练输入都趋于接近零。因此，最后一层实际上看到了一个由 $\{(0, y_n)\}$ 组成的“虚拟数据集”。由于最后一层的输入相对于原始输入 $x_n$ 是恒定的（零），模型无法学习 $x$ 与 $y$ 之间的映射关系。
优化病态性： 在这些条件下，为了最大化期望对数似然（ELL）项（属于证据下界 ELBO 的一部分），优化器会被驱动去增加噪声方差 $\sigma^2$ ，从而将目标值 $y_n$ 解释为纯噪声。同时，通过将变分参数设置为匹配先验（ $m=0, S=K_{ZZ}$ ）来最小化 KL 散度（KLD），从而导致了后验坍缩。
PCA 先验均值的角色： 具有 PCA 先验均值的 DGP（其先验均值为恒等函数或 PCA 投影）会将内层输出初始化为接近输入 $x_n$ 。这防止了“虚拟数据集”坍缩为常数零向量，使得 ELL 项能够提供有意义的梯度，从而将变分参数从先验值更新出去。

2.2 参数化分析

论文评估了三种常见的 DGP 参数化方式：

标准非白化（Standard Non-Whitened）： 用于 GPYTORCH 和 GPJAX 等库。
白化（Whitened）： 一种重参数化方法，将诱导点值转换为零均值和单位方差（ $p(v) = \mathcal{N}(0, I)$ ）。
带重参数化均值的非白化（Non-Whitened with Reparameterized Mean）： 用于 GPFLOW，其中变分均值被定义为变分均值与先验均值的差值（ $m_r = m - \mu_Z$ ）。

关于参数化的关键发现：

后验坍缩： 如果初始化导致最后一层的零输入信号，那么在所有参数化方式中都可能发生坍缩。参数化本身并不是根本原因。
优化稳定性： 白化参数化始终能提供更稳定的收敛。作者将其归功于消除了先验诱导的相关性，从而产生了更条件良好的梯度，且其海森矩阵（Hessian）对诱导点位置（ $Z$ ）的依赖性更低。
重参数化均值： GPFLOW 的重参数化并未在稳定性上比标准非白化形式有本质提升，但它通过与 PCA 先验均值相互作用，比标准形式更有效地缓解了坍缩。

2.3 提出的初始化策略

为了在不强制要求特定的先验均值函数（这应当由建模假设决定）的情况下解决根源问题（优化驱动的约束），作者提出了一种针对零先验均值 DGPs 的原则性初始化方案。

核心思想是：初始化一个零先验均值 DGP 的变分参数，使其在初始化时的预测分布模仿 PCA 先验均值 DGP。

机制： 作者推导出了一个线性方程组，通过求解初始变分均值（ $m, m_v, m_r$ ），使得诱导点处的预测均值与恒等函数（或 PCA 投影）相匹配。
输出层初始化： 该策略被扩展到输出层，将变分均值初始化为直接预测诱导点处的观测目标 $y$ ，而不是从零开始。
核长度尺度（Kernel Length-scale）： 提出了一个启发式方法，通过最小化初始化模型在验证集上的均方根误差（RMSE）来选择初始核长度尺度（ $\ell$ ），以确保初始预测分布具有代表性。

3. 核心贡献

对 PCA 先验均值的重新解读： 论文证明了在 DGPs 中，线性（PCA）先验均值函数的有效性源于其调节初始化优化图景的能力（防止模型看到退化的零输入信号），而非源于避免深层网络中的非单射病态性。
诊断后验坍缩： 作者提供了严谨的分析，表明 DGP 中的后验坍缩源于标准变分参数初始化（ $m=0$ ）与内层均值函数之间的相互作用，导致模型陷入了一个将数据解释为噪声的局部最优解。
参数化研究： 研究澄清了白化、标准非白化和重参数化非白化 DGP 之间截然不同的优化行为，并首次详细解释了为什么白化能带来更稳定的收敛（更好的条件梯度）。
新型初始化方案： 提出了一种针对零先验均值 DGP 的高效初始化策略。这使得在遵循原则性的零均值先验下训练 DGP 成为可能，从而无需为了优化便利而被迫采用特定的架构约束（即强制使用线性先验均值）。

4. 实验结果

所提方法在合成玩具数据集和八个真实的 UCI 回归基准测试上进行了验证。

玩具数据集： 可视化确认了具有零先验均值的 DGP 在使用标准初始化时会遭受后验坍缩，尤其是在诱导点较少且架构较深的情况下。所提出的初始化成功防止了坍缩，并产生了与 PCA 先验均值模型相当的预测分布。
UCI 基准测试：
- 使用零先验均值和标准初始化的 DGP 经常发生坍缩或表现不佳。
- 所提出的初始化（ZERO-Points-MY）一致地稳定了优化过程，避免了坍缩，并实现了与使用 PCA 先验均值函数的 DGP 相当甚至更好的预测性能（RMSE）。
- 白化参数化在所有配置下都展示了卓越的稳定性。
- 研究表明，增加诱导点的数量可以缓解坍缩，但所提出的初始化即使在诱导点数量适中的情况下依然有效。

5. 重要性与主张

本文主张，DGP 中先验均值函数的选择应当由建模假设驱动，而非优化便利性。通过指出“PCA 先验均值”本质上是修复不良初始化的启发式手段，作者提出了一种解决方案，将模型的统计结构与其优化轨迹解耦。

其重要性在于：

理论清晰度： 纠正了关于线性先验对于避免深层 GP 中的非单射性是必要的这一误解，转而将其成功归因于初始化动态。
实际应用价值： 提供了一种即插即用的初始化策略，使得使用零先验均值 DGP（在某些建模任务中理论上更简单且更灵活）成为可能，且不会牺牲训练稳定性或预测性能。
优化洞察： 强调了白化参数化和特定变分协方差（ $S \ll K_{ZZ}$ ）初始化在确保稳定梯度下降中的关键作用，为鲁棒的 DGP 训练提供了指导。

作者保持了谦逊的态度，指出其分析侧重于 DSVI 算法，并且虽然提出的初始化解决了零均值先验下的坍缩问题，但统计模型空间本身并未改变；改进之处纯粹在于通过更好的起点来达到更优解的能力。