Constrained Variational Inference via Safe Particle Flow

技术摘要：基于安全粒子流的约束变分推断

问题陈述
本文解决了在严格支撑集约束下执行变分推断（VI）的挑战。在标准贝叶斯推断中，目标是通过最小化 Kullback–Leibler（KL）散度，利用变分密度 $q(x)$ 来近似后验概率密度函数（PDF）$p(x|z)$。然而，在许多应用中（例如流形上的机器人状态估计），后验密度必须严格支撑在指定的“安全”集 $S$ 内。该集合由一组不等式约束 $g_i(x) \geq 0$ 和等式约束定义。

现有的约束 VI 方法通常通过投影或拉格朗日乘子修改粒子漂移，或使用惩罚目标函数。这些方法往往存在约束满足度差（尤其是对不等式约束）、缺乏粒子级约束转化为密度级约束的形式保证，或仅提供渐近保证等问题。作者旨在开发一种原理清晰、计算可行的方法，提供严格的非渐近保证，确保变分密度 $q(x)$ 在推断过程的任何时候都满足支撑集约束。

方法论
所提出的方法称为安全粒子流，通过利用控制障碍函数（CBFs）弥合了控制理论与变分推断之间的鸿沟。核心方法论分为三个逻辑步骤：

1. 障碍泛函构建：作者不是约束单个粒子，而是在概率密度函数空间上定义了一个障碍泛函 $h(q)$。该泛函编码了密度在安全集 $S$ 之外必须为零的要求。具体而言，$h_i(q) = -\int_{X \setminus S_i} g_i(x)q(x) dx$。该泛函的零水平集精确对应于可行密度集合。
2. 刘维尔方程关联：为了在无限维密度空间上强制执行约束，作者利用刘维尔方程，该方程将变分密度的时间导数 $\partial q / \partial t$ 与确定性粒子漂移 $\phi(x, t)$ 联系起来。通过将 KL 散度的梯度流动力学代入刘维尔方程，他们将安全密度集的前向不变性条件转化为对粒子漂移的约束。
3. 基于 CBF 的安全漂移合成：作者推导出了一个条件（定理 IV.2），其中粒子漂移 $\phi(x, t)$ 必须满足一个涉及约束函数梯度 $\nabla g_i(x)$ 的不等式。为了构建这样的漂移，他们从一个期望漂移 $\phi_d$（例如 Stein 变分梯度下降漂移）开始，并添加一个控制项 $u(x, t)$。该控制项通过求解二次规划（QP）计算得出，该 QP 以最小程度地修改期望漂移的方式满足推导出的 CBF 约束。这确保了生成的流是“安全”的，即变分密度在整个演化过程中始终支撑在安全集上。

主要贡献

• VI 的 CBF 公式化：本文介绍了控制障碍函数在概率密度函数空间中的新颖应用，建立了安全控制系统与约束变分推断之间的严格联系。
• 密度级保证：与以往在单个粒子上强制执行约束的方法不同，该方法提供了理论保证，确保整个变分密度满足支撑集约束。该方法确保可行密度集是前向不变且指数稳定的。
• 任意时刻算法：所提出的流提供了一种“任意时刻”解决方案，确保在粒子演化的任何时间点都满足约束，而不仅仅是渐近地满足。
• 计算可行性：该方法将复杂的无限维约束问题简化为粒子漂移的有限维 QP，使其具有计算效率。

结果
作者在 $\mathbb{R}^2$ 中的贝叶斯估计问题上评估了该方法，该问题涉及等式约束（支撑在圆上）和不等式约束（支撑在锥体内）。

• 约束满足：数值模拟表明，安全粒子流严格满足等式和不等式约束。相比之下，投影粒子流方法满足了等式约束但违反了不等式约束，而约束 Stein 变分梯度下降（CSVGD）方法虽然表现出更好的不等式满足度，但仍允许粒子违反安全区域。
• 准确性：安全粒子流实现了较低的 KL 散度估计值，表明其后验近似精度高。
• 效率：运行时比较显示，所提出的方法比 CSVGD 显著更高效（约 176 秒对比 9.9 秒），且与投影粒子流方法相当，同时提供了更优越的约束满足度。

意义与主张
本文声称提供了一种解决约束变分推断的“原理清晰且计算可行”的方案。其主要意义在于建立了安全粒子流与约束 VI 之间的严格联系，确保变分密度以确定性方式而非概率性或渐近方式满足约束。作者强调，他们的方法保留了修改期望粒子漂移的简洁性，同时为约束满足提供了形式化保证。他们指出，未来的工作将侧重于提高实时和高维应用（如流形上的状态估计和轨迹优化）的效率，但并未声称这些应用目前已由所提出的方法解决。