Optimal information deletion and Bayes' theorem

技术摘要：最优信息删除与贝叶斯定理

问题陈述
本工作在一个贝叶斯框架内解决了“信息删除”或“遗忘”的问题。虽然阿诺德·泽尔纳（Arnold Zellner, 1988）确立了贝叶斯定理作为处理信息（即在给定新数据时将先验更新为后验）的最优规则，但本文研究了其逆问题：当移除一部分数据时，如何最优地将后验分布更新回“先于数据”的分布。这一问题的动机源于交叉验证中的实际需求（即寻求无需重新拟合的留一法后验）以及计算机科学中的数据删除（即必须从已部署的模型中移除用户数据，而无需从头开始重新训练）。核心问题在于：是否存在一种规则，能够将后验分布更新为对应于剩余数据的分布，而既不破坏信息，也不创造不存在的信息。

方法论
作者采用了一种变分演算方法，呼应了泽尔纳（1988）关于最优信息处理的开创性工作。

1. 公式化：该过程被构建为信息删除规则（IDR）。输入包括给定完整数据的后验分布 $\pi(\theta|y)$、完整数据的边缘似然 $\pi(y|I)$，以及待删除数据对似然的贡献 $\pi(y_g|\theta)$。输出为剩余数据的分布 $\pi(y_{-g}|I)$ 和目标“先于数据”分布 $q(\theta|y_{-g})$。
2. 目标函数：作者定义了一个信息损失泛函 $\Delta[q(\theta|y_{-g})]$，作为输出信息与输入信息之间的差值，使用香农熵进行度量。关键在于，对应于被移除数据 $\pi(y_g|\theta)$ 的项被减去（在对数似然中由负号指示），以反映信息的移除。
   $$\Delta[q] = \mathbb{E}_q \left[ \log \frac{q(\theta|y_{-g}) \pi(y_{-g}|I) \pi(y_g|\theta)}{\pi(\theta|y) \pi(y|I)} \right]$$
3. 优化：最优 IDR 是通过对所有可能概率分布空间最小化该泛函推导得出的，同时受限于解必须是有效的概率密度。这一过程通过拉格朗日乘子和变分演算实现。

主要结果

1. 最优信息删除规则：信息损失泛函的最小化产生了一个唯一解（定理 1）：
   $$q^*(\theta|y_{-g}) = \frac{\pi(\theta|y) / \pi(y_g|\theta)}{\int_\Theta \pi(\theta|y) / \pi(y_g|\theta) d\theta}$$
   该规则代表了将完整后验除以被移除数据的似然并重新归一化的精确操作。
2. 与贝叶斯定理的等价性：作者证明（定理 2），该最优删除规则 $q^*(\theta|y_{-g})$ 在数学上等同于通过对先验和剩余数据 $y_{-g}$ 应用贝叶斯定理所获得的“留数”后验 $\pi(\theta|y_{-g})$。
3. 遗忘的变分公式：通过将优化空间限制在分布族 $\mathcal{Q}$ 中，作者推导出了近似遗忘的变分公式（公式 8）。该公式最小化了被移除数据的期望对数似然之和，以及近似值与完整后验之间的库尔特 - 莱布尼茨（KL）散度。这为现有的被称为“变分贝叶斯遗忘”或“后验修正”的方法提供了形式化依据。

意义与主张
本文声称确立了学习与遗忘之间的对偶性。正如泽尔纳证明了贝叶斯定理是添加信息（处理）的最优规则一样，本工作证明了它也是移除信息的最优规则。作者指出：“在贝叶斯学习或遗忘中，信息不会被创造，信息不会被丢失，信息只是被转化。”

这一结果的意义体现在两个方面：

• 理论层面：它证实了“留数”后验不仅仅是一个启发式目标，而是保持信息完整性的无限维优化问题的唯一解。
• 实践层面：它为近似留数后验提供了一个严格的变分框架。这使得在精确重新拟合计算上不可行的场景中能够进行高效近似，为旨在从模型中“遗忘”特定数据点的算法提供了形式化基础。

作者指出，虽然他们使用了香农熵，但该框架有可能通过使用不同的损失函数和散度扩展到广义变分推断设置中，尽管这仍属于未来探索的猜想。