技术摘要：热力学系综中的有限扰动平衡传播

问题陈述

平衡传播（Equilibrium Propagation, EP）和对比赫布学习（Contrastive Hebbian Learning, CHL）通过基于能量最小化的局部学习规则，为反向传播提供了一种具有生物合理性的替代方案。然而，经典的 EP 理论依赖于两个限制性假设，这限制了其理论与实际应用的适用性：

1. 无穷小极限： 传统的 EP 要求“扰动”（施加在输出端的监督信号）是无穷小的（$\beta \to 0$），以恢复监督损失的精确梯度。在实践中，为了实现稳定学习，通常需要有限强度的扰动，但这会相对于真实梯度引入偏差。
2. 确定性动力学： 经典的分析通常假设零温动力学，即网络状态坍缩到单一的确定性能量极小值。这种理想化处理无法解释物理或生物电路中的随机性质，且在面对存在多个局部极小值的非凸能量景观时表现不佳。

因此，在随机热力学系综中进行有限扰动学习的理论地位仍不完整，留下了一个悬而未决的问题：这类学习规则究竟在优化什么样的全局目标？

方法论

作者将网络状态重新定义为一个随机变量，其分布遵循有限温度 $T$ 下的 吉布斯-玻尔兹曼分布（Gibbs-Boltzmann distribution）。系统由能量函数 $E(\theta, s)$ 和任务相关损失 $\ell(s)$ 定义。

随机对比目标

作者定义了一个新的目标函数——随机对比目标 $J(\theta)$，它是两个阶段之间亥姆霍兹自由能（Helmholtz free energy）之差：

• 自由阶段 ($\beta=0$)： 网络仅在能量函数 $E(\theta, s)$ 下进行弛豫。
• 扰动阶段 ($\beta=1$)： 网络在目标核 $F(\theta, \beta, s) = E(\theta, s) + \beta\ell(s)$ 下进行弛豫。

该目标定义为：
$$J(\theta) \triangleq A(\theta, 1) - A(\theta, 0)$$
其中 $A(\theta, \beta) = -T \log Z_\beta(\theta)$ 是亥姆霍兹自由能，$Z_\beta$ 是配分函数。

梯度推导

本文建立了两个关于 $\nabla_\theta J(\theta)$ 的精确表示，且无需假设无穷小扰动或凸性：

1. 期望对比（定理 3.1）：
   梯度精确等于扰动分布与自由吉布斯分布下局部能量导数的期望之差：
   $$\nabla_\theta J(\theta) = \mathbb{E}_{s \sim \rho_1}[\nabla_\theta E(\theta, s)] - \mathbb{E}_{s \sim \rho_0}[\nabla_\theta E(\theta, s)]$$
   这证明了标准的两阶段对比更新规则对于任何有限温度和有限扰动强度，都是对 $J(\theta)$ 进行精确的梯度下降。

2. 积分协方差（定理 3.4）：
   梯度也可以表示为损失函数与能量梯度在扰动强度 $\beta \in [0, 1]$ 上的积分协方差：
   $$\nabla_\theta J(\theta) = -\frac{1}{T} \int_0^1 \text{Cov}_{s \sim \rho_\beta}[\ell(s), \nabla_\theta E(\theta, s)] \, d\beta$$
   该公式将无穷小 EP 规则（通过在 $\beta=0$ 处的的一阶泰勒展开来近似此积分）推广到了任意有限强度的扰动。

零温与变分极限

• 零温极限： 当 $T \to 0$ 时，该理论恢复了经典的确定性对比规则。如果能量景观存在多个极小值，梯度将收敛于这些极小值处梯度的曲率加权平均（拉普拉斯近似），而非均匀平均或单一的任意极小值。
• 变分解释： 利用吉布斯变分原理，目标 $J(\theta)$ 被证明是监督损失的一个正则化代理。它分解为扰动阶段的期望损失以及一个惩罚扰动分布与自由分布之间距离的 KL 散度项：
  $$J(\theta) = \mathbb{E}_{s \sim \rho_1}[\ell(s)] + T \cdot \text{KL}(\rho_1 \parallel \rho_0)$$

关键结果

作者通过在 Fashion-MNIST 数据集上使用带有 tanh 单位的单层能量网络验证了其理论框架。

1. 训练性能：

   • 无穷小 EP ($\beta=0.01$)： 未能学习，停滞在接近随机水平的准确率（20–30%）。
   • 有限扰动 EP ($\beta=1.0$)： 迅速达到了约 80% 的测试准确率，紧随标准反向传播的轨迹。
   • 路径积分 EP： 实现积分协方差规则的变体同样实现了高准确率。

2. 信噪比 (SNR)：

   • 对于较小的扰动强度 ($\beta \lesssim 10^{-2}$)，更新信号与采样噪声无法区分。
   • 当 $\beta$ 接近 1.0 时，SNR 提高了数量级，证明了有限扰动解锁了一个无穷小方法无法触及的信号机制。

3. 梯度对齐：

   • 实际对比更新与真实自由能梯度之间的余弦相似度随 $\beta$ 单调增加，在 $\beta=1.0$ 时达到约 0.5。这证实了即使是大规模扰动，相对于热力学目标仍保持着类梯度的特性。

4. 精确验证：

   • 在一个较小的 Digits 数据集上进行的额外实验（通过精确数学边际化避免 MCMC 噪声）证实，梯度恒等式在有限 $\beta$ 下精确成立，且解析导数与数值导数之间的相对误差保持在机器精度水平。

意义与主张

本文声称解决了随机设置下对比学习的理论不完整性。其主要贡献包括：

• 脱离无穷小极限： 本研究证明了有限扰动学习不仅仅是反向传播的一个有偏近似，而是对一个明确定义的亥姆霍兹自由能差的精确梯度下降。
• 生物合理性： 通过验证经典的两阶段对比更新是任意有限扰动的精确梯度估计器，本文强化了局部学习规则的地位，这些规则不需要权重传输或无穷小扰动，而后者难以与生物约束相协调。
• 处理非凸性与随机性： 该框架为在有限温度下的非凸能量景观中学习提供了严谨的基础，表明即使全局极小值不唯一或系统运行在热力学机制中，学习规则依然是定义良好的。
• 实践优势： 结果表明，理论分析中常用的“小扰动”近似在实践中可能是有害的，因为其会导致噪声问题。有限扰动提供了有效训练所需的必要的信噪比优势。

作者将这项工作定位为一种统计力学基础，它统一了 EP、CHL 和变分推理，将局部学习的机制与自由能最小化及信息论成本联系在一起。