Equilibrium Propagation for Non-Conservative Systems

本文提出了一种框架，通过修改学习阶段的动力学过程以应对非互易相互作用，将平衡传播（Equilibrium Propagation）扩展到任意非保守系统，从而实现了代价函数梯度的精确计算，并取得了优于以往方法的性能。

要点

大局观：无需“反向传播”的机器教学法

想象一下，你正试图教一个机器人识别照片中的猫。在目前主流的做法中（称为“反向传播”），机器人观察照片，做出猜测，意识到错误后，再将“纠错信号”一层一层地传回大脑，直到最开始的环节以修正错误。

问题在于，这种“反向传播”过程很难在真实的物理机器（如生物大脑或硅芯片）中实现，因为它需要信息在时间上或空间上进行即时的、逆向的传输。

**平衡传播（Equilibrium Propagation, EP）**是一种更聪明、更符合物理规律的学习方式。它不需要反向传播，而是让机器人进入一种“平静状态”（平衡态）。它尝试两种略微不同的情景：

1. 自由状态（Free State）： 机器人自然地观察图片并做出猜测。
2. 扰动状态（Nudged State）： 有人轻轻地将机器人的最终猜测向正确答案的方向推一把。

通过比较机器人在这两个平静状态之间大脑的变化，它就能弄清楚该如何调整内部设置，以便下次做得更好。这就像是通过感受“我原本以为的”与“被推向后的想法”之间的差异来进行学习。

问题所在：“对称性”规则

这种学习方法的原始版本（EP）仅适用于遵循严格规则——对称性的系统。

想象一个像球在光滑山坡上滚动这样的保守系统。如果球从 A 点滚到 B 点，它的路径是由山坡的形状决定的。如果你反转路径，物理特性是一样的。在计算机大脑中，这意味着如果神经元 A 与神经元 B 通信，那么神经元 B 与神经元 A 通信的强度也必须完全相同。

然而，许多现实世界的系统（以及现代 AI 模型）并不像平滑的山坡。它们更像是带有水流的河流或单行道。

• 非保守系统（Non-Conservative Systems）： 信息是单向流动的（例如在前馈网络中，数据流向为：输入 $\rightarrow$ 隐藏层 $\rightarrow$ 输出，但绝不回流）。
• 问题在于： 旧版的 EP 方法在这些系统中会失效。它试图用处理“山坡”的数学逻辑去处理“河流”，导致学习计算出现偏差。机器人学到了错误的教训。

解决方案：两种新方法

作者提出了两种新方法来解决这个问题，使“平衡传播”法能够应用于这些单向、非对称的系统。

1. 非对称 EP (AsymEP)：局部修正法

想象你在尝试平衡一个天平，但有人一直在偷偷地在其中一侧增加重量（即非对称部分）。旧的方法只是忽略这一点并试图强行平衡，结果注定失败。

AsymEP 在天平上增加了一个微小的、局部的“配重块”。

• 运作方式： 在“扰动”阶段（即机器人被推向正确答案时），算法会加入一个特殊的修正项。这个项是根据连接的“不对称程度”精确计算出来的。
• 类比： 这就像一名骑着爆胎自行车的骑手。旧的方法只是告诉他们用力蹬车。AsymEP 则是在车把上增加了一个微小的局部调整，以补偿爆胎的影响，从而让他们能骑得笔直且学习正确。
• 结果： 这使得系统即使在连接是单向的情况下，也能计算出精确正确的梯度（即正确的教训）。

2. Dyadic EP：双脑法

如果说 AsymEP 是局部修正，那么 Dyadic EP 则是一种更大的架构变革。

• 类比： 想象你拥有一台复杂的机器，它只有在有两个完全相同的副本并排运行的情况下才能工作。一个副本代表“前向”流动，另一个代表“后向”流动。
• 运作方式： 该算法将系统的变量数量翻倍。它创建了一个新的、更大的“能量景观”，其中两个副本相互作用。在这个翻倍后的空间里，原系统中混乱的、单向的河流重新转化为了平滑且对称的山坡。
• 结果： 因为现在的数学运算是在这个“翻倍”后的系统上进行的，所以学习变得完美。这有点像利用镜子让单行道看起来像双向道，从而可以应用标准的交通规则。

实验测试

作者不仅做了数学推导，还在真实的图像识别任务（如识别手写数字或衣物）上测试了这些想法。

1. 对称起点： 他们从对称网络（类似于旧版 EP）开始。AsymEP 比旧方法学得更快，结果也更好。
2. 强制非对称： 他们强迫网络呈现高度“单向”（高度非对称）的状态。
   • 旧的方法（向量场法/Vector Field）表现糟糕，结果几乎和随机猜测没区别。
   • AsymEP 依然表现完美，即使在网络完全是单向的情况下也能正常工作。
3. 前馈网络： 这是最大的胜利。现代 AI（如手机中的 AI）通常是“前馈”的（严格单向）。旧的 EP 完全无法训练这些网络。AsymEP 成功训练了这些网络，证明它可以处理现代 AI 中使用的架构。
4. 深度学习： 他们在复杂的 CIFAR-10 数据集上测试了一个深度网络。AsymEP 和 Dyadic EP 的表现几乎与标准的“反向传播”方法（即行业金标准）不相上下。

总结

• 问题： 酷炫的“平衡传播”学习法只能作用于对称系统，但现实中的 AI 和物理系统通常是非对称的（单向的）。
• 修复方案： 作者创造了 AsymEP（为学习规则增加了局部修正）和 Dyadic EP（通过将系统规模翻倍来使数学逻辑成立）。
• 结果： 这些新方法让这种基于“物理”和“类脑”的学习风格能够应用于现代 AI 类型的网络，其效果与那些难以实现的标准方法一样出色。

简而言之，他们找到了如何在即便机器内部线路是严格单向的情况下，依然通过“弛豫（放松）”和“局部扰动”来教导一台物理机器的方法。

技术摘要

技术摘要：非保守系统的平衡传播（Equilibrium Propagation）

1. 问题陈述

标准的神经网络优化依赖于误差反向传播，这需要一个独立的后向传递过程、非局部的误差信号传输以及显式的梯度存储。这些约束难以与生物合理性以及物理实现（例如神经形态或模拟硬件）相调和，因为后者通常通过局部相互作用和连续弛豫进行运作。

平衡传播（EP）提供了一种极具前景的替代方案，它将学习表述为动力系统两个稳态之间的对比：一个“自由”阶段和一个“扰动（nudged）”阶段。然而，EP 的原始公式被限制在保守系统中，即动力学源自一个能量函数，从而强制执行对称相互作用（例如 $J_{ij} = J_{ji}$）。这一局限性使得 EP 无法应用于广泛的一类模型，这些模型具有非保守力和非互易相互作用，包括：

• 现代前馈架构（人工智能的主流）。
• 生物电路。
• 远离热力学平衡的物理系统（例如非线性光学系统、活性物质、激子-极化激元凝聚体）。

此前尝试将 EP 推广到非保守系统的尝试（如向量场算法 Vector Field, VF）无法计算代价函数的精确梯度。它们仅在保守极限下提供无偏梯度；随着雅可比矩阵的反对称部分增加，梯度估计误差也会随之增大，可能导致优化失败（例如，将最大化代价函数而非最小化代价函数）。

2. 方法论

作者提出了两个数学上等价的框架，用以将 EP 扩展到任意非保守系统：非对称 EP (AsymEP) 和 双向 EP (Dyadic EP)。这两种方法都保留了 EP 的核心原则，即利用稳态进行推理和学习，但修改了动力学以恢复精确梯度。

2.1 非对称 EP (AsymEP)

AsymEP 保留了原始的推理动力学，但在“扰动”阶段引入了一个局部修正项。

• 机制： 在扰动阶段，系统在增强力场下演化。该力场包括原始力 $F$、标准的扰动项 $-\beta \frac{\partial C}{\partial x}$，以及一个与自由平衡点处的雅可比反对称部分 ($A_J$) 成正比的新修正项：
  $$\frac{dx}{dt} = F(x, \theta) - \beta \frac{\partial C}{\partial x} - 2A_J(x_0, \theta)(x - x_0)$$
• 梯度恢复： 该修正项有效地在学习规则中转置了雅可比矩阵，确保了扰动态与自由态之间的差异能够产生实现真实梯度的准确突触后项。
• 局部性： 该修正项在空间上是局部的，因为对于不连接的神经元，$A_J$ 会消失，且状态差 $(x - x_0)$ 在突触处是可获取的。

2.2 双向 EP (Dyadic EP)

双向 EP 是一种变分方法，通过将状态空间翻倍，将非保守动力学映射到一个保守系统中。

• 机制： 原始的 $n$ 变量系统被映射到一个由能量函数 $H(z, z', \theta)$ 和代价函数 $D(z, z')$ 定义的 $2n$ 变量系统 $(z, z')$。能量函数的构建方式使得原始动力学在对角线上（$z=z'$）得以恢复，而离对角线方向则编码了非互易力。
  $$H(z, z', \theta) = -(z - z')^\top F\left(\frac{z + z'}{2}, \theta\right)$$
• 学习： 系统演化至增强能量 $H_T = H + \beta D$ 的鞍点。$z_\beta - z'_\beta$ 作为误差信号。
• 与 AsymEP 的关系： AsymEP 可以被视为 Dyadic EP 在原始 $n$ 维空间上的一阶投影。Dyadic EP 允许并行执行正向和负向扰动阶段，但需要两倍的物理自由度。

3. 主要贡献

1. 精确梯度计算： 本文提供了第一个利用平衡传播计算任意非保守动力系统代价函数精确梯度的框架，克服了向量场（VF）算法的局限性。
2. 两种推广形式： 引入了 AsymEP（直接修改动力学并带有局部修正）和 Dyadic EP（通过对偶状态空间进行变分扩展），并证明了两者在无穷小扰动极限下的等效性。
3. 前馈能力： 这些方法使得训练纯前馈网络成为可能，而在这种场景下，之前的 EP 方法（如 VF）会失效，因为它们无法在没有显式后向连接的情况下向后传播误差信号。
4. 理论统一： 本工作证明了 EP 背后的变分原理是通用的，可以通过扩展状态空间或修改动力学来应用于非互易力，从而弥合了基于能量的模型与一般动力系统之间的鸿沟。

4. 实验结果

作者使用 MNIST、Fashion-MNIST 和 CIFAR-10，通过连续 Hopfield 网络和卷积架构验证了其框架。

• 对称初始化： 在具有对称初始化的 MNIST 任务上，AsymEP 的准确率高于标准 EP 和向量场（VF）算法，且学习速度更快。
• 结构非对称性： 当网络被约束为具有高度结构非对称性（此时 EP 不适用且 VF 会发生性能退化）时：
  • VF 表现： 当不对称性增加时，VF 的性能崩溃，准确率降至随机水平（例如，在高不对称性下 MNIST 准确率约为 10%）。
  • AsymEP 表现： Asлеко 即使在完全反对称的连接矩阵下，也能在所有不对称水平上保持稳健的性能。
• 前馈架构：
  • 在纯前馈设置中，VF 实际上只能训练最后一层（充当极限学习机），导致性能较差（MNIST 约为 64%）。
  • AsymEP 成功训练了所有层，在 MNIST 上达到了约 92.7% 的准确率。
• 深层网络 (CIFAR-10)： 在 CIFAR-10 上训练的深层卷积网络中，AsymEP 和 Dyadic EP 的表现都紧随标准反向传播（BP）的步伐，分别达到约 89.7% 和 90.7%，而 BP 为 90.7%。相比之下，VF 则崩溃至随机水平。
• 稳定性： 实验表明，使用 AsymEP 训练的非保守动力学可以抑制振荡，即使在强不对称性和受限输入投影下也能保持稳定。

5. 重要性与主张

作者声称，这项工作为神经形态硬件、耗散物理系统以及非对称性是内在属性而非偶然属性的神经架构中的学习开辟了新途径。

• 物理可实现性： 通过消除对权重对称性和显式后向传递的要求，所提出的算法与自然表现出非保守动力学的物理基质（如忆阻器、光学系统、活性物质）更加兼容。
• 生物合理性： 这些方法依赖于局部相互作用和连续弛豫，为信用分配提供了一种比反向传播更具生物合理性的机制。
• 普遍性： Dyadic EP 的公式表明，平衡传播的变分原理是普适的，适用于任何运行在稳态下的网络，无论其底层力是保守的还是非保守的。

文章总结道，虽然 AsymEP 引入了一个可能需要特定物理机制来实现的局部修正力，且 Dyadic EP 需要将状态空间翻倍，但两者都为使用精确梯度训练非保守系统提供了严谨的理论和实践路径。