Neural Langevin Machine: a local asymmetric learning rule can be creative

技术摘要：神经朗之万机 (Neural Langevin Machine, NLM)

问题陈述
当前的基于人工神经网络的生成模型，如变分自编码器 (VAE)、生成对抗网络 (GAN) 和扩散模型 (Diffusion Models)，在生物合理性和训练复杂度方面面临显著挑战。具体而言，它们通常缺乏以下特性：

1. 非对称递归性： 生物神经网络具有非对称的突触耦合，而许多流行的模型依赖于对称结构或需要全局误差信号。
2. 局部学习： 生物电路通过局部信号进行学习，而大多数生成模型依赖于全局误差反向传播。
3. 对神经动力学的利用： 虽然神经响应的变异性和不动点（或混沌吸引子）可以存储并生成样本，但神经响应变异性在生成采样中的潜力尚未得到充分探索。
4. 热力学可逆性： 先前使用朗之万动力学的尝试通常强制执行热力学可逆性，这违反了生物约束，并且无法有效地模拟大脑的感知和想象过程。

方法论
作者提出了神经朗之万机 (NLM)，这是一种利用具有随机非对称耦合的循环神经网络 (RNN) 不动点的生成模型。

• 动力学： 该模型由随机微分方程（朗之万动力学）定义：
  $$\frac{dx}{dt} = -\nabla_x E(x) + \sqrt{2T}\epsilon(t)$$
  其中 $x$ 是突触电流向量，$T$ 是温度参数，$\epsilon(t)$ 是高斯白噪声。
• 能量函数： 该势能 $E(x)$ 被构建用于稳定混沌 RNN 中固有的指数级数量的不稳定不动点。它包含一个源自能量梯度的昂萨格 (Onsager) 反馈项，用于稳定混沌波动。能量函数的形式为：
  $$E(x) = \frac{1}{2} \sum_{i} \left( -x_i + b_i + \sum_{j} J_{ij}\phi(x_j) \right)^2$$
  其中 $\phi(x) = \tanh(x)$ 是发放率函数，$b_i$ 是偏置，$J_{ij}$ 代表非对称神经耦合。
• 学习规则： 模型优化耦合参数 $\{J_{kl}\}$ 以最小化模型分布与数据分布之间的 Kullback-Leibler (KL) 散度。这种最小化遵循最小熵原理，从而导出一个局部的、非对称的学习规则：
  $$\frac{\partial L}{\partial J_{kl}} = \beta \left[ \langle (x_k - h_k)\phi(x_l) \rangle_{\text{model}} - \langle (x_k - h_k)\phi(x_l) \rangle_{\text{data}} \right]$$
  这里，$h_k$ 是积分突触电流。项 $(x_k - h_k)$ 代表一种被解释为预测误差（降低突触活动速度）的突触后贡献。该规则是局部的，仅需要神经信号，并且对于神经元索引是非对称的。
• 训练协议： 作者实施了多种训练策略来探索非平衡态 (OOE) 机制：
  • PCD-k (持久对比发散)： 在参数更新之间使用更新 $k$ 步的持久链。
  • Rdm-k： 在每个梯度估计步骤中，从随机配置重新初始化朗之万链。
  • AE-NLM： 训练一个自编码器将数据压缩到潜在空间，并在该空间中训练 NLM，从而显著降低计算复杂度。

核心贡献

1. 生物合理的生成模型： NLM 满足三个标准：局部学习、基于神经动力学的采样以及非对称递归。它推导出的学习规则可解释为速度调节的预测学习。
2. 稳定不稳定不动点： 本研究证明了能量函数中的昂萨格反馈项可以稳定混沌 RNN 中的不稳定不动点，使其可用于记忆和生成。
3. 局部非对称学习规则： 推导出的学习规则将生成建模与基本的物理原理（最小熵）联系起来，并与“没有概率的贝叶斯大脑”假设以及 Yann LeCun 的基于能量的 AI 路径相一致。
4. 非平衡态 (OOE) 机制： 本文识别出了一个 OOO 机制，在该机制下，无需等待系统达到热力学平衡即可实现最佳的生成性能，这模拟了由随机噪声驱动的连续大脑动力学。

结果

• 生成性能： 应用于 MNIST（手写数字）和 Fashion MNIST，NLM 成功生成了样本。可视化结果显示，在随机噪声的驱动下，不同数字类别之间存在连续的状态转换（例如，从“6”到“1”）。
• 从记忆到泛化的转变： 随着训练数据量的增加，模型经历了从纯记忆（过拟合）到泛化的转变。这种转变通过对抗准确度指标 (AAI) 进行量化。
  • 在数据匮乏阶段，模型记忆训练样本。
  • 超过特定数据阈值后，模型生成的样本在统计上与真实数据不可区分。
  • 过多的数据量最终可能会降低质量，这表明存在一个饱和点。
• 特征值谱： 在学习过程中，耦合矩阵 $J$ 的谱从各向同性演变为“锚定”形状，分布在正实轴附近的特征值在泛化中起着关键作用。
• 去噪与联想记忆： NLM 可作为联想记忆网络运行。当输入受损图像（25% 像素噪声）时，动力学过程会收敛到清晰的数字表示，展示了一种具有非对称耦合的新型联想记忆。
• 潜在空间增强： 使用 AE-NLM 协议处理 Fashion MNIST（10 个类别）可以提高生成质量，并允许在低维潜在空间中进行采样。

意义与主张
作者声称，NLM 为受神经启发、允许动态探索“想象的创造性活动空间”的生成模型提供了一条充满前景的途径。通过利用不稳定不动点和局部非对称学习，该模型弥合了生物神经机制与工程目标之间的鸿沟。这项工作表明，大脑可能利用类似的机制进行感知、记忆和想象，其中对相空间的连续探索促进了从记忆到泛化的转变。本文将该框架定位为理解大脑主观感知与想象的一步，同时也为当前主流的生成模型提供了一个计算效率更高的替代方案，通过潜在空间进行训练。