🔬 physics

Thermodynamic cost of inference and learning in physical neural networks

本文表明，虽然物理神经网络中的准静态推理不产生热力学代价，但参数学习带有不可消除的能量开支，从而确立了神经计算的基本热力学价格是由存储器存储而非算术运算决定的。

原作者： Alexei Tkachenko

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Alexei Tkachenko

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

每当计算机解决一个问题或学习一种新模式时，它都会消耗能量。我们在为数据中心供电的庞大发电厂以及笔记本电脑散发的热量中都能看到这一点。几十年来，科学家们一直在思考，这种能量成本究竟是由于我们当前技术的缺陷，还是由于一种任何机器都无法逃脱的基本自然法则。数字计算机的标准答案来自于一条被称为“兰道尔原理”（Landauer's principle）的规则。该规则指出，如果一台机器擦除了一段信息，它必须释放出微小且不可避免的热量。这条规则适用于我们处理器内部的二进制开关，其中信息被存储为像“开”或“关”这样截然不同且稳定的状态。然而，许多研究人员现在正在构建一种不同类型的计算机。这些是物理神经网络，是由光、机械部件或电子电路组成的设备，它们通过向平衡态演化来计算，就像一个小球滚下山坡寻找最低点一样。因为这些机器并不依赖于翻转僵硬的开关，所以关于擦除比特的旧规则可能并不以同样的方式适用于它们。问题在于，这些新机器是否可以几乎不消耗能量就能进行计算和学习，或者它们是否也受限于某种硬性的物理极限。

布鲁克海文国家实验室的一位研究人员现在已经精确地描绘出了这些物理网络需要多少能量。他们并没有在实验室里制造一个物理设备；相反，他们创建了一个详细的数学模型，将神经网络视为一个由弹簧和权重组成的系统。在他们的模型中，网络层之间的连接不是僵硬的指令，而是弹性约束，就像将系统拉向特定形状的弹簧一样。当网络接收到一个输入时，它只是简单地向满足所有弹簧要求的形状演化。这种方法使科学家能够计算出两个不同过程的能量成本：推理（即解决问题的行为）和学习（即训练机器变得更好地解决问题的行为）。他们的发现揭示了这些机器物理特性中一个令人惊讶的分裂。他们发现，思考的行为，即推理，在理论上如果机器移动得足够慢，就可以实现零能耗。只有当机器被迫快速移动时，成本才会出现。相比之下，学习的行为则带有永久性的能量价格标签，无论机器运行得多么缓慢，这个价格都无法避免。

研究人员发现，对于推理而言，其能量成本并不像数字计算机那样取决于网络内部的连接数或“权重”，而是取决于网络的宽度，即同时有多少个神经元处于活跃状态。如果允许机器缓慢地放松，以悠闲的节奏从一个输入过渡到下一个输入，它就完全不需要做功。这是因为机器始终处于平衡状态，沿着能量的平滑谷底滑动，而从未需要爬坡或擦除记忆。只有当机器被推向比其自然弛豫速度更快的速度时，才会消耗能量。在这种快速机制下，所需的能量与机器在状态空间中移动的距离成正比，并除以所花费的时间。模拟显示，即使在最快的有效速度下，能量成本也极低，大约相当于网络中最宽层每一维度的环境热能。这意味着成本随网络的宽度规模缩放，而非其总复杂度。对于一个拥有百万个活跃神经元的网络，其能量成本大约是单个粒子微小热能的一百万倍，这一数值比当前数字硬件消耗的能量要小上数十亿倍。

然而，学习却讲述了一个不同的故事。当机器接受训练时，输入和期望的输出被同时强加给系统。这会在网络的弹簧内部产生冲突或应力，因为当前的设置无法同时满足输入和目标。为了学习，机器必须调整其内部权重以缓解这种应力。研究人员发现，这种调整权重的过程带有不可还原的能量成本。与推理不同，即使训练进行得无限缓慢，这个成本也不会消失。每当权重发生变化时，都会有少量的能量以热量的形式耗散掉，大约是环境热能的几倍（针对每个参数）。这个成本是在定义机器知识的整个参数集上征收一次。它并不取决于机器在训练期间看到了多少个样本，而是取决于它必须存储的权重数量。这与数字训练形成了鲜明对比，在数字训练中，机器必须为它看到的每一个样本进行信息的擦除和重写，从而导致一个随数据集规模增长的巨大能量账单。

研究人员通过模拟一个被训练用于识别手写数字（机器学习中的标准任务）的小型网络来测试这些想法。他们观察了当他们在不同数字之间切换以及机器如何调整权重以提高准确率时的行为。结果与他们的理论预测完美契合。当机器被要求快速进行推理时，它消耗的能量急剧上升，且随着其所做的功变得与系统中的热随机跳动相当，其准确率也随之下降。但当允许机器缓慢移动时，它几乎不消耗能量就能解决问题，且准确率保持在高水平。在训练期间，他们观察到用于调整权重的能量遵循一种精确的模式，证实了每发生一次学习行为，就会释放出固定且微小的热量。模拟显示，一旦机器学会了该任务，维持该知识所需的能量微乎不及，但最初写入该知识所需的能量是一个基本的、不可避免的成本。

这些发现表明，神经网络的热力学代价是由其记忆而非其算术决定的。计算结果的行为几乎是免费的，仅受限于机器被迫移动的速度。然而，学习的行为需要支付一笔小额但永久的费用，以将参数写入机器的物理结构中。这种区别为计算的未来提供了一个新的视角。虽然数字机器受限于为每一次操作擦除比特的成本，但物理机器有可能以比现有硬件高出几个数量级的能量效率执行复杂计算。目前硬件与这些理论极限之间的差距并非源于物理定律的缺陷，而是源于我们现有材料和设计的低效。这项研究提供了一个清晰的路线图，展示了什么是可能的：如果我们能制造出能够真正“放松”进入解状态的机器，智能的能量成本就可以降低到宇宙所允许的最低限度。

技术摘要：物理神经网络中推理与学习的热力学成本

问题陈述
深度神经网络的快速扩张导致了训练和推理过程中能源需求的不断攀升。虽然当前的硬件效率低下问题已被广泛记录，但一个根本性的问题仍然存在：究竟什么是神经网络计算本身固有的能量成本，且独立于特定的设备实现？对于数字硬件，标准的统计热力学基准是兰道尔原理（Landauer's principle），该原理为每个被擦除的比特分配了 $k_B T \ln 2$ 的最小耗散。然而，这一界限适用于亚稳态、多稳态的信息承载状态，并不直接约束通过弛豫和平衡而非时钟驱动的逻辑门进行连续模拟计算或物理系统。本文旨在确定基于能量的物理神经网络的热力学极限，特别是探讨当网络被建模为一个由哈密顿量（Hamiltonian）控制的物理系统时，推理和学习分别需要多少能量。

方法论
作者提出了一个将通用前馈神经网络嵌入物理哈密顿量的理论框架。

哈密顿量嵌入： 一个标准的前馈网络（具有层 $x_n$ ，权重 $W_n$ 和偏置 $b_n$ ）被映射为一个弹性能量函数：
$H(x; \theta) = \frac{\kappa}{2} \sum_{n=1}^L \|x_n - f_n(W_n x_{n-1} + b_n)\|^2$
这里，每一层关系都被视为一个具有刚度 $\kappa$ 的弹性相容性约束。该“前馈状态”对应于零能量流形（zero-energy manifold）。与 Hopfield 网络中状态作为吸引子不同，这种构造创建了一个高度简并的零能量基态流形，其中每一个输入都选择一个唯一的、零能量相容的状态。
动力学： 系统通过过阻尼朗之万动力学（overdamped Langevin dynamics, $\dot{x}_n = -\mu \nabla_{x_n} H + \text{noise}$ ）进行演化。
推理与训练：
- 推理： 建模为隐藏变量和输出变量在固定输入下向零能量流形的弛豫过程。
- 训练： 建模为一个过度约束的过程，其中输入和目标输出都被钳制，从而产生应变（损失），并通过机械力平衡（反向传播）驱动参数更新。
热力学界限： 本文推导了驱动系统在热态之间转换所需的功的精确界限。它利用 Wasserstein-2 距离（ $W_2$ ）进行最优传输，并将其放宽为涉及 Kullback-Leibler（KL）散度和 Fisher-Rao 距离的信息几何界限。
数值验证： 作者在最小物理网络（架构为 64 $\to$ 20 $\to$ 10）上进行了模拟，并在手写数字数据集（MNIST）上进行了训练。模拟测试了在不同协议速度、温度下的功耗、弛豫时间和准确度。

核心贡献与结果

准静态极限下的可逆推理：
本文证明了嵌入网络的平衡自由能（equilibrium free energy）在所有温度下均与输入及所有参数（权重和偏置）无关。因此，对于任何输入转换，自由能的变化（ $\Delta F$ ）恰好为零。在准静态极限（无限慢的操作）下，推理所需的功为零。这与数字系统形成对比，在数字系统中，计算通常涉及比特擦除；而在这里，计算是一种单稳态、等静性的响应，沿着零能量流形运动，从而完全避免了兰道尔成本。
有限速度推理成本：
对于有限速度的操作，所需功的下界由初始热态与最终热态之间的 Wasserstein-亲和距离平方除以协议持续时间 $\tau$ 决定。
- 该界限被放宽为一个熵测度： $E_{inf} \ge d k_B T \Gamma_{inf} \frac{\tau_L}{\tau}$ ，其中 $d$ 是最宽层的宽度， $\tau_L$ 是扩散时间尺度， $\Gamma_{inf}$ 是与信噪比相关的保真度因子。
- 在最快可用速度下（即 $\tau \approx \tau_{inf}$ 时），保真度和弛豫时间相互抵消，产生的成本约为每层最宽层维度一个 $k_B T$ 。
- 至关重要的是，该成本随网络宽度（神经元数量）缩放，而非参数数量（突触数量）。模拟证实，测得的功在 4% 以内饱和了传输界限。
- 当耗散的功低于热标度（ $k_B T$ ）时，准确度会崩溃，这证实了可靠性是由功与热可区分度之间的比例决定的。
学习的不可还原成本：
学习在本质上与推理不同。由于训练需要改变参数（权重和偏置），它携带了一个在准静态极限下依然存在的不可还原成本。
- 总训练成本由数据呈现项（在缓慢呈现时消失）和参数退火项组成。
- 参数退火成本大约为整个训练过程中每个参数几个 $k_B T$ 。这种成本是在建立参数配置时一次性产生的，不像数字训练那样在每次数据呈现时都要支付擦除成本。
- 该成本随参数数量（ $N_\theta$ ）缩放，但在准静态极限下与数据集大小无关（不同于数字基准，后者随 $N_\theta \times \text{数据集大小}$ 缩放）。
与数字基准的比较：
本文将这些物理界限与不可逆数字硬件（16 位算术）的兰道尔极限进行了比较。
- 推理： 物理成本（ $\sim d k_B T$ ）比数字兰道尔基准（ $\sim N_\theta k_B T$ ）低几个数量级，因为物理网络通过几何结构而非离散操作进行乘法运算。
- 训练： 物理成本是一次性的参数更新成本，而数字训练在处理每个 token 时都会产生擦除成本。
- 论文中的表 1 估计，物理推理可能比兰道尔基准高效 $\sim 10^5$ 倍，比当前硬件估值高效 $\sim 10^{13}$ 倍；同时，由于不存在每 token 的擦除成本，物理训练相对于数字训练也具有类似的优势。

意义与主张
本文声称确立了神经计算的基本热力学代价，并区分了算术（推理）与记忆（学习）的成本。

推理： 热力学成本由网络的宽度和操作速度决定，而非其参数数量。在理想极限下，计算本身是免费的；成本仅源于为了将信号与热噪声分离而必须具备的有限速度。
学习： 成本由记忆方面主导——即写入参数。这种成本即使在慢速极限下也是不可还原的，但它在整个数据集上被摊销，这使得它可能比数字训练（需为每个样本支付代价）要便宜得多。
物理 vs. 数字： 研究表明，物理神经网络之所以能够从理论上超越数字实现，不仅是通过工程改进，更是因为它们避开了数字计算中与信息擦除相关的基本兰道尔成本。因此，神经网络的“热力学价格”更多地与它的记忆（学习）相关，而非它的算术（推理）。

作者指出，这些界限适用于理想基质；现实世界的成本（数据转换、控制、非理想材料）目前占据主导地位。此外，该模型假设了一种仿射加激活结构，尚未涉及注意力机制或训练后权重存储的成本。尽管如此，这些结果为评估未来的神经形态和物理计算架构提供了一个严谨的热力学基准。

技术摘要：物理神经网络中推理与学习的热力学成本

类似论文