🤖 machine learning

NRGPT: An Energy-based Alternative for GPT

本文介绍了 NRGPT，这是一种改进的 GPT 架构，通过将推理概念化为能量景观探索，将生成建模与基于能量的框架相统一，在各类任务中展现出具有竞争力的性能，同时表现出更强的抗过拟合能力。

原作者： Nima Dehmamy, Benjamin Hoover, Bishwajit Saha, Leo Kozachkov, Jean-Jacques Slotine, Dmitry Krotov

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Nima Dehmamy, Benjamin Hoover, Bishwajit Saha, Leo Kozachkov, Jean-Jacques Slotine, Dmitry Krotov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《NRGPT：一种基于能量的 GPT 替代方案》的解释。

核心思想：从高速列车到滚动的球

想象一下，一个标准的 AI 语言模型（如著名的 GPT）就像一列高速列车。它沿着轨道，逐个词元（token）地移动。当它看到单词"The"时，基于其训练数据，它会立刻知道下一个词很可能是"cat"或"dog"。它很快，但它只是遵循训练期间铺设好的轨道。

这篇论文的作者提出了一种不同的方式来思考这些模型的工作原理。他们将新模型称为NRGPT。与其说是轨道上的列车，不如将 NRGPT 想象成一个在起伏地形上滚动的球。

在这个新视角下：

地形：“山丘”和“山谷”代表文本的能量。
球：模型试图预测的当前单词（或词元）。
目标：球想要滚入最深的山谷（最低能量状态）。在 AI 世界中，“低能量”状态意味着一个在句子语境中完全合理的单词。

论文认为，模型不仅仅是“预测”下一个单词，实际上它是在探索地形，以寻找下一个单词落下的最稳定、最合乎逻辑的位置。

工作原理：单词的“能量”

论文引入了一个称为**基于能量的建模（EBM）**的概念。可以这样理解：

高能量：一个感觉“错误”或“刺耳”的单词（例如，在关于动物园的语境中说"The cat ate the pizza..."）。这是山丘上的高点。
低能量：一个感觉“正确”且自然的单词（例如"The cat ate the mouse"）。这是深谷。

NRGPT 模型的设计使其内部数学能够构建出这种地形。当模型需要生成下一个单词时，它不仅仅是猜测；它执行梯度下降。用通俗的话说，这意味着它向山下迈出一小步，不断检查：“这个单词的能量是否更低（更好）比我当前所在的单词？”它持续向下迈步，直到找到一个稳定的位置。

“最小”的改动

作者并没有抛弃旧的 GPT 架构。相反，他们进行了最小化的修改。

他们采用了 GPT 的标准构建模块（处理注意力和前馈处理的部分）。
他们重写了数学公式，使这些模块像推动球下山的力量一样运作。
他们证明，在特定条件下，这种“滚球”过程在数学上与标准的“轨道列车”过程完全相同，只是通过不同的透镜观察而已。

他们测试了什么（实验）

团队在三种不同类型的挑战上测试了 NRGPT，以观察“滚球”方法是否真的有效：

数学谜题（ListOps）：他们给模型提供数字列表和数学运算（例如“求 4 和 13 的最大值之和”）。NRGPT 的表现与标准模型一样好，表明它能够处理逻辑。
莎士比亚：他们要求模型以莎士比亚的风格写作。NRGPT 表现出色，匹配了标准模型的质量，但有一个转折：它没有过拟合。
- 类比：想象一个学生完美地背诵了教科书，以至于如果问题的措辞稍有变化，他就无法回答。这就是“过拟合”。NRGPT 似乎学到了莎士比亚的概念，而不仅仅是死记硬背文本，这在某些方面使其更加稳健。
现实世界文本（OpenWebText）：他们在海量的互联网文本数据集上测试了它。NRGPT 生成的文本与标准模型极具竞争力，同时使用了略少的参数（更少的“脑力”或内存）。

主要发现与“怪癖”

渐近稳定性：论文发现了关于“滚球”的一个有趣现象。一旦球落入山谷，它就会停止移动。作者称之为“渐近稳定性”。这意味着模型自然地稳定在一个确定的答案上，不再波动，这是一个很好的理论特性。
抗过拟合能力：在莎士比亚数据集上，当模型变得非常大时，NRGPT 不像标准模型那样容易陷入“死记硬背的陷阱”。
代价：存在权衡。虽然 NRGPT 可能使用更少的“参数”（内存），但将球滚下山所需的实际计算步骤（FLOPs）可能比标准的列车方法略贵。这就像走一条风景优美、蜿蜒曲折的下山小径，而不是坐直上直下的电梯；你可能看到更多风景，但走路需要付出更多努力。

结论

论文得出结论，NRGPT 是一项成功的实验，旨在统一两个不同的世界：流行的 GPT 设计与理论上的基于能量的模型。

它证明，我们可以将文本生成的行为不仅仅视为预测，而是视为一个优化过程——即寻找最稳定、最合乎逻辑的状态。虽然它在每一个指标上尚未完全超越最好的 GPT 模型，但它提供了一种新的、数学上优雅的方式来理解这些强大的 AI 大脑是如何工作的，这表明 AI 的“思考”可能仅仅是在一个极其复杂的能量地形中寻找最低点。

技术摘要：NRGPT——GPT 的基于能量的替代方案

问题陈述

生成式预训练 Transformer（GPT）架构目前主导着自回归语言建模，其通过一系列 Transformer 层将令牌序列映射到移位序列（预测下一个令牌）来运行。尽管有效，但这种标准设置与基于能量的模型（EBM）截然不同，后者将推理视为能量景观上的动态过程，其中低能量状态对应高似然数据。

尽管越来越多的证据表明 Transformer 与梯度下降之间存在深层联系（例如上下文学习），且此前已有人尝试调和这两个领域（如 Energy Transformers），但将标准因果 GPT 设置构建为基于能量模型的明确框架一直难以实现。现有的基于能量的方法通常依赖于掩码令牌重建（不适合因果生成），或将 Transformer 仅仅视为能量计算器而非动态系统。作者指出，在保持语言建模自回归特性的同时，将标准 GPT 推理机制与 EBM 框架统一起来存在空白。

方法论

作者提出了NRGPT（eNeRgy-GPT），这是对 GPT 架构的最小化修改，将其与 EBM 框架统一起来。核心创新在于将推理步骤概念化为不是静态的前向传播，而是能量景观上对令牌的探索，其中更新规则由定义的能量函数的梯度驱动。

1. 能量函数公式

该模型定义了一个由两项组成的总能量函数 $E$ ：注意力能量（ $E_{AT}$ ）和前馈能量（ $E_{FF}$ ）。

注意力能量： 源自多头注意力机制， $E_{AT}$ 的公式化使其关于令牌状态的梯度产生注意力输出。作者定义了一种可学习的注意力能量，其中梯度下降步骤模仿标准注意力机制，利用可学习权重 $\alpha$ 和推理速率矩阵 $\eta$ 。
前馈能量： 前馈（FF）网络源自稠密关联记忆（Dense Associative Memory）公式。能量 $E_{FF}$ 的构建使其梯度产生标准的双层 MLP 更新。作者探索了特定变体，包括 $E_{FF} = -\|\sigma(W g_A)\|^2$ （NRGPT_H_FF1）以及涉及两个权重矩阵的更复杂变体（NRGPT_H_FF2W）。

2. 更新规则与动力学

推理过程被建模为一个动态系统，其中令牌状态 $x$ 随时间步 $t$ 演化：
$x^{(t+1)} = x^{(t)} - \eta(t) \nabla E(x^{(t)})$
这里， $\eta(t)$ 是一个推理速率矩阵（充当预条件器）。

因果约束： 令牌 $A$ 的能量仅依赖于令牌 $B \leq A$ ，确保因果生成。
渐近稳定性： 作者证明，在 $\eta$ 满足特定条件（例如 $\eta = c \cdot \text{diag}(\gamma)$ ，其中 $\gamma$ 是 LayerNorm 缩放因子）并进行归一化的情况下，系统表现出渐近稳定性。在瞬态期之后，每个令牌的能量单调递减，令牌状态收敛到固定点。这提供了理论保证，即“前向传播”是有效的能量下降。

3. 架构变体

本文研究了多种配置：

归一化： 模型支持 LayerNorm 和 RMSNorm，理论证明表明这些归一化有助于界定能量并确保收敛。
FF 变体： 作者测试了不同形式的 $E_{FF}$ ，以在性能与标准 GPT 的架构相似性之间取得平衡。
循环推理： 与层彼此独立的标准 GPT 不同，NRGPT 循环使用单个块。循环步骤的数量对应于网络的“深度”。

主要贡献

统一框架： 设计了一个描述 GPT 设置的能量函数和更新规则，统一了自回归语言建模与基于能量的建模。
理论保证： 证明在推理速率矩阵和归一化满足特定条件的情况下，推理动力学在瞬态期后确实降低能量，为渐近稳定性奠定了基础。
实证验证： 证明 NRGPT 在以下任务中表现具有竞争力：
- ListOps： 嵌套算术和逻辑任务。
- Shakespeare： 字符级语言建模。
- OpenWebText (OWT)： 大规模自然语言建模。
系统比较： 详细分析了循环 Transformer 与 NRGPT 之间的性能扩展，包括参数效率和 FLOP 成本。
动力学分析： 对能量景观上的令牌轨迹进行实证研究，观察其收敛到稳定的低能量状态。

实验结果

ListOps： NRGPT 变体（特别是 NRGPT_H_FF1 和 NRGPT_H_FF2W）在准确率和训练损失方面与循环 GPT 基线（GPT_Rec_parallel）表现相当。这些模型在相似的参数量（约 $2.3 \times 10^4$ 到 $3.0 \times 10^4$ 个参数）下实现了学习转变（达到 >80% 的准确率）。
Shakespeare： NRGPT 在不同参数量下达到了与深度 GPT 基线相当的验证损失。值得注意的是，与标准 GPT 相比，NRGPT 在较大参数量下在训练集上表现出较少的过拟合。
OpenWebText： 在 OWT 数据集上，NRGPT（特别是 NRGPT_H_FF2W 变体）在生成质量指标（困惑度、语法分数、多样性）方面与标准 GPT（1.24 亿参数）具有竞争力，同时包含约少 3400 万参数（9000 万 vs 1.24 亿）。
下游任务（MMLU）： 在 MMLU 数据集的 5 次提示（5-shot）设置中，1.28 亿参数的 NRGPT 模型实现了比同等规模的 GPT（28.0%）和循环 GPT（26.0%）基线更高的平均准确率（29.3%）。作者指出，由于模型规模较小，这些结果应谨慎看待，但表明了潜在优势。

局限性与观察

计算成本： 虽然 NRGPT 具有更高的参数效率，但每次迭代的 FLOP 成本比等效的循环 GPT 高 1–2 倍，这主要是由于 FF 模块的设计和注意力中使用全秩权重矩阵。
超参数敏感性： 与标准 GPT 变体相比，NRGPT 对超参数选择（例如学习率）表现出更高的敏感性。
过拟合行为： 模型更不易过拟合，这对小数据 regime 有益，但在大规模数据集中可能并非最优，因为在大规模数据集中过拟合通常是学习复杂模式的代理。
推理速率约束： 为了保证能量下降，推理速率矩阵 $\eta$ 必须满足特定约束（例如与归一化缩放成正比）。然而，实证结果表明，即使不受约束的 $\eta$ 在实践中也能导致收敛。

意义与主张

本文声称 NRGPT 代表了对 GPT 架构的最小化修改，成功统一了自回归语言建模与基于能量的建模。其主要意义在于：

理论统一： 提供了一个原则性基础，其中因果语言模型的“前向传播”明确地是能量景观上的基于梯度的动态系统。
渐近稳定性： 证明该动态系统自然收敛到稳定状态，为 Transformer 推理提供了新视角。
替代范式： 表明基于能量的方法在性能上可以与标准 GPT 竞争，同时提供独特的特性，如抗过拟合能力以及通过系统性地探索解空间（例如通过早停或正则化）的潜力，尽管论文指出这些高级应用是未来的工作。

作者将 NRGPT 定位为并非所有 GPT 的替代品，而是迈向通过能量和优化视角理解 Transformer 架构的重要一步，弥合了静态深度学习模型与动态系统之间的差距。