💻 computer science

Time as a Computational Substrate: The Eligibility Trace and the First Challenge to the von Neumann Architecture

本文引入了资格迹（eligibility trace）作为一种新颖的计算基质，它将时间的因果箭头直接嵌入硬件之中，通过证明其在脉冲神经网络中对于涌现分化性的独特必要性，以及在随机梯度下降中具有同构的因果结构，挑战了冯·诺依曼架构将时间仅视为序列号的假设。

原作者： Yahua Ruan

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yahua Ruan

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

不仅仅是滴答作响的时钟

想象一下，你正在试图教一个机器人玩接球游戏。每当它投球时，它都会等待几秒钟，看看是否击中了目标。如果击中了，机器人会得到一分；如果没中，它就什么也得不到。在传统计算机的世界里（自 1940 年代以来一直是标准），时间仅仅是一系列指令。计算机在想：“我执行了步骤 A，然后是步骤 B，最后是步骤 C。”它并不真正理解步骤 A 是导致步骤 C 结果的原因。它把时间看作一排编号的储物柜：1 号柜、2 号柜、3 号柜。如果你把一条信息放入 1 号柜，计算机只有在打开那个特定的柜子时才会知道这条信息。它没有内置的方法来表达：“嘿，三步之前我做的那个动作，是我现在感到高兴的原因。”

这篇论文深入探讨了科学的一个不同领域：机器如何从随时间变化的因果关系中学习。它挑战了一个关于计算机构建方式的非常古老的观念。几十年来，我们一直假设时间只是一个中性的序列，一个向前跳动的简单计数器。但自然界，特别是人类大脑，处理时间的方式似乎不同。它保留着对刚刚发生的事情的褪色记忆，等待稍后到来的结果来决定这个记忆是好是坏。这篇论文提出了一个宏大的问题：如果我们构建的计算机不把时间视为数字列表，而是将其视为连接过去与未来的物理桥梁，会怎样？如果我们能做到这一点，也许机器就能学会理解事情为什么发生，而不仅仅是发生了什么。

穿越时间的记忆

本文作者阮亚华（Yahua Ruan）提出，他们一直忽略了拼图中至关重要的一块。他们引入了一个被称为**资格迹（eligibility trace）**的概念。把它想象成计算机在特定动作上留下的一个“便利贴”。

在标准计算机（我们每天使用的基于“冯·诺依曼架构”的计算机）中，如果你按下按钮，计算机会立即做出反应。如果结果直到稍后才出现，计算机无法将按键动作与结果联系起来。这就像对着峡谷大喊，并期望回声能准确告诉你刚才喊了哪个词，但峡谷对你的声音没有任何记忆。

资格迹改变了规则。它是一个简单的方程，意思在于：“当我做某事时，我会留下一个逐渐消逝的痕迹。”这个痕迹不会立即消失。它会持续存在，随着时间的推移而减弱，就像空气中的气味或池塘里的涟漪。如果奖励（比如“做得好”的信号）稍后到达，计算机会查看它留下的所有褪色的痕迹。它会说：“啊，三秒前的那个痕迹仍然很强，而那正是获得奖励的时候。所以，那个动作就是原因！”

论文指出，这种“褪色的痕迹”不仅仅是一个聪明的技巧；它是 60 多年来对标准计算机设计的第一个有效的挑战。作者认为，如果没有这种特定的机制，机器就无法真正学会区分延迟结果中的好坏行为。

伟大的实验：证明迹的存在是必不可少的

为了证明这一点，研究人员不仅仅是进行猜测，他们运行了大规模的模拟。他们构建了一个由 80,000 个微小“神经元”（论文称之为脉冲神经网络）组成的数字大脑，并赋予它一项学习任务。他们测试了该大脑的五个不同版本：

完整的大脑： 它拥有资格迹（即那些“便利贴”）。
无迹的大脑： 他们完全移除了资格迹。
其他变体： 他们移除了诸如“奖励预测”或“权重饱和”等其他部分，以观察它们是否才是真正的英雄。

结果令人震惊。当他们移除资格迹时，大脑停止了学习。它陷入了停滞。其“基尼系数”（一种衡量大脑连接专业化程度的高级数学方法）趋于平缓。大脑并没有变得更聪明，而是保持在初始状态。

然而，当他们保留了迹但移除了其他部分时，大脑仍然可以学习，只是方式略有不同。作者发现，资格迹是唯一的必要条件。它是引擎。没有它，无论轮子或燃料多么出色，车子都不会移动。

他们还在两种不同类型的计算机（CPU 和 GPU）上进行了测试，发现结果精确到了小数点后第三位。这表明该发现并非代码中的漏洞，而是一个关于学习运作方式的基本法则。

“时间原生”革命

论文进一步指出，这种相同的“褪色痕迹”逻辑也存在于其他学习系统中。他们观察了现代 AI（例如那些为你写文章或与你聊天的 AI）如何使用一种称为**随机梯度下降（SGD）**的方法进行学习。他们发现，这些系统中所使用的“动量”在功能上与资格迹完全一致。它是对过去梯度的记忆，帮助 AI 决定下一步该往哪个方向移动。

在一个巧妙的实验中，他们尝试“破坏”大型 AI 模型中的这种记忆。当他们扰乱学习信号的方向（使“褪色的痕迹”变得混乱）时，AI 遇到了瓶颈并停止了改进，无论训练多久都是如此。但当他们增强信号强度时，它并没有学得更快，而只是以同样的速度学习。这证明了时间的结构（过去与未来之间的桥梁）比信号的强度更重要。

这对未来意味着什么

作者总结道，我们今天构建计算机的方式实际上是一个更大可能性的“特例”或“退化极限”。通过将时间压缩为一个简单的计数器，我们构建的机器擅长数学，却不擅长理解随时间变化的因果关系。

他们提出了一种新的计算方式，称为时间原生计算（time-native computation）。在这个新世界里，时间不仅仅是时钟上的一个数字，它是机器大脑的一个物理组成部分。机器会自然地理解“事件 A 导致了事件 B”，因为 A 的记忆在 B 发生时仍然具有“粘性”。

论文并未声称已经制造出了完美的穿越时空的机器人。它承认在语言或运动控制等现实任务上还需要更多的测试。但它确实声称找到了第一个坚实的证据，证明资格迹是缺失的关键。它表明，如果我们想要机器真正像我们一样学习——将行动与延迟的奖励联系起来——我们需要停止将时间视为指令列表，而要将其视为一座桥梁。

简而言之，论文认为，对于一台机器要变得真正聪明，它需要记住它的过去，不仅是作为一个文件夹里的文件，而是作为一个等待未来告诉它意义的、逐渐消逝的回声。而这个回声，即资格迹，是对我们过去 80 年来构建计算机方式的第一个真正的挑战。

技术摘要：作为计算基质的时间

问题陈述
自1945年冯·诺依曼架构提出以来，通用计算一直运行在一个未经审视的假设之下：时间是一个离散、均匀且在语义上中性的序列号（程序计数器）。在这种范式中，物理时间的箭头并不携带任何计算含义；机器无法区分一个事件是发生在3个周期前还是30,000个周期前，除非将其视为内存地址索引。尽管随后的神经网络世代（前馈、CNN、RNN、Transformer）提高了表示能力，但它们并未挑战这一基本前提。它们将时间视为一个待编码、压缩或掩蔽的坐标，而非通过其中进入计算的物理基质。本文指出当前文献中的一个空白：虽然神经形态芯片和储备池计算利用了时间动力学，且强化学习利用了资格迹（eligibility traces），但此前尚无研究证明存在一种结构，其因果箭头被明确编码在学习规则本身之中，也从未有研究提供经过消融验证的证据，证明这种结构是涌现差异化的唯一必要条件。

方法论
作者提出并验证了一种以资格迹为核心的“时间原生”计算结构，该结构定义为方程 $e(t + 1) = \lambda e(t) + \Delta w$ 。该结构将局部事件（突触变化）跨越时间连接到延迟的全局评估信号。本研究采用跨基质方法，在三个不同领域验证了该假设：

脉冲神经网络 (SNNs)： 使用一种受奖励调节的 SNN，通过脉冲时间依赖可塑性 (STDP) 在合成模式识别任务上进行训练。研究采用了针对三个规模（ $N=800, 8,000, 80,000$ 个神经元）和三个随机种子、运行500,000步的五条件消融设计。测试的组件包括：全模型、移除资格迹 ( $no\_ELIG$ )、移除乘性 LTP ( $no\_MULT$ )、移除逻辑权重饱和 ( $no\_LOG$ ) 以及移除奖励预测误差 ( $no\_RPE$ )。
随机梯度下降 (SGD)： 对线性注意力模型 (CubeAttn, $d=2048$ ) 使用 AdamW 进行了一项扰动实验。研究通过放大梯度 ( $batch\_spike$ ) 或通过正交噪声降解时间相干性 ( $ortho\_kick$ ) 来操纵“梯度方向一致性”（即 SGD 的资格迹模拟）。
因果发现： 一个脉冲网络在具有已知因果滞后的合成轴承振动数据上进行训练。该网络仅接收标量奖励信号（无显式因果标签），以测试资格迹能否恢复格兰杰因果关系（Granger-causal relationships）。

核心贡献

作为计算原语的资格迹： 本文将资格迹定义不仅是一个学习规则的组成部分，而是一个“时间原生”的原语，其中物理时间的箭头被直接编码进学习机制中。它假定差异化产生于全局信号与局部事件衰减记忆的乘积： $差异化 = 全局信号 \times 衰减记忆$ 。
经消融验证的必要性： 通过系统的消融实验，作者证明了资格迹是涌现差异化（以权重分布的基尼系数衡量）的唯一必要条件。移除该迹 ( $no\_ELIG$ ) 会导致差异化趋于平缓（ $\Delta Gini \approx -0.006$ ），而移除其他组件（如乘性 LTP）仅会降低差异化速率或改变平衡点，但不会消除该现象。
规模与实现的不变性： 该机制被证明在两个数量级内（从 $10^4$ 到 $10^8$ 个突触）具有规模不变性，并在实现上具有不变性，CPU 和 GPU 代码库产生的结果在小数点后三位完全一致。
非对称因果性： 研究确立了时间桥梁是必要但不充分的。降解时间桥梁（移除迹或随机化梯度方向）会阻碍突破发生，而放大信号（增加梯度幅度）并不会加速相位转变。
重构冯·诺依曼架构： 本文认为冯·诺依曼架构是该一般原理的一个“退化情况”，其中资格窗口 ( $\tau_e$ ) 坍缩为零，从而消除了局部事件与延迟后果之间的时间桥梁。

结果

SNN 消融实验： 在 $N=80,000$ 时，全模型实现了 $+0.044$ 的基尼系数增量。 $no\_ELIG$ 条件下的 $\Delta Gini$ 为 $-0.005 $，实际上将权重分布冻结在了初始化状态。相比之下，$ no_MULT $在大规模下仅保留了全效应的 29%，而$ no_RPE$ 将差异化放大了超过 1000%，这表明资格迹是差异化的引擎，而其他组件则充当刹车或加速器。
SGD 扰动： 在 CubeAttn 实验中，控制组和放大信号组 ( $batch\_spike$ ) 在恰好第 66,000 步时突破了性能天花板。而降解信号组 ( $ortho\_kick$ )，即破坏了时间桥梁的实验组，在 100,000 步内一直在突破阈值以下震荡，从未实现相位转变。
因果发现： 在轴承振动任务中，全模型以 $0.767 $的得分恢复了正确的因果方向。移除资格迹使因果权重幅度坍缩了$ 17.6 $倍，使信号降至接近噪声水平，而随机化时间顺序则使因果得分降至随机水平（$ 0.538$）。
$\tau$ -缩放： 将资格窗口 ( $\tau_e$ ) 从 20 扩展到 200,000 步，使平衡态差异化上升（基尼系数 $0.584 $对比$ 0.509$），证实了资格窗口的大小控制着因果信号整合的渐近容量。

意义与主张
本文声称提出了第一个针对“时间仅是序列号”这一冯·诺依曼假设的有效反例。文章认为，资格迹构成了一种新的计算原语：时间原生计算。在这种范式下，因果关系不是通过统计相关性从数据中推断出来的，而是物理地编码在学习规则的非对称时间结构之中的。

作者断言，冯·诺依曼架构并非“错误”，而是“不完整”——它是资格窗口为零的特例。一般情况下的时间原生计算，允许机器从观测数据中学习因果结构，在无需显式标签的情况下持续适应环境变化，并避免灾难性遗忘，同时将时间箭头视为一个物理自由度而非实现细节。论文结论指出，能够填充这一一般情况的机器将从根本上不同于更快的冯·诺依曼计算机；它将是一种因果关系是其介质之物理属性的机器。