Learning complex temporal dependencies via local synaptic plasticity
本文表明，时间预测编码（tPC）作为一种利用局部突触可塑性的生物合理性框架，能够通过利用储层动力学、层级结构和资格迹，有效地学习复杂的时序依赖关系，并足以媲美传统的基于反向传播的方法。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
为了在世界中航行，我们的大脑必须不断追踪事件随时间演进的过程。无论是预测句子中的下一个词、把握网球挥拍的时机，还是仅仅记住把钥匙放在了哪里，从一系列时刻中提取模式的能力是人类思维的基础。几十年来，试图理解这一过程的科学家们一直依赖于被称为循环神经网络（recurrent neural networks）的强大计算机模型。这些数字系统擅长学习序列，但它们的构建基础往往与真实的大脑运作方式并不匹配。教导这些网络的一种标准方法涉及一种数学技巧，该技巧要求系统向后回溯时间，存储每一个过去的时刻，并将误差信号反向传递。虽然这对计算机非常有效，但对于神经元来说，这被认为是生物学上不可能实现的，因为神经元只能对到达其即时位置的信号做出反应，无法获取来自遥远过去的信息。这种高效人工智能与符合生物学逻辑的系统之间的差距留下了一个悬而未决的重要问题：大脑究竟是如何仅利用局部、生物性的规则来学习复杂的时序依赖关系的？
牛津大学的一个研究小组通过探索一种称为“时间预测编码”（temporal predictive coding）的框架，在回答这一问题方面迈出了重要一步。这种方法表明，大脑不需要向后回溯来学习；相反，它不断生成关于接下来会发生什么的预测，并根据这些预测与现实之间的差异来更新其内部模型。研究人员 Julian Ng-Kee-Kwong、Mufeng Tang、Thomas Akam 和 Rafal Bogacz 调查了这种局部学习方法是否能够处理通常保留给更强大、且不符合生物学逻辑的算法的复杂时序任务。他们发现，通过完善这种预测编码框架，他们可以创建出能够学习记忆上下文、解决涉及时间延迟的复杂谜题，并在保持对干扰具有鲁棒性的网络，而这一切都只需遵循真实神经元所遵循的简单、局部规则。
他们调查的核心在于将这种特定版本的预测编码系统与一种标准的、截断版的向后学习算法进行对比测试。在标准的向后法中，计算机计算的是序列末端的错误是由仅仅一个步骤前的事件所导致的。研究人员展示了他们的预测编码系统产生的数学更新与这种单步向后法非常相似，但在信息处理方式上有一个关键区别。在预测编码模型中，系统不仅仅是向前传递信息；它通过将预测与其接收到的实际感官输入进行比较，在每一时刻积极地优化其内部状态。这创造了一种微妙但强大的信息流，从当前的观察结果回流到网络的记忆中，使其能够实时纠正航向。当他们在追踪移动粒子位置的简单任务上测试时，预测编码模型轻松学会了该任务，而使用单步向后法的标准网络则失败了，因为它无法在没有这种额外的、即时的反馈的情况下，随时间整合速度信息。
在这一基础上，团队进一步探讨了这些网络是否能够处理更复杂的序列，即当前时刻取决于几个步骤之前的事件，这类问题被称为非马尔可夫（non-Markovian）问题。在这种场景下，仅了解即时过去是不够的；系统必须在脑中保持更长的上下文。研究人员证明，预测编码网络可以利用其内部动力学来充当“储备池”（reservoir）——一个高维的状态空间，其中过去的输入会持续存在并影响现在。与保持内部连接固定的标准储备池计算机不同，该系统可以通过局部学习来塑造自己的内部路径。通过根据局部误差调整神经元之间的连接，网络重新组织了其内部状态，使得不同的模式变得更容易区分。这使得系统能够学习需要记住数个步骤块的零和一交替序列，而当模式变得更加复杂时，固定的储备池对此类任务表现挣扎。
为了应对更困难的时序挑战，研究人员引入了一种层级结构，将多个这样的预测网络层层堆叠在一起。在这种架构中，每一层都接收来自下一层的信息，但带有轻微的时间延迟，从而允许网络的不同层级在不同的时间尺度上运行。这种架构在解决需要结合相隔甚远之时刻信息的任务时表现得异常出色，例如“奇偶校验”（parity check），即系统必须统计长序列中特定信号的总数，以确定计数是奇数还是偶数。当序列过长或时间间隔过宽时，单层网络会失败，而多层系统则能成功。此外，这种层级设计提供了一道屏蔽干扰的屏障。当研究人员在输入流中引入强烈的干扰信号时，单层网络丢失了原始线索的记忆，但层级网络保留了它，能够选择性地整合相关信息并过滤掉噪声。
最后，团队解决了跨越极长延迟进行学习的挑战，即奖励或误差信号在初始事件发生很久之后才到达。在生物学中，这通常由一种称为“资格迹”（eligibility trace）的机制来处理，它就像是在突触上贴了一个临时标签，将其标记为有资格发生改变，直到全局信号到达以确认学习。研究人员将这一概念融入其预测编码框架，创建了一个能够保持衰减式过去活动记忆的系统。这使得网络能够将发生在几秒钟前的事件与很久之后到达的学习信号联系起来。在涉及延迟反应任务的测试中（模型必须记住在试验开始时呈现的线索，并在可变的延迟后重现该线索），配备了资格迹的系统成功了，而标准版本则失败了。它能够跨越多达十个时间步长的间隙，即使在延迟之后也能成功重现原始线索，证明了局部塑性规则确实可以支持长时间跨度的学习。
研究结果表明，大脑可能不需要复杂的、非局部的向后误差传播机制来从时间中学习。相反，受预测动力学、层级结构和资格迹支配的相对简单的局部规则网络，可以支持复杂的时序学习。虽然这些模型仍是模拟实验，尚不能完全解释人类大脑，但它们为用于人工智能的标准算法提供了一个引人注目的替代方案。它们表明，生物学上的合理性并不意味着必须牺牲学习复杂模式的能力。通过将预测编码与这些额外机制相结合，研究人员揭示了一条路径，用以理解生物系统是如何在不需要“向后看”的情况下，通过解决困难的“时间信用分配”（temporal credit assignment）问题来从过去中学习的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。