Divisive Normalization Shapes Low-Rank Slow Manifolds for Continuous Working Memory
本文提出了循环分裂归一化网络（RDNN），这是一种受生物启发而设计的模型，它利用分裂归一化来克服经典吸引子网络的脆弱性以及标准循环神经网络（RNN）的离散化失效问题，从而通过基于活动的梯度缩放，实现对用于工作记忆的连续、低秩慢流形的鲁棒学习。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
想象一下你的大脑是一个繁忙的城市，而思想就像是在道路上行驶的汽车。有时，你需要让一辆车在特定的路线上平稳行驶而不停顿，即使交通灯变换或狂风吹袭也是如此。这种保持连续思维的能力——比如记住你面对的方向或正在数的一个数字——被称为“工作记忆”。几十年来，科学家们一直试图构建能够模拟这种技能的计算机模型。旧的模型就像僵硬的火车轨道：如果你试图让它们承载一个连续变量，它们就会断裂成一系列不连续的停靠点，迫使火车从一个车站跳跃到下一个车站，而不是平滑地滑行。其他模型则像精致的玻璃雕塑；它们可以保持一条连续的路径，但哪怕是最轻微的晃动也会使其破碎。核心问题在于：真实的大脑是如何保持这些思想流畅且稳定的流动，我们能否构建一个同样强大却不会损坏的计算机模型？
本文介绍了一种名为“递归除性归一化网络”（Recurrent Divisive Normalization Network, RDNN）的新型计算机模型，用以解决这个谜题。作者从生物学中发现的一种规则——“除性归一化”（divisive normalization）中汲取了灵感。把这想象成一个智能音量旋钮，它不仅仅是调大或调小声音，而是根据整个房间的响度来调整音量。如果房间里的每个人都开始大声叫喊，旋钮会自动降低每个人的增益，以免有人盖过其他人，从而保持对话的平衡。研究人员在他们的网络中构建了这个“音量旋钮”的数字版本。他们发现，这种简单的机制起到了神奇的稳定器作用。RDNN 没有将记忆的平滑路径破碎成锯齿状、不连续的点，而是让记忆流转在一条“慢流形”（slow manifold）上——这是一条平滑、连续的高速公路，思想可以在上面行驶而不会陷入停滞或偏离航道。
团队在需要保持连续变量的任务上测试了他们的模型，例如追踪旋转的轮子或在不看的情况下记住一个方向。虽然标准的计算机模型（如 GRU 和 LSTM）在学习这些平滑路径方面失败了，通常会将记忆破碎成一系列冻结的快照，但 RDNN 成功了。它学会了维持一个稳定的、连续的表征，能够处理变化的输入而不至于崩溃。研究人员发现，这个“音量旋钮”在幕后做了一些令人惊讶的事情：它自然地迫使网络压缩自身的复杂度。尽管网络有很多部分，但数学证明它实际上只利用了少数几个关键维度来进行工作，这使其变得高效且鲁棒。
至关重要的一点是，论文认为这种特定类型的“音量控制”（除性控制）对于处理变化的输入在数学上是必不可少的。作者测试了另一种控制方式，称为“减法抑制”（subtractive inhibition），这就像仅仅减去固定量的噪声。他们发现，虽然减法控制可以保持静态记忆（例如在没有任何变化时记住一个方向），但在输入开始移动时，它的表现却非常糟糕。平滑的路径破碎成了一堆混乱的停靠点。这表明，为了应对动态变化的现实世界，大脑需要的是除性归一化的乘性、缩放式的力量，而不仅仅是简单的减法。
在模拟中，RDNN 展示了它能以高保真度学习这些平滑路径，并保持较低的“有效秩”（effective rank，衡量网络实际使用的维度的指标），即使网络规模变大，该数值也保持在较小水平。作者指出，这种机制不仅是生物学上的偶然，更是一种关键的计算技巧，它允许实现高保真的、连续的工作记忆。然而，他们也提到，虽然该模型非常擅长短期、动态的追踪，但随着时间的推移，它最终可能会发生漂移，而那些“破碎”的模型在长期锁定记忆方面可能反而表现更好。论文最后总结道，通过模仿这种特定的生物规则，我们可以构建出更擅长进行人类日常所进行的、那种流畅且连续思考的人工大脑。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。