💻 computer science

Unifying Dynamical Systems and Graph Theory to Mechanistically Understand Computation in Neural Networks

本文提出将循环神经网络建模为图以分析多跳路径，从而揭示计算在时间上的路由机制，并由此发展出残差循环神经网络，其通过约束这些功能路径以诱导与任务一致的时间稀疏性，从而优于标准的 L1 正则化方法。

原作者： Jatin Sharma, Danyal Akarca, Dan F. M Goodman

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Jatin Sharma, Danyal Akarca, Dan F. M Goodman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对该论文的解读。

核心思想：重要的不只是道路，而是旅程

想象一个神经网络（一种计算机大脑）是一座拥有数百万条道路连接不同街区的大城市。

长期以来，科学家们试图通过查看一张静态地图来理解这座城市如何运作。他们观察道路（即连接或“权重”），并假设只要一条道路存在，信息就会沿此传递。他们认为：“如果从面包店到公园有一条路，人们就是靠这条路到达那里的。”

问题所在： 本文指出，仅看地图具有误导性。仅仅因为一条路存在，并不意味着它是唯一的途径，甚至不是主要的途径。在真实城市中，你可能走一条直达路，也可能走一条经过三个其他街区的风景路线到达同一地点。

作者表示：要理解计算机大脑实际如何“思考”，我们需要关注旅程（多跳路径），而不仅仅是道路。

“跳”的概念：步行与瞬移

在本文中，作者将网络视为一种“跳房子”游戏。

1 跳： 直接从点 A 到点 B。
2 跳： 从 A 到 B，再从 B 到 C。
3 跳： A → B → C → D。

论文表明，在这些计算机大脑中，信息往往不走最短路径，而是经历一段旅程。有时它会绕圈，有时它会等待几秒钟（时间步）再继续移动。

类比： 想象你要给朋友发一条消息。

旧观点（权重）： 你查看电话簿。“哦，我有你的号码。我可以直接打给你。”
新观点（多跳）： 你意识到，要把消息传给朋友，你实际上得先打给你妈妈，她打给你爸爸，再由他打给你的朋友。电话簿里的“直连线路”并非全貌。消息实际采取的路径才是真正传递信息的关键。

发现：“预解式”地图

作者创造了一种新工具，称为预解式（Resolvent）。把它想象成一张“超级地图”，它不仅显示道路，还显示一条信息可能采取的所有可能旅程，并根据其发生的可能性进行加权。

他们在训练用于数学任务（如求平均值、减法或乘法）的网络上测试了这一点。

结果： 当他们查看原始的“道路”（权重）时，地图显得杂乱无章且随机，与数学任务完全不匹配。
修正： 当他们查看“超级地图”（预解式）时，模式突然显现！这张地图完美地展示了网络是如何组织信息来解决数学问题的。

简单结论： 计算机大脑将其逻辑隐藏在数据的旅程中，而非静态连接里。

“时间”转折：消息何时到达？

论文还考察了信息移动的时间。他们给网络布置了一项任务，信号以波浪形式输入：“信号、噪声、信号、噪声”。

他们发现，网络利用不同的“跳长”来处理不同的时间：

偶数跳（2、4、6 步）用于承载实际的“信号”。
奇数跳（3、5 步）用于承载“噪声”或等待时间。

这就像火车站：偶数分钟到达的火车搭载乘客，而奇数分钟到达的火车只是空载的维护列车。网络学会了根据数据经过的“跳数”（站点数），将“好”信息路由到特定轨道，将“坏”信息路由到其他轨道。

解决方案：R-RNNs（“智能”正则化器）

在机器学习中，我们通常试图让网络更简单（更稀疏），以免它们陷入混乱。标准做法是L1 正则化。

L1 正则化： “切断最长的道路。”它试图让单个连接尽可能小。
缺陷： 作者发现，切断小道路并不一定能阻止“旅程”。你可以拥有微小的道路，却依然允许漫长、复杂且令人困惑的旅程存在。

新方法（R-RNNs）：
作者没有切断道路，而是引入了R-RNNs。这种方法查看“超级地图”（旅程）并指出：“切断那些不需要的旅程。”

结果： R-RNNs 创建的网络在完成任务方面表现更好。它们不仅道路更少，而且令人困惑的旅程也更少。
优势： 即使研究人员试图让网络极度简单（强正则化），R-RNNs 依然保持良好运作，而标准网络则崩溃了。R-RNNs 理解到，“简单”意味着“清晰的路径”，而不仅仅是“微小的道路”。

一句话总结

本文证明，要理解计算机大脑如何运作，你不应该只查看地图上的连接；你需要观察数据在多步旅程中的流动，如果你想让大脑更聪明、更简单，你应该修剪令人困惑的旅程，而不仅仅是微小的道路。

技术摘要：统一动力系统与图论以机制性地理解神经网络中的计算

问题陈述

神经科学与机器学习的一个核心挑战在于理解计算如何从神经网络的连接性中涌现。尽管结构连接（突触或加权连接）常被认为对功能具有约束作用，但实证证据表明，结构连接与功能连接经常发生偏离。仅基于直接、单步连接（单跳交互）分析网络的标准方法，无法捕捉循环神经网络（RNN）中信息的时序演化。在 RNN 中，计算由随时间展开的多跳路径介导。因此，传统的网络结构分析方法（例如直接检查权重矩阵）或正则化方法（例如对单个权重施加 L1 惩罚）可能无法与网络的实际功能机制相一致。本文提出，要真正理解和控制计算，必须超越单步交互，转而分析跨多条路径的聚合信号传播。

方法论

理论框架

作者将 RNN 建模为有向图，其中权重矩阵充当邻接矩阵。他们利用图论度量来聚合不同路径长度（跳数）的信号传播：

图预解式（Graph Resolvent）： 为了捕捉多跳路径的累积效应，作者采用了预解式，定义为 $R = (I - \gamma A)^{-1} = \sum_{k=0}^{\infty} (\gamma A)^k$ ，其中 $A$ 是邻接矩阵，且 $\gamma < 1/\lambda_{max}$ 以确保收敛。这对应于一种“泄漏级联”动态。
截断预解式（Truncated Resolvent）： 由于 RNN 在有限的序列长度 $L$ 上运行，作者使用截断预解式，以避免将功能影响归因于超过任务视界的路径。提取输入到输出的影响图 $R_{io}$ ，以表示输入节点与输出节点之间所有路径的带权有符号和。
逐跳分解（Hop-wise Decomposition）： 作者将预解式分解为各个跳数长度（ $W^k$ ），以分析信息如何在时间上被路由。

实验设置

任务： RNN 在一组需要特定输入 - 输出路由结构的模块化时间积分任务上进行了训练：
1. 模块平均（Module Averaging）： 聚合模块内的噪声特征。
2. 层级减法（Hierarchical Subtraction）： 通过连续减法恢复模块均值。
3. 层级加法（Hierarchical Addition）： 对模块均值求和。
4. 乘法（Multiplication）： 模块均值的非线性组合（通过任务雅可比矩阵定义）。
5. 振荡开 - 关信号（Oscillating On-Off Signal）： 一项探测时序路由的任务，其中信号与噪声在时间上交替出现。
架构： 1 层 RNN，输入、隐藏和输出维度均设置为特征数量（ $i=h=o=16$ ）。
正则化比较：
- L1-RNN： 标准正则化，惩罚单个权重的幅度（ $L_{sparsity} = \sum |W|$ ）。
- 预解式-RNN（R-RNN）： 一种新颖的正则化方法，惩罚多跳输入 - 输出影响图的幅度（ $L_{sparsity} = \sum |R_{io}|$ ）。该公式确保网络因其通信路径的复杂性而受到惩罚，而不仅仅是因为单个连接的强度。

关键结果

1. 通过多跳度量恢复输入 - 输出结构

研究表明，原始权重矩阵（ $W_{hh}$ ）无法恢复学习到的输入 - 输出结构，即使网络具有足够的容量。相比之下，基于预解式的度量（ $R_{io}$ ）成功重建了平均、减法、加法和乘法任务中预期的模块化路由结构。

相关性： $R_{io}$ 与最优解析解显示出高度相关性（例如，平均和减法任务的皮尔逊相关系数约为 0.99），而原始隐藏权重（ $W_{hh}$ ）的相关性可忽略不计（例如，约为 0.24）。
机制： 这表明网络的功能逻辑编码在聚合的多跳路径中，而非静态的单步权重中。

2. 逐跳分解揭示的时序路由

通过将预解式按跳数（ $k$ ）分解，作者揭示了网络如何在时间上路由信息。

在振荡开 - 关信号任务中，偶数跳（ $k=2, 4, 6$ ）对应于承载信号的时间步，重建了模块化结构。
奇数跳对应于噪声步，未显示出与任务相关的结构。
这证实了跳数直接编码了信息传播的时间延迟，这是标准权重分析无法察觉的特征。

3. R-RNN 的性能与鲁棒性

在比较正则化策略时：

稀疏性对齐： R-RNN 实现了比 L1-RNN 更低的测试均方误差（MSE）。虽然 L1 正则化降低了权重幅度，但并不一定降低多跳路径的复杂性。R-RNN 通过惩罚 $R_{io}$ ，诱导出了与任务要求相匹配的时序结构化稀疏性（例如，抑制跨时间的冗余路径）。
鲁棒性： 在强正则化（高 $\beta$ ）下，L1-RNN 的性能迅速下降。R-RNN 即使在高水平预解式稀疏性下仍保持低 MSE，表明它们在修剪非功能通信路径的同时，保留了任务相关的计算。
幅度与结构： R-RNN 通常表现出比 L1-RNN 更大的原始权重幅度，但预解式幅度显著更低，这证明了预解式捕捉到了 L1 惩罚所遗漏的通信结构差异。

意义与主张

本文声称提供了一个统一的框架，通过图论和动力系统的视角，将神经网络中的结构、动力学和功能联系起来。

重构计算： 作者认为，循环网络中的计算应被更好地理解为多跳通信过程，而非单个连接的集合。这一视角通过表明功能源于路径的累积，解决了结构连接与功能连接之间的分歧。
新的正则化范式： R-RNN 的引入表明，稀疏性应定义在功能路径上，而非单个参数上。这种方法产生的网络比使用标准 L1 正则化训练的网络更具鲁棒性，且与任务结构更一致。
可解释性： 预解式和逐跳分解提供了一种与输入无关的方法来表征网络的“路由能力”。这提供了一种基于信息如何在系统中流动（独立于特定的激活模式或输入刺激）来描述网络计算的词汇。
生物与人工相关性： 研究结果表明，生物网络可能优化的是高效的通信路径，而非最小的突触强度。该框架为理解结构基序（模块化、层级性）如何在生物和人工系统中转化为功能模块化提供了潜在的桥梁。

作者总结道，他们的研究结果确定了多跳通信是连接结构与功能的关键原则，并提出未来对神经网络的分析和正则化应考虑到这些时空路径。