技术摘要：共振稀疏几何网络 (Resonant Sparse Geometry Networks, RSGN)

问题陈述

主流的 Transformer 架构依赖于稠密自注意力机制，导致计算复杂度相对于序列长度呈二次方增长（ $O(n^2)$ ）。这种缩放限制使得标准 Transformer 在处理长上下文应用（如文档级理解）时计算成本过高，且在资源受限的环境中效率低下。虽然现有的高效注意力变体（如 Sparse Transformers, Linformer）降低了复杂度，但它们通常采用固定的稀疏模式或静态投影，无法复制生物神经系统中观察到的输入依赖型路由（input-dependent routing）。此外，标准的深度学习模型缺乏人类大脑所具有的结构可塑性和极高的激活稀疏性（仅 1-2% 的神经元处于活跃状态），而大脑的运行具有卓越的能量效率。

方法论

作者提出了共振稀疏几何网络 (RSGN)，这是一种受脑启发（brain-inspired）的架构，集成了四个关键的生物学原则：稀疏激活、输入依赖型路由、通过赫布学习（Hebbian learning）实现的自组织结构，以及嵌入在物理几何中的层次化组织。

1. 双曲空间嵌入 (Hyperbolic Spatial Embedding)

RSGN 将 $N$ 个计算节点嵌入到一个学习到的 $d$ 维双曲空间（ $H_d$ ）中，具体使用的是庞加莱球模型（Poincaré ball model）。

几何特性： 双曲空间中指数级的体积增长使得树状层次结构能够以低失真度进行嵌入。
连通性： 节点之间的连接强度（ $w_{ij}$ ）随测地距离呈指数级衰减。这自然地强制执行了局部性和稀疏性，而无需显式的剪枝机制。
层次结构： 靠近原点的节点代表抽象概念（根节点），而靠近边界的节点代表具体实例（叶节点），从而促进了高效的信息路由。

2. 输入依赖型点火与动力学 (Input-Dependent Ignition and Dynamics)

网络针对每个输入通过一个两阶段过程运行：

点火 (Ignition)： 输入标记被映射到双曲嵌入空间中的“火花点”。这仅激活附近的节点，从而产生稀疏的初始激活模式。
共振传播 (Resonant Propagation)： 激活通过网络进行迭代传播（ $K$ $K$ 步）。其动力学包括：
- 信号聚合： 活跃节点从邻居处聚合信号。
- 软阈值化 (Soft Thresholding)： 一个可微的软阈值函数（ $\sigma((x-\theta)/T)$ ）决定节点激活状态，从而允许基于梯度的训练。
- 局部抑制： 空间邻域内的除法归一化（divisive normalization）强化了“胜者通吃更多”（winner-take-more）的竞争机制，防止激活爆炸并促进稀疏分布式表示。

3. 双时间尺度学习系统 (Two-Timescale Learning System)

RSGN 将学习分为快速和慢速两个时间尺度，模拟了生物学中神经动力学与突触可塑性之间的区别：

快速学习（梯度下降）： 在前向传播的时间尺度上优化任务性能。它通过反向传播更新输入嵌入函数、变换矩阵、输出投影和亲和因子。
慢速学习（赫布结构可塑性）： 在训练批次期间调整网络的拓扑结构。
- 亲和力更新： 共激活的节点会增强它们的连接亲和力（ $\Delta a_{ij} \propto \bar{\alpha}_i \bar{\alpha}_j R$ ），并受全局奖励信号（负损失）的调节。
- 阈值自适应： 阈值进行稳态调节，以维持目标稀疏水平。
- 剪枝与萌发： 弱连接会被定期删除，而高度相关但尚未连接的节点之间会形成新的连接。

核心贡献

数学框架： 为基于双曲几何的空间嵌入神经计算提供了一套完整的公式化描述，定义了基于距离的连通性、软阈值动力学和局部抑制。
可微松弛 (Differentiable Relaxation)： 一种使具有动态、稀疏结构的网络能够进行基于梯度训练的方案，架起了离散生物式计算与连续优化之间的桥梁。
混合学习规则： 将用于快速权重更新的反向传播与用于慢速拓扑自适应的赫布规则相结合，为端到端的结构学习提供了一种具有生物合理性的替代方案。
理论与实验验证： 证明了其具有亚二次方的计算复杂度（ $O(n \cdot k)$ ，其中 $k \ll n$ ），并通过实验展示了在大幅减少参数量的情况下仍具有竞争力的性能。

实验结果

作者在旨在测试层次特征学习和长程依赖捕获能力的合成基准测试上评估了 RSGN。

层次分类（20 类）：
- RSGN 使用 41,672 个参数 实现了 23.8% 的准确率。
- 标准 Transformer 实现了 30.1% 的准确率，但需要 403,348 个参数（约 10 倍）。
- RSGN 显著优于固定稀疏性的 Sparse Transformer (15.9%) 和 MLP (16.0%)，证明了输入依赖型路由的优势。
长程依赖（序列长度 128）：
- RSGN 使用 40,382 个参数 实现了 96.5% 的准确率。
- Transformer 和 LSTM 达到了 100% 的准确率，但分别需要大约 15 倍的参数量（600,330 和 563,722）。
消融研究： 证实了赫布学习在提高稳定性与收敛性方面提供了持续的改进。该架构对超参数变化表现出鲁棒性，其性能在不同的节点数量和传播步数下保持稳定。

意义与主张

论文指出，RSGN 为更高效且具有生物合理性的神经架构提供了一个有前景的方向。通过将激活路由（快）与结构自适应（慢）解耦，并利用双曲几何进行层次化组织，RSGN 证明了：

参数效率： 仅需比标准 Transformer 少一个数量级的参数即可实现高性能。
可扩展性： 该架构相对于活跃节点数实现了线性或亚二次方缩放（ $O(n \cdot k)$ ），避免了稠密注意力的二次方瓶颈。
生物合理性： 稀疏编码、输入依赖型路由和赫布可塑性的集成，将计算原理与观察到的生物机制相统一，表明未来的架构可能会超越固定的、稠密的计算图，转向自组织的、动态的结构。

作者承认了存在的局限性，包括在当前基准测试中与 Transformer 相比仍存在绝对准确率上的差距，以及将稀疏、动态计算映射到现有 GPU 硬件上的挑战。他们建议未来的工作应探索神经形态硬件实现，并在标准的 NLP 和视觉基准测试上扩展到十亿参数规模。