技术摘要：超越不动点：非对称 Hopfield 网络的超多项式容量

1. 问题陈述

经典的 Hopfield 网络以对称权重矩阵为特征，仅限于静态模式识别，因为其动力学被限制为收敛到稳定不动点（或在同步更新下收敛到周期为 2 的极限环）。虽然非对称连接允许更丰富的动力学，包括能够编码时间序列的极限环，但在经典同步非对称网络中实现长序列的高容量存储一直是一个重大挑战。

现有方法面临特定的局限性：

• 统计结果： 先前的工作（例如 Bastolla 和 Parisi，1997；Hwang 等人，2019）表明，随机非对称网络可以表现出极限环，但这些通常是统计现象，缺乏保证的检索鲁棒性，也无法对存储序列的数量进行构造性控制。
• 最大轨道构造： Muscinelli 等人（2017）展示了一种支持单个最大长度（$2^n$）极限环的构造，覆盖了整个状态空间。然而，这需要高度专门化、逐例设计的权重工程，且缺乏鲁棒性；如果动力学遍历整个状态空间，系统在受到噪声扰动后无法可靠地返回到特定的吸引子。
• 现代改进： 最近的“现代 Hopfield"网络（Krotov 和 Hopfield，2021；Ramsauer 等人，2021）通过引入非线性相互作用或连续状态实现了高容量。然而，这些方法偏离了经典的二值神经元模型和同步更新规则。

本文探讨的核心问题是：能否在经典同步非对称 Hopfield 框架内（二值神经元、同步更新、线性局部场）构建一个模型，使其能够编码超多项式数量的长时序序列，同时保持对噪声的鲁棒性，并且足够简单以符合生物合理性？

2. 方法论

作者提出了一种基于块循环架构的新颖构造。该方法不依赖于微调单个权重，而是依赖于粗略的架构模式。

2.1 网络架构

该网络由 $n$ 个二值神经元（$x \in \{-1, +1\}^n$）组成，通过多数规则同步更新：$x_i(t+1) = \text{sign}(\sum_j w_{ij} x_j(t))$。

• 块（Blocks）： 神经元被划分为大小为 $d$ 的不相交块。块内部没有连接。
• 块循环（Block Cycles）： 网络由多个不相交的“块循环”组成。长度为 $\ell$ 的块循环由 $\ell$ 个块（$S_0, S_1, \dots, S_{\ell-1}$）组成，其中块 $S_i$ 中的每个神经元都连接到块 $S_{i+1}$ 中的每个神经元（权重为 $+1$），形成一个有向环 $S_0 \to S_1 \to \dots \to S_{\ell-1} \to S_0$。
• 稠密与稀疏：
  • 稠密构造（BCA）： 相邻块之间完全连接（全对全）。
  • 稀疏构造（$h$-稀疏 BCA）： 块中的每个神经元从前一个块接收恰好 $h$ 条入边，这些边是均匀随机选择的（有放回），其中 $h$ 是大于等于 3 的奇数。
• 对抗鲁棒性： 该构造通过在每个块的一小部分神经元上添加对抗性入边进行了进一步测试。

2.2 理论工具

分析依赖于三个主要的数学支柱：

1. 组合数学： 计算非周期二值序列（项链）的数量，以确定不同极限环的数量。
2. 数论： 分析随机整数集合的最小公倍数（LCM）的增长，以界定吸引子的周期长度。
3. 意见动力学： 利用 gossip 模型中关于 $h$-多数共识的结果，证明噪声鲁棒性和收敛性，特别是在稀疏和对抗设置下。

2.3 动力学与吸引子

核心机制涉及为块内的所有神经元分配统一符号（单色状态）。如果沿循环的块符号序列是非周期的，系统将作为这些块状态的旋转环进行演化。网络的全局周期是各个块循环长度的最小公倍数。

3. 主要贡献与结果

3.1 超多项式容量与周期长度

作者证明存在一个具有 $n$ 个神经元的非对称 Hopfield 网络，支持：

• 吸引子数量： $\exp\left(\Omega\left(\frac{n}{(\log n)^2}\right)\right)$ 个不同的极限环吸引子。
• 周期长度： 每个吸引子的周期至少为 $\exp\left(\Omega\left(\frac{\sqrt{n}}{\log n}\right)\right)$。

这代表了在存储序列的数量及其长度方面均具有超多项式容量，是对经典模型中先前线性或常数长度界限的重大改进。

3.2 噪声鲁棒性

构造的极限环对随机噪声具有鲁棒性：

• 稠密情况： 即使每个神经元以概率 $p \le \frac{1}{2} - \Omega\left(\frac{1}{\sqrt{\log n}}\right)$ 被独立翻转，系统仍能恢复正确的极限环。
• 稀疏情况： 只要块大小 $d = \omega(\log n)$，鲁棒性可扩展至高达 $\frac{1}{2} - o(1)$ 的翻转概率。
• 机制： 由于块结构，只要块内大多数神经元保留其原始符号（在所述噪声水平下以高概率发生），该块在下一个同步更新中的输出将保持不变，从而纠正噪声。

3.3 生物合理性与结构松弛

本文证明了在增强生物真实性的条件下，结果依然成立：

• 稀疏性： 块之间的全对全连接可以被稀疏随机连接（$h$-稀疏，$h \ge 3$）取代，仅导致容量和周期长度的适度降低，同时保持超多项式缩放。
• 对抗扰动： 即使一小部分神经元（$O(\sqrt{d}/\log d)$）接收对抗性入边，系统仍保持鲁棒。在这种情况下，网络收敛到一个$(k, d)$-弱极限环，其中状态保持在原始循环的有界块最大汉明距离内。
• 全局收敛： 对于任意初始配置，网络在确定性地（稠密情况）或以高概率（稀疏情况）在正比于循环长度或 $O(\log d)$ 的轮数内收敛到极限环。

4. 意义与主张

本文声称证明了神经系统中鲁棒的序列表示不需要复杂的非线性、连续状态或微调的权重。相反，它可以通过经典二值 Hopfield 框架内的粗略架构模式（块循环拓扑）来实现。

• 理论突破： 这是首次在经典同步非对称 Hopfield 网络中证明存储序列的数量和长度均具有超多项式容量。
• 生物相关性： 对简单块结构和多数规则的依赖，结合对稀疏性和噪声的鲁棒性，暗示了生物系统中中枢模式发生器（CPGs）以及人工系统中鲁棒序列记忆的一种合理机制。
• 局限性： 作者指出，他们的结果是构造性的，依赖于指定的拓扑结构。他们没有提供从非结构化连接形成这些拓扑的局部学习规则。此外，这些保证特定于同步更新；将这些结果扩展到异步单神经元动力学仍然是一个未解决的问题。

这项工作融合了组合数学、数论和意见动力学，确立了非对称 Hopfield 网络的动力学库比先前认识的要大得多且更鲁棒，为生物和人工神经系统中的序列记忆提供了新的视角。