在人工智能领域，存在一种专门用于处理时间和记忆的计算机架构，其功能类似于人类大脑回忆事件序列的方式。这些被称为“储备池计算”（reservoir computers）的系统，依赖于一个由相互连接的节点组成的庞大网络，信息在其中流动并进行处理。几十年来，科学家们一直使用平滑且可预测的数学函数来构建这些网络，因为他们认为任何数学上的尖锐边缘或突然跳跃都会导致系统变得不稳定和混乱。这种信念形成了一套严格的规则手册：为了保持机器正常运转，其内部数学必须是温和且连续的。然而，这一规则限制了这些机器能够解决的问题类型，特别是在国防或灾难响应等高风险领域，在这些领域中，系统必须即使在极端且不可预测的条件下也能保持稳健。问题在于：数学的平滑性对于稳定性真的是必要的吗？还是说这仅仅是我们习惯成自然的一种观念？
一组研究人员决定通过蓄意打破规则来挑战这一长期存在的假设。他们构建了数千个此类记忆网络，并将标准的平滑数学函数替换为具有锯齿状、混沌甚至分形性质的函数。这些新函数包括那些虽然连续但在任何地方都没有斜率的形状，以及其他在数值之间发生突然跳跃的函数。其目标是观察这些“不规则”函数是否会导致网络崩溃，或者它们是否能出人意料地比传统的平滑函数表现得更好。研究人员进行了大规模模拟，测试了超过三万六千种不同的网络配置，以观察它们在受到极限压力时的表现。他们寻找的是一种特定的稳定性，即网络的过去记忆能够干净利落地消退，使系统准备好处理新信息，而不会陷入循环或遗忘其初始状态。
结果颠覆了传统观念。研究发现，其中几种非平滑、不规则的函数不仅生存了下来，而且表现出色。事实上，测试过的最具有锯齿感的函数中的一些，使得网络能够在传统平滑网络会立即失效的复杂度水平下运行。其中一个被称为“康托尔函数”（Cantor function）的特定函数——其外观看起来像是一个拥有无限多阶梯但几乎处处平坦的阶梯——被证明具有极强的韧性。即使当内部连接强度达到通常认为安全的十倍时，它仍能保持网络的稳定。虽然标准函数在连接过强时通常会崩溃，但这种分形函数却维持了其记忆和稳定性，在其他系统会陷入混乱的区间内依然高效运作。
除了生存能力之外，这些不规则函数通常工作得更快。研究人员观察到，使用康托尔函数和一种包裹在平滑曲线中的特定混沌函数的网络，达到稳定状态的速度比使用标准平滑函数的网络快了两倍以上。这种提速意味着计算机需要更少的步骤来进入一种模式，从而使其在实时任务中更加高效。该研究表明，这种稳定性的秘密不在于曲线的平滑度，而在于函数如何压缩信息。那些即使是以锯齿状方式运作，但能将数据温柔挤压进较小范围内的函数，保持了系统的稳定。相比之下，那些散射数据或进行不可预测跳跃的函数，无论其数值范围如何受限，都会导致系统失效。
研究人员还发现，当这些函数被强制仅输出少数几个特定数值（例如数字开关）时，随着规模的扩大，系统最终会失效。他们发现了一个临界点，即当网络节点的数量过多，以至于有限的输出值无法处理时，记忆就会发生破碎。然而，当输出允许是连续的，即使函数本身是分形的且处处不平滑时，系统即使在极大规模下也能保持稳定。这表明，函数的几何特性比其平滑度更为重要。研究结论指出，在这些网络中对平滑、温和数学的严格要求是不必要的。通过使用正确类型的、具有压缩性的不规则函数，工程师可以构建出不仅在极端条件下更稳定，而且比以往认为的更快、更强大的储备池计算机。
技术摘要：回声状态网络中的分形与混沌激活函数
问题陈述
当代储备池计算（RC）和回声状态网络（ESNs）主要依赖全局 Lipschitz 连续且平滑的激活函数（如 tanh、ReLU），以确保稳定性和分析的可处理性。这种限制源于对回声状态属性（ESP）的追求，即要求网络的内部状态必须收敛到由输入历史唯一确定的轨迹，而不受初始条件的影响。然而，这种对平滑函数的依赖限制了对复杂系统理论中潜在有利的非规则动力学的探索。此外，在国防、灾难响应和药物建模等实际应用中，通常需要在极端条件下稳健运行，而标准的谱半径启发式法则（ρ<1）在这种情况下可能并不充分。在引入非常规构建的函数（如混沌、随机或分形函数）时，关于“混沌边缘”的理论预测与实际鲁棒性需求之间存在着差距。
研究方法
作者对 ESNs 中的非平滑激活函数进行了系统的实证研究，评估了 36,610 种储备池配置，涵盖不同的网络规模（N∈{1,…,2000}）、谱半径（ρ）和泄漏率（a）。
研究的激活函数类别：
研究将非规则激活分为三类：
- 分形（Fractal）： Cantor 函数（魔鬼阶梯）、Cantor 集（指示函数）、Weierstrass 函数，以及基于 Mandelbrot 的函数（包括离散/量化版本和连续/插值版本）。
- 混沌（Chaotic）： Logistic 映射变体（经 sigmoid 包裹和 modulo 包裹）。
- 随机（Stochastic）： 由布朗运动驱动的激活（作为负对照）。
实验设计：
- 收敛性测试： 使用两个具有不同初始条件的轨迹，在相同的输入序列（高斯、均匀分布和稀疏输入）下进行驱动。ESP 的达标定义为状态距离 ∣∣x(t)−x′(t)∣∣ 在 200 个时间步内降至阈值（0.1）以下。
- 参数扫描： 通过对 ρ（高达 100）和 a 进行广泛扫描，绘制稳定性相图。
- 理论框架： 作者为量化激活函数引入了退化回声状态属性（d-ESP），将其定义为离散符号序列最终达成一致，而非连续值的趋同。他们还提出了一个拥挤率（Crowding Ratio）（Q=N/k，其中 k 是量化层级数）来预测离散激活的失效阈值。
- 分析： 研究利用经验 Lipschitz 常数估计、特征值分析以验证谱半径，以及关于有界性和输入到状态稳定性（ISS）的理论证明。
核心贡献
- 非规则激活函数的形式化： 本文形式化了非规则激活类（分形、混沌、随机），并规定了适用于储备池计算的实值构建方式。
- 理论扩展（d-ESP）： 引入了针对量化函数的退化 ESP 概念，证明了在漏泄更新下 d-ESP 蕴含传统的 ESP。同时，提出了一个关键的拥挤率（Q∗），用于预测量化导致的失效。
- 相图： 作者通过实证绘制了 ESP 合规性随储备池规模、谱半径和泄漏率变化的图表，揭示了预处理拓扑（单调/压缩型 vs. 发散/不连续型）是决定稳定性的比连续性更关键的因素。
- 诊断工具： 研究采用了有限时间衰减率估计和收敛度量，专门用于避免先前文献中识别出的零概率质量病态问题。
主要结果
- 特定非平滑函数的卓越性能： Cantor 函数（处处连续，几乎处处导数为零）在谱半径高达 ρ≈10 时仍能保持 ESP 一致的行为，这比典型平滑函数的界限高出一个数量级。在 N=2000 时，其收敛速度比 tanh 和 ReLU 快 2.6 倍（中位数 6.1 个时间步，而后者中位数约为 15.6 个时间步）。
- 预处理拓扑决定稳定性：
- 压缩/单调型： 经 sigmoid 包裹的 Logistic 映射（单调、压缩型）在 ρ≈5 时仍能保持稳定。Cantor 函数（单调型）在 ρ≈10 时仍保持稳定。
- 发散/不连续型： 经 modulo 包裹的 Logistic 映射和 Cantor 集（不连续型）表现出剧烈的相变，并在较低的尺度或谱半径下失效。
- 量化极限： 离散版本的 Mandelbrot 函数在小规模下能保持稳定性，但在 N=2000（此时拥挤率 Q≈95）时失效，收敛至伪吸引子而非唯一轨迹。相比之下，连续（平滑插值）版本的 Mandelbrot 函数在所有测试规模下均保持 100% 的稳定性。
- 失效模式：
- 随机性： 布朗运动激活未能满足 ESP，证实了内部随机性会破坏褪色记忆。
- 高局部变化： 尽管 Weierstrass 函数是连续且有界的，但由于极高的局部 Lipschitz 常数（Lmax>545），它无法维持 ESP，从而破坏了收缩机制。
- 有界性 vs. ESP： 虽然有界性可以防止状态爆炸（命题 2.3），但不足以保证 ESP。稳定性取决于激活函数的有效增益、单调性以及是否存在发散性不连续点之间的相互作用。
意义与主张
本文声称挑战了“平滑性是稳定储备池计算前提”的传统观点。作者认为：
- 非平滑动力学具有优势： 特定的分形和混沌函数可以加速收敛，并在传统平滑函数失效的极端谱半径下保持稳定。
- 单调性优于平滑性： 对于有界激活函数，单调性似乎是维持褪色记忆属性和 ESP 比可微性或全局 Lipschitz 连续性更关键的性质。
- 重构“混沌边缘”： 理论上的“混沌边缘”预测与实际性能之间的冲突，可能源于以往研究过度使用平滑激活函数。结果表明，激活函数的几何特性（压缩型 vs. 发散型）是驱动稳定性的主要因素。
- 实际影响： 研究结果建议将设计理念从“平滑 vs. 混沌”转向“压缩型 vs. 发散型预处理”。作者指出，虽然这些非平滑函数在稳定性和速度方面展现出潜力，但其在标准计算基准和硬件储备池上的效用仍有待未来的研究。
文章总结道，尽管某些分形函数表现卓越的机制在很大程度上仍仅能通过有效增益分析得到部分解释，但其结果从根本上扩展了我们对激活函数几何特性如何影响储备池动力学的理解。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。