🤖 AI

FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences

本文介绍了 FRACTAL，这是一种新颖的状态空间模型，它将分数测度理论融入递归记忆更新中，以解决保留无界历史与检测短期变化之间的权衡问题，在长序列基准测试中相比 S5 等现有模型实现了更优越的性能。

原作者： Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图记住一个长篇故事。你面临一个棘手的问题：如果你试图同等程度地记住每一个细节，那么最近的词语就会被之前成千上万个词语所淹没。但如果你只关注最后几句话以捕捉即时的剧情转折，你就会完全忘记故事的开头。

长期以来，试图从长序列（如文本、股价或心跳）中学习的计算机模型不得不在这两个糟糕的选项之间做出选择。本文介绍了一种名为FRACTAL的新模型，它利用一种称为“分数微积分”的数学技巧解决了这一问题。

以下是使用日常类比对其工作原理的简要解析：

1. 问题：“记忆三难困境”

将记忆想象成一桶水。

旧模型 A（均匀型）： 它以稳定的速率注水。桶是满的，但顶部的水（最新的内容）被底部的水（旧内容）稀释了。你记住了所有内容，但最新的细节变得模糊。
旧模型 B（指数型）： 它注水，但桶底有个洞。旧水迅速漏出，因此新水保持新鲜明亮。但如果故事太长，桶底就空了，你会失去对开头的背景记忆。
旧模型 C（窗口型）： 它只保留最后几杯水。你对最近的过去有完美的清晰度，但对那之前发生的任何事都毫无记忆。

该论文认为，现实世界的数据（如金融市场或生物信号）需要三者兼备：你需要完整的历史，需要清晰地听到最新的细节，并且需要处理以不同速度发生的事件。

2. 解决方案：“分数”魔法

FRACTAL 引入了一种利用可调奇点来填充桶的新方法。

想象桶有一个特殊的形状，会根据你旋转的旋钮（称为奇点指数，或 $\alpha$ ）而改变。

形状： 桶不是直圆柱或圆锥，而是具有“重尾”。它能很好地保留旧水（历史），但桶的顶部形状像一个漏斗，将最新的水集中在表面。
旋钮：
- 如果你向一个方向旋转旋钮，桶就像标准记忆一样（同等地记住所有内容）。
- 如果你向另一个方向旋转，它就变成了“近期记忆”（专注于当下）。
- 魔法所在： FRACTAL 可以停留在两者之间的任何位置。它创造出一种“幂律”记忆，这意味着它足以记住遥远的过去以保持背景，同时给予非常近的过去巨大的提升，以免你错过突然的变化。

3. 架构：“频谱滤波器组”

该论文不仅仅使用一个桶，而是使用了一整个桶的管弦乐队（称为多尺度滤波器组）。

想象一个合唱团，每个歌手的嗓音都略有不同。
有些歌手被调谐以记住缓慢的长期趋势（如歌曲的整体氛围）。
其他歌手被调谐以捕捉快速、突然的音符（如鼓点或突然的喊声）。
FRACTAL 为其大脑的不同部分分配不同的“旋钮”。有些部分专注于漫长的历史，而另一些部分则聚焦于即时的当下。
随后，模型将这些声音混合在一起，以理解全貌。

4. 为何更优（结果）

作者在称为长程竞技场（Long Range Arena）的标准困难谜题集上测试了 FRACTAL。这些谜题要求计算机找出序列中相距甚远的事物之间的联系。

得分： FRACTAL 得分为87.11%，击败了得分为 87.04% 的先前最佳模型（S5）。
重大胜利： 在一项名为ListOps（涉及解决嵌套数学问题）的特定任务中，FRACTAL 得分为61.85%，击败了先前最佳的 61.10%。这项任务之所以困难，是因为你需要在处理句子末尾的数字时，记住句子开头的那个括号。FRACTAL 平衡“漫长历史”与“近期关注”的能力使其在此任务上表现更佳。

总结

FRACTAL 是一种新型计算机大脑，它不再强迫人们在“记住一切”和“记住当下”之间做出选择。通过使用一种称为分数微积分的数学工具，它创造了一种记忆，既能自然地保留遥远的过去，又能对当下时刻保持高度警觉。这就像拥有一个图书馆，其中的书籍经过精心编排，让你既能瞬间拿到最新的畅销书，又不会迷失在经典著作之中。

技术摘要：FRACTAL——基于分数阶递归架构的状态空间模型

1. 问题陈述

连续时间序列建模面临一个根本性张力：既要保留无界的历史上下文，又要同时检测高分辨率的突发短期变化。现有的状态空间模型（SSM），特别是那些依赖高阶多项式投影算子（HiPPO）框架的模型，受限于记忆度量的“三难困境”：

缩放勒让德（LegS）： 对历史赋予均匀权重，确保时间尺度不变性，但逐渐稀释了近期输入的影响。
平移拉盖尔（LagT）： 通过指数衰减优先考虑近期性，但施加了固定的特征时间尺度，牺牲了对时间扭曲信号和全局上下文的鲁棒性。
平移勒让德（LegT）： 通过滑动窗口提供高局部分辨率，但灾难性地丢弃了该固定视界之外的上下文。

没有任何现有度量能同时满足全历史保留、近期敏感性和尺度不变性。这一局限性阻碍了 SSM 在具有多尺度动力学的物理和生物领域的应用，例如金融波动、生理 $1/f$ 噪声和网络流量，这些领域表现出幂律衰减核，而非指数或均匀分布。

2. 方法论：分数阶 HiPPO 框架

本文提出了FRACTAL（用于长序列计算时间分析的分数阶递归架构），将分数阶微积分整合到 HiPPO 框架中，以解决记忆三难困境。

2.1 分数阶度量

核心理论创新是引入了由可调奇异指数 $\alpha \in [0, 1)$ 定义的分数阶度量 $\mu(t)(x)$ ：
$\mu(t)(x) = \frac{1-\alpha}{t^{1-\alpha}} (t-x)^{-\alpha} \mathbb{I}_{[0,t]}(x)$
该度量在均匀分布（LegS，其中 $\alpha=0$ ）与当前时刻的集中质量之间进行插值。它诱导了幂律加权 $(t-\tau)^{-\alpha}$ ，为长期保留创造了重尾，同时在当前时间步强制引入奇异性以放大局部敏感性。至关重要的是，这种幂律结构在时间膨胀下保持了尺度不变性，这与指数度量不同。

2.2 理论推导

正交基： 该度量的最优投影是使用雅可比多项式 $P_n^{(-\alpha, 0)}$ 推导得出的，它推广了标准 HiPPO-LegS 中使用的勒让德多项式。
状态空间动力学： 通过对投影系数应用无量纲变换和分部积分，作者推导出了一个线性时变（LTV）系统：
$\frac{d}{dt}x(t) = -\frac{1}{t} A(\alpha) x(t) + \frac{1}{t} B(\alpha) u(t)$
因子 $1/t$ 是尺度不变性的数学特征。
系统矩阵：
- 输入投影（ $B$ ）： 推导出了闭式解，其中二项式系数的衰减速度慢于 LegS，有效地放大了高频输入分量。
- 状态转移（ $A$ ）： 矩阵 $A(\alpha)$ 是下三角矩阵。一个关键的理论结果是，其对角元素对 $\alpha$ 是不变的（ $A_{nn} = n+1$ ），确保特征值固定在 $\{1, 2, \dots, N\}$ 。这保证了无论记忆集中分布如何，谱稳定性都能得到保障。

2.3 FRACTAL 架构

为了实现高效的并行训练，LTV 系统通过将 $1/t$ 因子替换为可学习的时间尺度参数 $\Delta$ ，被松弛为**线性时不变（LTI）**系统。

谱初始化： 与近似矩阵结构的先前工作不同，FRACTAL 对 $A(\alpha)$ 进行直接数值特征分解（它是严格可对角化的），以获得对角谱 $\Lambda$ 。
物理信息初始化： 输入投影向量 $\tilde{B}$ 使用从分数阶度量推导出的解析闭式解进行初始化，作为预条件器，使初始动力学与幂律记忆结构对齐。
多尺度滤波器组： 状态空间被划分为多个通道，每个通道分配一个不同的奇异指数 $\alpha_k$ $α_{k}$ 。这创建了一个“分数阶滤波器组”，其中：
- 低 $\alpha$ 通道充当低通滤波器（保留全局上下文）。
- 高 $\alpha$ 通道充当高通滤波器（放大局部瞬态）。
计算： 对角化系统通过并行前缀和（关联扫描）算法求解，保持 $O(N \log L)$ 的复杂度。

3. 主要贡献

理论方面： 将分数阶幂律度量引入 HiPPO 框架。这是首个在理论上满足“不可能三位一体”（全历史保留、近期敏感性和尺度不变性）的度量。作者提供了严格的推导，证明雅可比多项式构成了自然基，并且状态转移矩阵的特征值对奇异指数是不变的。
架构方面： 将该理论实例化为 FRACTAL 架构，其特征是拥有异构记忆参数的多通道配置（谱滤波器组），以及利用输入投影闭式解的解析初始化策略。
实证方面： 在长程竞技场（LRA）基准测试上进行了全面验证，表明分数阶度量在多尺度推理任务中产生了实证增益。

4. 实验结果

在**长程竞技场（LRA）**基准测试上的评估显示，FRACTAL 取得了 87.11% 的平均分数，在严格相同的单 GPU 条件下优于 S5 模型（87.04%）和 S4（86.09%）。

ListOps： FRACTAL 取得了 61.85%，超越了 S5（61.10%）和 S4（59.60%）。该任务需要解析嵌套的数学表达式，验证了模型同时跟踪全局括号结构（低 $\alpha$ ）和局部操作数（高 $\alpha$ ）的能力。
Path-X： 在长度为 16K 的序列上，FRACTAL 取得了 98.39%，有效匹配了 S5（98.62%），证实了分数阶奇异性并未损害极端视界上的梯度传播。
数值验证： 实验证实，随着 $\alpha$ 的增加，记忆密度从均匀分布转变为重尾分布，并且状态转移矩阵的对角元素保持不变，正如理论所预测的那样。

5. 意义与主张

本文声称，FRACTAL 弥合了 HiPPO 的最优投影理论与分数阶微积分的记忆特性之间的差距。通过推广 SSM 的测度论基础，该工作提供了一种严格的机制，用于在纯历史和纯近期性之间调整记忆核，而不会牺牲尺度不变性。

作者将 FRACTAL 定位为线性时不变（LTI） SSM 范式内的一项基础性创新。他们明确区分了他们的工作与“选择性”（时变）SSM（如 Mamba），认为将一项从头训练的基础 LTI 创新与经过高度优化的预训练选择性架构进行比较，会混淆不同的研究范式。因此，本文断言，分数阶度量在幂律机制下具有结构性优势，使其特别适用于具有多尺度动力学和重尾时间依赖性的领域，例如金融时间序列和生理信号分析。