🤖 machine learning

FRAME: Learning the Adaptation Domain with a Mixture of Fractional-Fourier Experts

本文介绍了 FRAME，一种采用具有可学习分数阶傅里叶阶数的混合专家模型进行参数高效微调的方法，该方法通过在空谱连续体上动态调整更新，从而实现了比现有 LoRA 和光谱基准模型更优越的性能并减少了干扰。

原作者： Tom Saliencro, Maya Lindqvist, Rohan Desai, Priya Nair, Daniel Whitmore

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Tom Saliencro, Maya Lindqvist, Rohan Desai, Priya Nair, Daniel Whitmore

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、冻结的知识图书馆（大型语言模型），你想教它一项新技能，比如编写代码或解决数学问题。你不想重新编写整个图书馆，因为那太昂贵且太慢了。相反，你想添加一张小小的“便签”或“速查表”（这种技术被称为 PEFT 或参数高效微调），只教给模型它需要知道的内容。

长期以来，研究人员有两种编写这些速查表的主要方式：

“空间”方式 (LoRA)： 用原始文本的语言来写笔记（比如标准的英语）。
“频谱”方式 (Fourier)： 用频率和模式的语言来写笔记（比如音乐符或无线电波）。

问题在于，有时“空间”方式最好，而有时“频谱”方式最好。这取决于任务、模型的特定部分，甚至取决于正在处理的特定单词。但以往的方法强迫你在整个任务中只能二选一。

走进 FRAME：一个“可调焦距”的适配器

作者引入了一种新方法，称为 FRAME（分数傅里叶混合专家模型）。它是如何工作的，我们可以使用简单的类比：

1. “变焦镜头”类比

想象一下，“空间”方式就像是用肉眼观察一幅画（看到每一处笔触）。“频谱”方式则像是通过三棱镜观察这幅画，将其分解为纯粹的色彩（看到光的频率）。

作者意识到，在这两者之间存在着一整个镜头的光谱。你可以拥有一个稍微倾斜的，或者介于肉眼和三棱镜之间的镜头。这就是所谓的分数傅里叶变换。

FRAME 为每一个“专家”（一个小型的辅助模块）都提供了一个可调的旋钮。
一个专家可能会把旋钮转到 0（肉眼观察）。
另一个专家可能会转到 1（三棱镜观察）。
第三个专家可能会转到 0.4（一种模糊的、中间状态的视图）。

模型会学习针对每一个任务和每一个单词，精确地将旋钮设定在什么位置。

2. “专业化团队”类比

把 FRAME 想象成一个正在执行项目的专家团队。

在旧的方法中，团队中的每个人都被迫说同一种语言（例如，每个人都说英语）。
在 FRAME 中，团队是一个混合专家系统 (Mixture of Experts)。当一个新单词进来时，“路由”（就像一个项目经理）会观察它并询问：“谁最适合处理这个？”
- 如果这个词是一个简单的事实，路由可能会把它发送给“空间”专家。
- 如果这个词是复杂的数学模式的一部分，路由可能会把它发送给“频谱”专家。
- 如果它处于两者之间，它就会被发送给一个具有“中间设置”的专家。

因为每个专家都在通过不同的“镜头”观察数据，所以他们不会互相干扰。这就像是一个团队，其中一个人看大局，另一个人看细节，而第三个人看节奏。他们是解耦的 (decorrelated)，这意味着他们不会重复做同样的工作，也不会让彼此感到困惑。

3. “神奇的捷径”

你可能会想：“哇，计算所有这些不同的镜头一定超级慢且昂贵。”
作者发现了一个聪明的数学捷径（使用一种叫做 chirp-FFT 的技术）。这就像拥有一个神奇的计算器，可以瞬间在这些不同的视图之间切换，而无需进行繁重的实际计算。

结果： FRAME 几乎和旧方法一样快，但它更聪明。

他们发现了什么？

研究人员在两个大型 AI 模型（LLaMA 和 Qwen）以及四类任务上测试了该方法：

常识（回答刁钻的问题）
数学（解决问题）
代码（编写软件）
知识（事实检索）

结果显示：

性能更好： FRAME 打败了之前所有的最佳方法，包括“空间”类方法和“频谱”类方法。
更智能的专业化： 模型确实学会了针对不同任务设置不同的旋钮。例如，模型的早期层倾向于一种设置，而后期层则倾向于另一种。
高效性： 它在实现这些结果的同时，比许多竞争对手使用了更少的活跃参数（即每个单词消耗的“计算能力”更少）。

核心结论

本文认为，“领域”（我们表示数据的方式）不应该是一个固定的规则。它应该是一个可学习的选择。FRAME 证明了，通过给 AI 模型一个旋钮，让它们可以调节如何“观察”数据——从原始文本到纯粹的模式——它们可以学得更快、犯错更少，并且比被迫固守于一种思维方式时能更好地处理复杂任务。

技术摘要：FRAME (分数阶傅里叶混合专家模型)

1. 问题陈述

参数高效微调 (PEFT) 方法，特别是低秩自适应 (LoRA)，通常在固定基底内对权重更新进行重参数化。主流方法运行在空间域（规范坐标）中，而一系列不断增长的谱方法则运行在固定傅里叶域中。本文指出，这种二分法代表了一种未经审视的设计选择：没有任何单一基底在所有任务、层或 Token 上都是最优的。

现有的方法要么致力于空间域 ( $a=0$ )，要么致力于傅里叶域 ( $a=1$ )，如果最优的更新表示位于中间域，则可能会浪费容量。此外，固定域的适配器在合并或进行多任务学习时，可能会因为更新占据了重叠的子空间而产生干扰。核心问题在于，适配领域本身应该是一个可学习的自由度，而不是一个固定的惯例。

2. 方法论：FRAME

作者提出了 FRAME (Fractional-Fourier Mixture of Experts，分数阶傅里叶混合专家模型)，这是一种将适配领域视为每个专家特有的可学习量的 PEFT 适配器。

核心机制

FRAME 利用了分数阶傅里叶变换 (FrFT)，这是一种连续插值于空间域和傅里叶域之间的单参数族酉变换。

参数： 该变换由阶数 $a \in [0, 1]$ $a \in [0, 1]$ 定义。
- $a=0$ ：恒等变换（空间域，等同于标准 LoRA）。
- $a=1$ ：标准傅里叶变换（谱域）。
- $0 < a < 1$ ：代表在时频平面上旋转的中间域。
架构： FRAME 是一个混合专家 (MoE) 适配器。每个专家 $i$ $i$ 拥有：
1. 标准低秩因子 $A_i \in \mathbb{R}^{r \times d}$ 和 $B_i \in \mathbb{R}^{d_{out} \times r}$ 。
2. 一个可学习的标量阶数 $a_i \in [0, 1]$ 。
前向传播： 对于一个 Token $x$ ，更新计算为：
$\Delta W_i x = B_i A_i \text{Re}\{\Phi_{a_i} x\}$
其中 $\Phi_{a_i}$ 是阶数为 $a_i$ 的离散 FrFT。Token 首先被旋转到该专家特定的分数阶域，然后取其实部，最后应用低秩投影。
路由 (Routing)： 路由器为每个 Token 选择前 $k$ 个专家，从而允许不同的 Token 同时在不同的域中进行适配。

效率与优化

计算成本： 直接实例化 FrFT 矩阵的成本为 $O(d^2)$ 。FRAME 采用了啁啾–FFT 代理 (Chirp–FFT surrogate) (Ozaktas et al., 1996)，通过预啁啾乘法、一次 FFT 和后啁啾乘法，以 $O(d \log d)$ 的时间复杂度计算变换。这与标准 MoE-LoRA 相比增加了微不足道的开销。
优化策略：
- 独立优化器： 阶数标量 $\{a_i\}$ 和矩阵因子 $\{A_i, B_i\}$ 使用独立的优化器进行训练。由于 $a$ 的微小变化会旋转整个领域，而矩阵更新是稠密的，因此阶数的学习率 ( $\eta_a$ ) 显著小于矩阵的学习率 ( $\eta$ )。
- 分组负载均衡： 为了防止专家坍缩到单一领域，作者将专家划分为 $G$ 个“阶数带”（初始化在均匀网格上）。在每个带内应用平衡损失，以确保领域利用的多样性，而不强制要求全局统一。

3. 主要贡献

重构领域： 本文将空间域与谱域的二分法重新定义为单一的连续轴（分数阶），并证明了最优适配领域随任务、层和 Token 而变化。
FRAME 架构： 引入了一种具有每专家可学习阶数的 MoE 适配器，一种 $O(d \log d)$ 的变换代理，以及针对领域参数的特定优化机制。
理论保证：
- 严格泛化： FRAME 严格泛化了空间 LoRA 和傅里叶域适配器。
- 去相关性： 理论证明，具有分离阶数的专家是相互不相干（去相关）的，从而减少了任务与专家之间的干扰。
- 稳定性： 证明了阶数梯度是有界的，确保了训练的稳定性。
实验性能： 在 LLaMA-3.1-8B 和 QWEN2.5-7B 的常识、数学、代码和知识基准测试中，FRAME 在保持低活跃参数预算的同时，表现优于强大的空间和谱基准方法（包括 FlyLoRA、Fourier-MoE 和 HMoRA）。

4. 实验结果

性能： 在 LLaMA-3.1-8B 上，FRAME 实现了 87.1% 的平均常识准确率，超过了最强的基准方法 (MoA, 86.3%) 0.8 个百分点，并比 vanilla LoRA 高出 2.6%。在 QWEN2.5-7B 上也观察到了类似的增益。
效率： FRAME 仅激活 0.31% 的参数（与许多 MoE 基准相当甚至更低），同时实现了最佳准确率。
消融研究：
- 将阶数固定为 $a=0$ （空间）或 $a=1$ （谱）会导致显著的性能下降（分别下降 1.4% 和 1.1%），证实了单一固定域是不够的。
- 使用固定的多样化网格阶数（非学习型）仅恢复了部分性能差距，凸显了为每个专家学习特定阶数的必要性。
- 啁啾–FFT 代理带来的训练时间开销比空间 MoE-LoRA 仅增加了不到 7%，而使用稠密变换实现的速度则慢了 3 倍。
机制分析：
- 专业化： 学习到的阶数按任务和层深度进行专业化（从早期层的近空间域向后期层的更偏谱域转变）。
- 去相关性： 随着阶数差异的增大，专家间的相干性单调下降，验证了其去相关性质。
- Token 路由： 不同类型的 Token（例如数字与虚词）被路由到系统性不同的阶数。

5. 意义与主张

本文声称适配领域是一个可学习的设计选择，而非固定的惯例。通过利用分数阶傅里叶阶数引入连续的领域谱系，FRAME 允许模型将低秩更新放置在最紧凑且干扰最小的领域中。

作者强调了三个具体优势：

表达能力： 跨越多个阶数的混合能够表示同等秩度的单一领域适配器无法捕获的更新。
去相关性： 不同的阶数诱导相互不相干的子空间，在不需要硬性正交约束的情况下，自然地减少了专家和任务之间的干扰。
效率： 由于高效的啁啾–FFT 代理，学习领域带来的计算开销微乎其微。

论文总结道，FRAME 提供了一个“广泛有用的轴线”用于适配，表明分数阶视角可以应用于全参数微调、注意力机制或持续学习，尽管这些属于未来的工作。作者指出，虽然存在变换带来的非零开销以及对路由坍缩的敏感性，但这些问题已得到缓解，但尚未完全消除。