🤖 machine learning

Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling

该论文提出了名为 Nexusformer 的新架构，通过用基于双重激活的非线性 Nexus-Rank 层替代传统的线性投影，实现了 Transformer 模型的无损结构化扩展，从而在显著降低训练计算成本的同时保持了性能稳定并支持知识继承。

原作者： Weijie Zhao, Mingquan Liu, Bolun Wang, Simo Wu, Nuobei Xie, Rui-Jie Zhu, Peng Zhou

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Weijie Zhao, Mingquan Liu, Bolun Wang, Simo Wu, Nuobei Xie, Rui-Jie Zhu, Peng Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 Nexusformer 的新型人工智能模型架构。为了让你轻松理解，我们可以把训练大型 AI 模型想象成**“扩建一座超级图书馆”**。

1. 现有的困境：死板的“线性”扩建

目前的 AI 模型（Transformer）在变大的时候，通常面临两个大问题：

推倒重来太浪费：如果你想让图书馆容纳更多书（提升模型能力），传统做法往往是把旧图书馆拆了，用更大的地基重新盖一座。这意味着之前学到的知识（书架上的书）全得扔掉，重新花巨资去整理。
房间结构太死板：现有的图书馆设计（线性投影层）就像是一个个固定宽度的走廊。无论你想放多少书，走廊的宽度是锁死的。如果你想把书塞进更复杂的分类系统，这些走廊就太窄了，导致书（数据特征）挤在一起，分不清楚。

比喻：这就好比你想把一辆自行车升级成卡车，但它的车架（线性层）是焊死的。你只能强行把大轮子塞进小架子，结果要么车散架（模型性能下降），要么你得把车架拆了重焊（重新训练）。

2. Nexusformer 的解决方案：灵活的“非线性”扩容

Nexusformer 的核心创新在于它换了一种扩建方式，叫做 Nexus-Rank（枢纽秩） 层。

把“走廊”变成“立体迷宫”：
它不再使用死板的直线走廊，而是设计了一个**“三步走”的立体迷宫**：
1. 第一步（抬升）：先把信息从狭窄的走廊（维度 D）拉到一个更宽敞的中间大厅（维度 M）。
2. 第二步（爆发）：再把这个大厅扩展到一个巨大的、超容量的仓库（维度 A）。在这里，信息可以进行复杂的“化学反应”，把简单的概念组合成复杂的逻辑。
3. 第三步（回归）：最后把处理好的复杂信息，压缩回原来的出口（维度 D），以便和其他部分连接。
比喻：这就像在图书馆里建了一个**“智能分拣中心”**。书进来时先被送到一个巨大的、可以随意变形的分拣大厅，在这里书可以被重新分类、组合、甚至产生新的关联，然后再整齐地放回书架。这样，图书馆的“理解能力”就大大增强了。

3. 如何“无损”继承知识？（零初始化魔法）

这是这篇论文最精彩的地方。通常扩建模型会导致旧知识“失忆”，但 Nexusformer 做到了**“无缝衔接”**。

零初始化（Zero Initialization）：
当它要扩建时，新加进去的“房间”和“书架”在刚建好时是空的（数值为 0）。
- 效果：在扩建的那一瞬间，新房间对图书馆的运作没有任何干扰，模型输出的结果和扩建前一模一样。
- 过程：随着继续训练，这些空房间开始慢慢“长”出新的知识，而旧房间里的知识完好无损。
比喻：想象你在给图书馆扩建。你直接盖好了新楼，但新楼里暂时不摆任何书，也不开灯。老楼里的读者完全感觉不到变化。然后，你开始慢慢往新楼里放新书。因为新楼一开始是“透明”的，所以老楼的知识不会受到任何冲击。等新书放好了，整个图书馆的容量和智能就升级了，而且不需要把旧书重新整理一遍。

4. 实验结果：更聪明、更省钱

省算力：在同样的任务下，Nexusformer 只需要比传统方法少 41.5% 的计算资源（时间、电费、显卡）就能达到同样的效果。
更稳定：研究发现，这种“先分开再合并”的扩建方式，让模型在成长过程中走了一条**“离心 - 向心”**的优美轨迹。就像扔出一个球，它先飞出去探索（发散），然后自动被引力拉回最佳位置（收敛），非常稳定。
预测未来：作者甚至发现了一个数学公式，可以通过观察模型在扩建时的“几何状态”，精准预测它未来的表现。

总结

Nexusformer 就像是一个**“可生长的智能体”。
它打破了传统 AI 模型“要么拆了重练，要么能力受限”的僵局。通过引入立体的非线性结构**（让信息在更广阔的空间里自由组合）和零初始化技术（让新能力平滑融入，不破坏旧知识），它让 AI 模型能够像生物一样**“边长边学”，既保留了过去的智慧，又拥有了未来的潜力，而且性价比极高**。

简单来说：以前升级 AI 是“换血重生”，现在 Nexusformer 是“进化生长”。

1. 研究背景与核心问题 (Problem)

当前的大语言模型（LLM）扩展主要依赖于从头训练更大的模型（Scaling Laws），这种方法计算成本极高，且浪费了较小规模模型已学到的表示。虽然“渐进式扩展”（Progressive Scaling，即从预训练模型扩展并继续训练）是一个更高效的替代方案，但标准的 Transformer 架构存在两个主要瓶颈，阻碍了无损扩展：

线性表达瓶颈 (Linear Expressivity Bottleneck)： 标准 Transformer 的注意力机制中，Query (Q)、Key (K)、Value (V) 的生成完全依赖于线性投影（Linear Projections）。这限制了特征提取被束缚在固定维度的低秩线性子空间中，难以在交互前将 Token 映射到复杂的语义空间。
刚性容量限制 (Rigid Capacity)： 标准架构的扩展通常涉及直接增加投影矩阵的维度。由于这些矩阵是稠密的且固定的，直接扩展会引入显著的分布偏移（Distribution Shift），导致性能下降，迫使模型需要大量的重新训练（Retraining），无法有效继承预训练知识。

现有的参数高效微调方法（如 LoRA）或增长型方法（如 Tokenformer）虽然能减少成本或支持扩展，但本质上仍受限于线性约束，缺乏同时提升表达力和支持无损增长的统一机制。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 Nexusformer 架构，其核心创新在于用非线性的 Nexus-Rank 层替换了标准的线性 Q/K/V 投影。

2.1 Nexus-Rank 层架构

Nexus-Rank 将投影过程转化为一个三阶段的非线性映射，维度层级为 $D < M < A$ （其中 $D$ 为原始隐藏维度， $M$ 为中间容量维度， $A$ 为过容量维度）：

阶段一（提升）： 输入 $X$ $X$ 通过矩阵 $W_M$ $W_{M}$ 映射到中间空间 $M$ $M$ ( $M > D$ $M > D$ )，并经过激活函数 $\sigma$ $σ$ （如 GeLU）。
- $Z_M = \sigma(X W_M)$
- 作用：作为语义解耦层，初步捕捉特征交互，避免直接跳至高维导致的梯度不稳定。
阶段二（扩展）： 特征从 $M$ $M$ 进一步映射到过容量空间 $A$ $A$ ( $A > M$ $A > M$ )，再次经过激活函数。
- $Z_A = \sigma(Z_M W_A)$
- 作用：这是主要的容量储备区，利用已解耦的非线性特征建模高阶交互，能够近似任意连续函数。
阶段三（投影回）： 将深层特征通过 $W_D$ $W_{D}$ 投影回原始维度 $D$ $D$ 。
- $\tilde{Q} = Z_A W_D$
- 作用：确保与现有 Transformer 框架的兼容性，输出维度恢复为 $D$ ，但包含了深层非线性特征。

Nexus-Attention 机制将上述非线性映射直接集成到注意力计算中，生成 $\tilde{Q}, \tilde{K}, \tilde{V}$ ，从而在注意力计算前就引入了高阶非线性信息。

2.2 双轴增长机制与零初始化 (Dual-Axis Growth & Zero Initialization)

为了实现无损扩展，Nexusformer 采用了独特的增长策略：

双轴扩展： 同时沿中间维度 $M$ 和扩展维度 $A$ 增加参数，而非仅扩展单一维度。
零初始化 (Zero Initialization)： 新增的参数块（ $W^{new}_M, W^{new}_A, W^{new}_D$ $W_{M}^{n e w}, W_{A}^{n e w}, W_{D}^{n e w}$ ）在扩展时刻被初始化为 0。
- 原理： 在扩展瞬间，新块对模型输出贡献为零，因此模型输出保持不变，完全保留了预训练知识。
- 效果： 训练可以无缝从预训练状态继续，新参数在后续训练中逐渐学习新的特征交互，实现了“无损”的知识继承。

3. 关键贡献 (Key Contributions)

Nexusformer 架构设计： 提出用深层非线性 Nexus-Rank 层结构性地替换线性注意力投影，将特征空间从线性子空间转变为非线性流形，显著增强了表示能力。
无损参数扩展机制： 引入基于零初始化的双轴增长机制，使得模型能够在不破坏预训练知识的前提下，高效地注入新容量，支持渐进式训练。
增长动力学分析与标度律：
- 通过非参数统计方法（NOC 和 U-Test）分析了增长动力学，发现零初始化诱导了一种**“先发散后收敛” (Diverge-then-Converge)** 的稳定轨迹。
- 提出了基于径向能量 $R$ 的几何标度律： $\ln(PPL) = -0.0991 \cdot |\ln(R)| + 2.4804$ 。该定律能准确预测不同扩展规模下的性能，将几何状态与模型性能解耦。

4. 实验结果 (Results)

实验在 FineWeb 数据集上进行，涵盖了 170M 到 640M 的不同规模，并在 PIQA、OBQA、HellaSwag、ARC-Easy、ARC-Challenge 等推理基准上进行了评估。

性能表现：
- Nexusformer 在所有规模（170M-640M）下均优于 Tokenformer 和 Qwen3 基线。
- 在 640M 规模下，Nexusformer 在 ARC-Easy 上得分为 59.67，比 Tokenformer 高出 15.8%，比 Qwen3 高出 33.4%。
- 在 ARC-Challenge 等复杂逻辑推理任务上表现出显著优势。
计算效率：
- 渐进式扩展优势： 从 240M 扩展到 440M 的过程中，Nexusformer 达到与 Tokenformer 相同的困惑度（Perplexity），但训练计算量减少了 41.5%。
- FLOPs 效率： 尽管 Nexus-Rank 包含三阶段映射，但由于其通过降低基础隐藏层维度 $D$ 来优化注意力机制中的二次复杂度项，其每 Token 的 FLOPs 实际上低于或等同于标准 Transformer（如 Qwen3），实现了更高的计算效率。
增长动力学验证：
- 实验证实，零初始化是维持几何结构稳定性的关键。如果引入高斯噪声（10% 或 20%）破坏零初始化，模型将失去“向心收敛”的轨迹，退化为无序探索，导致性能下降。
- 确定了 380M 为当前实验设置下的最佳增长点，此时性能增益达到峰值。

5. 意义与影响 (Significance)

打破线性瓶颈： 证明了在注意力投影阶段引入非线性映射比单纯增加层宽或深度更能有效提升模型的表达力，解决了 Transformer 固有的线性限制。
可继承的扩展范式： 提供了一种可量化的、无损的模型扩展方法，使得构建基础模型不再需要每次都从头训练，大幅降低了训练成本和资源浪费。
理论指导实践： 提出的几何标度律和径向能量指标 $R$ 为模型扩展提供了新的理论视角，不仅解释了“何时扩展”和“如何扩展”，还为预测扩展后的性能提供了数学依据。
未来潜力： 该架构为参数高效微调（PEFT）和持续学习提供了新的非线性思路，表明通过结构化增长而非简单的线性微调，可以构建更具适应性和可扩展性的基础模型。

总结： Nexusformer 通过引入非线性 Nexus-Rank 层和零初始化的双轴增长策略，成功解决了 Transformer 扩展中的线性瓶颈和知识继承难题，在显著降低计算成本的同时，实现了推理能力和模型性能的全面提升。