🤖 machine learning

Sphere Retraction Normalizations

本文通过证明所有球面残差流的检索映射都简化为控制旋转角的单个标量参数，从而推广了测地线归一化（Geodesic Normalization），并提出了在 nanoGPT 上表现优于现有方法的 $p$ -SpheretNorm 系列方法，其核心在于识别出指数映射仅仅是一个极限情况而非最优选择。

原作者： Jie Zhang, Cheng-Fang Su, Yi-Jui Huang, Min-Te Sun

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jie Zhang, Cheng-Fang Su, Yi-Jui Huang, Min-Te Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图用乐高积木搭建一座摩天大楼，但每当你增加一层新楼层时，整座塔就开始摇晃、扭曲或坍塌。这就是科学家们在构建“深度神经网络”——那些驱动从聊天机器人到图像生成器等一切事物的超智能计算机大脑——时面临的日常挣扎。这些网络是由一层层堆叠在一起的，就像建筑中的楼层。为了让它们正常工作，工程师们使用了一种被称为“残差连接”（residual connection）的特殊技巧，这就像是一个滑梯，让信息可以从一层跳跃到下一层，防止塔身变得过于摇晃。

长期以来，保持这些塔稳定的最佳方法是使用一种叫做“层归一化”（LayerNorm）的方法，它就像一位严厉的建筑师，不断检查砖块的大小，以确保它们不会变得太大或太小。但即使是这位严厉的建筑师也有缺陷：有时塔变得太高，顶层停止了学习；或者底层变得过于兴奋，导致整个结构摇晃崩溃。最近，一种名为“测地归一化”（Geodesic Normalization，简称 GeoNorm）的新想法尝试解决这个问题，它将这座塔想象成不是建在平地上，而是建在一个巨大的、隐形的球体表面上。在这个球体上，信息沿着最短的路径移动，就像飞机飞越地球一样，这能让数据的规模保持完美恒定。这是一个天才的想法，但发明这个方法的科学家们使用了一个非常特定且复杂的数学工具来绘制那条路径，并假设那是唯一的路径。

这篇题为《球面收缩归一化》（Sphere Retraction Normalizations）的论文提出了一个简单但具有革命性的问题：“那个特定的工具是我们在球面上行走的唯一方式吗？还是有其他更好的路径？”作者张洁、苏成方及其团队决定不再将球面视为一个僵硬的、单路径的轨道，而是去探索在弯曲表面上移动的所有可能方式。他们发现，大家都在使用的那个复杂工具（指数映射，exponential map）实际上只是光谱中的一个极端端点。通过探索中间地带，他们发现了两种更简单的方法，既能像原方法一样保持塔身的稳定，又更容易计算。

该团队引入了三种新方法，统称为“SpheretNorms”。把球面想象成一个巨大的地球仪，把信息想象成一名旅行者。旧方法（GeoNorm）就像是一名必须遵循特定、蜿蜒道路的旅行者，需要复杂的导航工具。作者表明，你其实可以走捷径。他们发现了两种新的“收缩”（retractions，即在球面上移动的数学捷径）：一种叫做 Proj-SpheretNorm，它就像是将影子垂直投影到地面，然后再踏回到表面；另一种叫做 Cay-SpheretNorm，它利用一种巧妙的几何技巧将旅行者旋转到下一个位置。

为了证明这些想法有效，研究人员不仅在纸上做数学题，还使用了一种流行的轻量级 AI 模型“nanoGPT”构建了数字塔。他们在两个大规模文本数据集 OpenWebText 和 FineWeb-Edu 上测试了这些方法。他们构建了不同高度的模型，层数从 12 层到 36 层不等，并在大约 65.5 亿个 token（token 是文本的一个块，比如一个单词或单词的一部分）上进行了训练。

结果令人惊讶。虽然旧的 “GeoNorm” 方法表现不错，但它并不是最好的。事实上，作者发现，“完美”的路径并不在旧方法所在的那个极端端点，而是在光谱的中间位置。他们创建了一个灵活的方法家族，称为 p-SpheretNorm，其中一个数字 p 控制着旅行者的移动方式。

当 p = 1 时，你会得到“投影法”（Proj-SpheretNorm）。
当 p = 2 时，你会得到“几何技巧法”（Cay-SpheretNorm）。
当 p 变得非常大时，你会得到旧的 GeoNorm 方法。
当 p 变得非常小时，你会得到标准的、基于平地的法。

在实验中，Proj-SpheretNorm（即 p = 1 的版本）成为了冠军。在中型和大型模型上，它实现了最低的训练和验证损失，不仅击败了旧的 GeoNorm，还击败了其他流行的方法，如 Pre-LN、Peri-LN 和 Keel。例如，在 FineWeb-Edu 数据集的 24 层模型上，该新方法实现的验证困惑度（perplexity，分数越低越好）为 16.81，而之前的最佳方法 Peri-LN 为 19.09。在 OpenWebText 数据集上，它同样表现优于竞争对手。

或许最重要的一点是，新方法具有极高的稳定性。在某些测试中，像 Pre-LN 和 Keel 这样的旧方法完全失败了，它们的验证得分爆炸到了像 111.70 甚至 2081.50 这样的数字，这意味着 AI 停止了学习并开始随机猜测。相比之下，所有三种新的 SpheretNorm 方法在每种设置下都能平稳收敛，即使是在最深的 36 层模型中也是如此。

作者还测试了这些模型在“下游任务”上的表现，这就像是给 AI 一系列测验，看看它到底有多聪明。他们使用了 11 个不同的基准测试，涵盖了阅读理解、逻辑谜题和科学问题等内容。在 FineWeb-Edu 训练数据的 11 项指标中有 12 项，以及 OpenWebText 数据集中的 12 项指标中有 10 项，1-SpheretNorm 模型（即 p=1 版本）都取得了最高分。它在“困惑度”测试中表现尤为出色，将 LAMBADA 数据集上的困惑度从最佳基准线的 59.55 降低到了 46.74，这是一个巨大的进步。

论文总结道，GeoNorm 中使用的指数映射并不是“圣杯”，它仅仅是光谱中的一个端点。通过选择光谱上的另一个点（特别是 p=1），我们可以构建更深、更稳定且更准确的 AI 模型，而无需复杂的计算。作者认为，这为我们思考如何连接神经网络中的层开辟了新的途径——从僵硬的、单一路径的解决方案转向灵活的几何选择家族。虽然他们指出，这些方法可能并不适用于所有类型的 AI 架构（例如那些需要保留特定对称性的架构），但他们已成功证明，在超球面上，存在着一个充满更好路径的广阔世界等待着被探索。

技术摘要：球面收缩归一化 (Sphere Retraction Normalizations)

问题陈述
训练深度神经网络的稳定性仍然是一个重大挑战。现有的方法论主要依赖于结合归一化（例如 Transformer 中的 Pre-LN 和 Post-LN）的残差连接，但这些方法存在固有的局限性。Pre-LN 架构面临“深度诅咒”，即更深的层对学习的贡献递减，并允许不受限的残差流累积巨大的激活值，从而导致注意力汇聚（attention sinks）。相反，Post-LN 架构在初始化时会在输出层附近产生巨大的梯度，因此需要精细的学习率预热调度，这会减慢优化过程。虽然最近的研究如测地线归一化（Geodesic Normalization, GeoNorm）试图通过黎曼几何将隐藏状态限制在超球面上以稳定训练，但它完全依赖指数映射（exponential map）进行更新。作者指出，指数映射仅仅是更广泛的收缩映射（retraction maps）家族中的一个成员，这引发了一个问题：在超球面上使用其他的收缩映射是否能提供更优越的性能或稳定性。

方法论
本文提出了一个基于超球面收缩映射的统一深层连接框架，称为球面收缩归一化（SpheretNorms）。

统一框架： 作者将标准的残差连接（RC）和 GeoNorm 重新构建在由流形 $\mathcal{M}$ 定义的单一计算骨架内。更新规则被抽象为：
$h_l = R_{h_{l-1}}\left[ \alpha_l \cdot \text{proj}_{T_{h_{l-1}}\mathcal{M}}(F_l(h_{l-1})) \right]$
其中 $R$ 是一个收缩映射。虽然 GeoNorm 选择超球面（ $S^{d-1}$ ）和指数映射，但该框架允许使用其他的收缩映射。
具体实例化：
- Proj-SpheretNorm： 使用度量投影收缩（metric projection retraction）（也称为测地投影收缩/gnomonic retraction）来实例化该框架。这涉及将当前状态与更新量的向量和进行归一化，使其落在超球面上。
- Cay-SpheretNorm： 使用Cayley 收缩（Cayley retraction）（即立体收缩/stereographic retraction），该收缩是通过由当前状态和更新向量生成的反对称矩阵的 Cayley 变换导出的。这产生了一个闭式代数更新。
泛化形式 (p-SpheretNorm)： 作者观察到，Proj-SpheretNorm 和 Cay-SpheretNorm 都具有平面旋转结构，即更新幅度被转化为旋转角度。他们引入了一个单参数族 p-SpheretNorm，其定义为旋转角 $\theta_l = p \arctan(\beta_l / p)$ ，其中 $\beta_l$ 是归一化的步长。
- $p=1$ 恢复为 Proj-SpheretNorm。
- $p=2$ 恢复为 Cay-SpheretNorm。
- $p \to \infty$ 收敛于 GeoNorm（指数映射）。
- $p \to 0^+$ 收敛于恒等映射（identity mapping）。
- 至关重要的是，对于有限的 $p$ ，旋转角会趋于饱和，从而防止了像指数映射那样出现无界增长。
实现细节： 为了确保稳定性，作者对可学习步长 $\alpha_l$ 使用了衰减因子 $\lambda_l = 1/\sqrt{l}$ ，并在第一层应用了改进的 ScaleNorm 以初始化隐藏状态半径。

核心贡献

理论统一： 本文将欧几里得残差连接和 GeoNorm 统一为基于收缩映射的更新，证明了 GeoNorm 是由指数映射驱动的黎曼残差连接的一个特例。
新型归一化层： 引入了两种仅依赖代数运算的新型保范数归一化层（Proj-SpheretNorm 和 Cay-SpheretNorm），避免了指数映射所需的三角函数计算成本。
参数化族： 将这些方法泛化为 p-SpheretNorm，这是一个连接了恒等映射、代数收缩和指数映射的单参数族。作者证明了该家族的所有成员都是具有相同一阶切空间动力学的二阶收缩。
经验优越性： 在 nanoGPT（高达 36 层，6.55B token）上的广泛实验表明，1-SpheretNorm（对应 $p=1$ ）在 OpenWebText 和 FineWeb-Edu 数据集上实现了最低的预训练和验证损失，以及最高的零样本准确率，优于 Pre-LN、Pre-DyT、Peri-LN、Keel 和 GeoNorm。值得注意的是，在 Pre-LN 和 Keel 发散的设置中，1-SpheretNorm 依然能够收敛。

结果

预训练： 在中型（24 层）和大型（36 层）模型上，1-SpheretNorm 取得了最佳的验证困惑度（perplexity）。例如，在 24 层的 FineWeb-Edu 上，它将验证困惑度从 19.09 (Peri-LN) 降低到了 16.81。
稳定性： 与 Pre-LN（在中规模下于 OpenWebText 上发散）和 Keel（在小规模下于 FineWeb-Edu 上发散）不同，所有 SpheretNorm 变体在所有测试设置中均能收敛。
下游任务： 在 FineWeb-Edu 上训练的大型模型中，SpheretNorm 变体在 12 项指标中的 11 项上取得了最佳得分；在 OpenWebText 上，它们在 12 项指标中的 10 项上取得了最佳得分。增益在困惑度指标（如 LAMBADA 和 WikiText-2）中最为显著，其中 1-SpheretNorm 明显优于 GeoNorm 及其他基准模型。
参数敏感性： 结果表明，最优性能是在有限的 $p$ 值（特别是 $p=1$ ）处达到的，这表明指数映射（作为 $p \to \infty$ 的极限）并不是球面残差流的首选收缩映射，而仅仅是光谱中的一个端点。

意义与主张
本文声称，收缩映射的选择是超球面深层连接中的一个关键设计选择。通过超越指数映射并采用代数收缩（特别是度量投影），作者证明了实现优于以往的保范数和训练稳定性是可能的。这项工作表明，“指数映射”并非稳定深度学习在流形上的基本必要条件，而仅仅是更广泛有效几何更新谱系中的一个特定点。作者总结道，设计深层连接机制是一个处于图论、优化和动力系统交汇处的数学问题，而确定信息传播与雅可比矩阵条件数（Jacobian conditioning）之间的最佳权衡仍是未来研究的一个开放方向。他们也承认了在专门架构（如等变神经网络）方面的局限性，以及在当前范围之外更大规模模型上进行评估的必要性。

技术摘要：球面收缩归一化 (Sphere Retraction Normalizations)

类似论文