技术摘要：死方向调节器 (Dead-Direction Conditioners, DDC)

1. 问题陈述

深度神经网络的损失函数在其参数空间中表现出连续对称性（规范对称性，gauge symmetries）。这些对称性包括 Logit 平移、ReLU/SwiGLU 重缩放、LayerNorm 尺度不变性以及注意力头旋转。沿着这些对称性的轨道（orbits），损失景观是平坦的（即“死方向”），这意味着费舍尔信息度量（Fisher information metric）消失了。

标准的自适应优化器（如 Adam）无法尊重这些对称性。Adam 的逐坐标预调节器（$1/\sqrt{\hat{v}}$）仅在坐标置换下具有等变性。当架构组对坐标进行混合时（例如，反向缩放一对权重或旋转一个向量空间），Adam 的更新会“泄漏”到规范轨道（gauge orbit）中。这种泄漏导致了两个主要问题：

1. 漂移（Drift）： 优化器轨迹会沿着平坦的轨道漂移，而不是保持在对称商空间 $\bar{\Theta} = \Theta/G$ 的固定截面上。这种漂移使优化器到达了一个与尊重对称性时不同的极小值。
2. 速率可读性模糊（Blurred Rate Readability）： 理论结果（Shirodkar, 2026）表明，只有当优化器在商空间上进行干净的下降时，奇异学习率（最小费舍尔特征值的衰减）才是可读的。Adam 的泄漏引入了噪声和偏差，模糊了这一速率，使得极小值的几何结构变得不可读。

2. 方法论：死方向调节器 (DDC)

本文引入了 DDC，这是一个将基础优化器（如 Adam 或 Muon）提升为 $G$-等变优化器的预调节框架。其核心机制是利用一个 $G$-不变黎曼度量 $\rho$，将参数空间和梯度更新分解为垂直（轨道切线）和水平（商空间）分量。

更新规则

对于梯度 $g_t$，DDC 将其分解为 $g_t = \Pi_V g_t + \Pi_H g_t$。它维护独立的二阶矩估计器：

• 垂直分量 ($\hat{v}_V$)： 垂直梯度被折叠为每个轨道维度的一个标量（例如，通过对 CE 平移进行行平均）。该标量用于归一化垂直更新，从而有效地将整个轨道维度视为一个单一单元。
• 水平分量 ($\hat{v}_H$)： 水平梯度在严格的 $G$-等变水平框架内进行逐坐标预调节。至关重要的是，在进行逐坐标除法后，更新会被重新投影 ($\Pi_H$)，以确保轨迹保持在水平方向。

更新步骤为：
$$\theta_{t+1} = \theta_t - \eta \left[ \Pi_H \left( \frac{\Pi_H \hat{m}_t}{\sqrt{\hat{v}_H} + \epsilon} \right) + \text{lift}_V \left( \frac{\text{vert-to-scalar}(\Pi_V \hat{m}_t)}{\sqrt{\hat{v}_V} + \epsilon} \right) \right]$$

处理的架构规范 (Architectural Gauges)

DDC 为四种架构规范构建了特定的投影器和约减算子：

1. 交叉熵平移 (Cross-Entropy Shift)： Logit 中的加性平移（偏置或 unembed 权重）。
2. ReLU/SwiGLU 重缩放 (ReLU/SwiGLU Rescaling)： 相邻权重对的乘性缩放（$W_\ell, W_{\ell+1} \to cW_\ell, c^{-1}W_{\ell+1}$）。
3. LayerNorm/RMSNorm 尺度 (LayerNorm/RMSNorm Scale)： 归一化参数及下游权重的逐通道缩放。
4. 注意力头旋转 (Attention Head Rotation)： QK 和 VO 权重的非阿贝尔 $O(d_{head})$ 旋转。

对于非阿贝尔旋转规范，标准的逐坐标 $\hat{v}$ 会失效。DDC 提出了四种 $O(d_{head})$-感知构造，其中部署的默认版本是 body_frame_topk。它在 Gram 矩阵 $M = W_Q^T W_Q + W_K^T W_K$ 的特征基下保持逐坐标自适应性，但仅针对“活跃”特征方向（特征值高于阈值的方向），而对“死”方向则仅使用动量。

基础优化器组合

• DDCAdam： 对 Adam 应用完整的 DDC 构造。它精确处理（或在体框架旋转中达到领先阶近似）所有四种规范。
• DDCMuon： 对 Muon 优化器（执行正交化更新）应用 DDC。Muon 的正交化操作与旋转规范精确交换，使得 DDCMuon 在旋转规范下是精确的。然而，Muon 的正交化移除了逐通道缩放自由度，因此 DDCMuon 无法对重缩放规范（ReLU/LN 尺度）进行调节，并对这些组件默认使用 Adam。

3. 核心贡献

1. 等变预调节 (Equivariant Preconditioning)： 一种通用的构造方法，将自适应优化器提升为尊重连续架构对称性的优化器，确保轨迹始终是对称商空间 $\bar{\Theta}$ 上的预调节梯度流。
2. 速率可读性 (Rate Readability)： 理论证明（定理 1），DDC 恢复了“轨迹-速率可读性”属性。在商空间上，最小费舍尔特征值按 $\bar{t}^{2(k-1)}$ 衰减，从而允许直接从轨迹中读取奇异阶数 $k$，而这一属性在标准 Adam 中是被模糊掉的。
3. 规范遏制 (Gauge Containment)： 实证表明，DDC 有效防止了 Adam 中存在的规范模式漂移（如 logit 平移、权重重缩放），将这些模式保持在初始值或固定点。
4. 改进的优化结果：
   • 抗过拟合能力 (Over-training Resistance)： 在语言模型训练超过拟合点时，DDCAdam 能抵抗“过拟合崩溃”（即验证损失偏离训练损失的情况）。
   • Grokking 可靠性： 在深度 Transformer（深度 24）上，DDCMuon 在 11 个种子中实现了 10 个实现“grokking”（突然泛化）的案例，而 vanilla Muon 则完全失败（0/11）。
   • 压缩 (Compression)： 在 Vision Transformers 上，在相同的权重衰减下，DDCAdam 比 AdamW 更积极地压缩冗余的前馈容量，从而达到更低的验证损失。

4. 实验结果

• 语言模型（深度 12，过拟合场景）：
  • 速率可读性： DDCAdam 在 65 个层级可观测单元中成功读取了奇异速率中的 32 个，而 AdamW 仅能读取 7 个。在 AdamW 中，费舍尔特征值会远离极小值上升；而在 DDCAdam 中，它们会向底座塌陷。
  • 过拟合： DDCAdam 维持的验证集与训练集损失差距为 0.67，而 AdamW 为 5.88。
• Grokking Transformer：
  • 深度 24： DDCMuon 在 11 个种子中实现了 10 个准确度 >0.9 的 grokking，而 vanilla Muon 仅为 0/11。
  • 深度 8 (RoPE)： 将规范匹配到旋转位置嵌入（RoPE）特定的环面对称性（$SO(2)^{d/2}$）比使用通用的 $O(d_{head})$ 规范具有更高的准确度（0.977 vs 0.955）和更低的方差。
• Vision Transformers (ViT)：
  • 在 ImageNet-100 上从头开始训练，DDCAdam 实现了更低的验证损失（1.71 vs 2.12 nats），并在相同的权重衰减下，比 AdamW 更大幅度地压缩了网络（激活奇异值缩小 4 倍）。
• 规范遏制：
  • 在合成任务上，与 AdamW 相比，DDCAdam 将跨种子规范模式的漂移降低了 14 倍（ReLU 重缩放）和 65 倍（LayerNorm 尺度），同时保持最终任务损失一致。

5. 重要性与主张

本文声称，在优化器中构建对称性从根本上改变了所找到解的几何特性。通过尊重规范对称性：

• 极小值更锐利： 优化器会进入一个较少退化的极小值（在奇异底座之外具有更高的费舍尔特征值）。
• 几何结构可测量： 轨迹成为了底层奇异学习系数的可读信号，允许直接从训练动力学中诊断模型复杂度。
• 可靠性提升： 优化器对于导致深层或过拟合阶段失败的“漂移”具有鲁棒性，特别是在需要“grokking”的任务中。

作者强调，这种构造对预调节器是通用的，可以提升 Adam、Muon 和 Shampoo，且其收益并非仅仅源于权重衰减，而是源于保持在商空间上的几何约束。论文得出结论：当优化器尊重网络的规范对称性时，它会“使找到的极小值变得更锐利，并将该极小值的几何结构转化为可以通过轨迹进行测量的信号”。

注明的局限性：

• 基于 Muon 的 grokking 加速部分归功于等变更新中固有的捆绑权重衰减，尽管投影本身提供了可靠性和更清晰的结构。
• 由于特征向量符号的不确定性，对于体框架旋转构造的精确等变性是近似的（领先阶），但这种漂移很小（20 步内约为 $10^{-3}$）。
• 通过规范对齐读取完整的奇异结构（阶数和多重性）仍需要尚未在本研究中充分开发的工具。