技术摘要：死方向特征 (Dead-Direction Signatures, DDS)

问题陈述

奇异学习理论 (Singular Learning Theory, SLT) 通过过度参数化深度网络的损失局部几何结构来表征其复杂度。在该框架中，主要的内蕴量是实对数正则化阈值 (Real Log Canonical Threshold, RLCT，记作 $\lambda$)，它衡量了模型在奇异极小值附近的有效复杂度。在实践中，局部学习系数 (Local Learning Coefficient, LLC) 已成为 $\lambda$ 的标准估计器。然而，LLC 的估计在计算上是极其昂贵的，通过随机梯度朗之万动力学 (Sochastic Gradient Langevin Dynamics, SGLD) 采样需要在每个检查点进行 $10^4$ 到 $10^6$ 次前向-反向传播，以对局部后验进行积分。这种成本使得 LLC 对于大规模模型（如大语言模型 LLMs）或训练过程中的高频监测变得不切实际。

本文旨在解决寻找一种“廉价”替代方案的需求，以便在无需后验积分开销的情况下读取奇异结构。具体而言，它寻求一种方法，利用网络激活值和梯度的闭式谱读数（closed-form spectral readings）来检测并量化“死方向”（dead directions）——即损失平面平坦（奇异）的参数方向。

方法论：死方向特征 (DDS)

作者引入了 死方向特征 (Dead-Direction Signatures, DDS)，这是一族源自理论框架 (Shirodkar, 2026) 的闭式谱观测量，该框架将沿死方向的 Fisher 信息衰减率与 RLCT 联系起来。

理论基础

该框架假设，在奇异极小值处，Fisher 信息矩阵 $F(\theta)$ 在特定的“死方向” $u$ 上会失去秩。如果 KL 散度满足 $K(\theta_0 + tu) \sim t^{2k}$（其中 $k$ 是 KL 阶数），则方向性 Fisher 信息按 $\Theta(t^{2(k-1)})$ 衰减。选择规则将此衰减指数与 RLCT 的方向性贡献 ($1/2k$) 联系起来。

该框架建立了任何奇异极小值处激活谱与 Fisher-Gram 谱之间的结构相关性。对于一个具有 KFAC 可分解 Fisher 信息 $F_\ell \approx A_\ell \otimes G_\ell$ 的 $L$ 层网络：

1. Fisher 端： 每样本梯度 Fisher-Gram 的最小正特征值 $\lambda^+_{\min}(G_\ell)$ 按 $\Theta(t^{2(L-\ell)})$ 衰减。
2. 激活端： 激活矩阵的最小平方奇异值 $\sigma^2_{\min}(X_\ell)$ 按 $\Theta(t^{2\ell})$ 衰减。
3. 相关性： 这两个量是共单调的（co-monotonicic），这意味着在渐近极限下，Spearman 秩相关系数趋于 $+1$。

三种 DDS 观测量

DDS 使用三种廉价的闭式读数取代了 SGLD 后验链，这些读数是在选定的层 $\ell$ 处进行的：

1. 速率观测量 ($\lambda^+_{\min}(G_\ell)$)： 最小的正定 Fisher-Gram 特征值。它用于检测死方向的存在，并将这些方向定位到特定层（例如瓶颈层）。
2. 体积观测量 ($\log \det^+(G_\ell)$)： 有效 Fisher 谱的对数体积（正特征值对数的总和）。该观测量对死方向的数量（秩亏损 $r$）非常敏感。
3. 对偶观测量 ($\sigma_{\min}(X_\ell)$)： 激活矩阵的最小奇异值。它提供了 Fisher 端速率的激活端代理，可以通过单次前向传播和 SVD 计算得出。

核心贡献

1. 检测与秩亏损计数：

   • 检测： 当死方向出现时，$\lambda^+_{\min}(G_\ell)$ 会瞬间塌缩数个数量级（例如 $\sim 246\times$），从而允许通过单次反向传播进行检测。
   • 计数： 本文引入了一个秩乘性体积恒等式 (rank-multiplicative volume identity)。虽然单特征值监测器是“秩盲”的，但 $\log \det^+(G_\ell)$ 的斜率随秩亏损 $r$ 线性缩放。具体而言，相对于秩-1 基准的斜率比等于 $r$（例如，对于 $r=2, 3, 4$，斜率比分别为 2.0, 3.1, 4.0）。这使得 DDS 能够计数死方向，而这是单特征值监测器所不具备的能力。

2. 针对闭式 RLCT 的验证：

   • 在 Aoyagi (2005) 降秩回归锚点（其中已知解析 $\lambda$）上，DDS 观测量的秩追踪（rank-track）解析 $\lambda$ 具有极高的相关性 ($|\rho| \in [0.95, 0.98]$)。
   • 作者证明，虽然跨单元的秩追踪是一个“合理性门槛”（即使是朴素的容量代理也能通过），但秩乘性体积恒等式是一个判别性测试，朴素代理无法重现该特性。

3. 扩展至非线性 Transformer：

   • 在 Nanda 模加法 Transformer 宽度扫描实验中，DDS 观测量在 18 个数量级的宽度（$d_{\text{model}}$）范围内实现了符号一致的分离 ($|\rho| \in [0.62, 0.96]$)。
   • 相比之下，在相同的协议预算下，校准后的 LLC 是“秩平坦”的（无法区分宽度），即使将 SGLD 预算增加 9 倍也无法分辨这些宽度。

4. 成本效率：

   • DDS 观测量的成本比 LLC 低几个数量级。$\sigma_{\min}(X_\ell)$ 仅需一次前向传播和一次 SVD ($O(Nh^2)$)。$\lambda^+_{\min}(G_\ell)$ 和 $\log \det^+(G_\ell)$ 需要一次反向传播和特征分解 ($O(h^3)$)。
   • 在小型模型上，DDS 比校准后的 LLC 便宜约 $\sim 300\times$；在 LLM 宽度实验中，结构相关性允许通过廉价的激活端 $\sigma_{\min}$ 恢复 Fisher 端的排序，从而绕过了昂贵的 $O(h^3)$ Fisher 特征分解。

结果

• 闭式锚点： 在 14 个 Aoyagi 2005 锚点单元上，校准后的 LLC 恢复解析 $\lambda$ 的平均误差为 99%。DDS 观测量的秩追踪 $\lambda$ 的相关性 $|\rho| \ge 0.95$。
• 体积恒等式： 在 7 个噪声桥配置中，$\log \det^+(G)$ 的斜率比追踪了秩亏损 $r$，对于 $r=2, 3, 4$，测得的均值分别为 2.0, 3.1 和 4.0（预测值为 2, 3, 4）。
• Transformer 宽度扫描： DDS 观测量随 $d_{\text{model}}$ 的增加呈现单调下降趋势（跨越 5–15 个数量级），而 LLC 则保持平坦。
• 结构相关性： 在多种测试平台（典型桥接、Barak 稀疏奇偶校验、Nanda 模加法）中，静态恒等式 $\lambda^+_{\min}(G_\ell) \propto \sigma^2_{\min}(X_\ell)$ 始终成立，相关性 $\rho \ge +0.75$，即使在轨迹速率拟合失效（例如 AdamW+CE）的机制下也是如此。
• Grokking 动力学： 在 Barak 稀疏奇偶校验中，DDS 观测量检测到了进入奇异极小值的几何下降（下降了 $\sim 10$ 个数量级）过程，而此时正处于“清理”阶段，LLC 则处于平台期。

意义与范围

本文声称 DDS 提供了首个在计算上可行的、方向性的、参数局部的奇异复杂度处理手段。

• 互补性： DDS 被视为 LLC 的补充。虽然 LLC 通过对后验进行积分来提供贝叶斯总结（例如 WAIC、奇异波动、发育平台），但 DDS 提供了一种“方向性的、层局部的”闭式读数，用于读取奇异结构。
• 局限性： 作者对其范围持谨慎态度。DDS 已在具有闭式 RLCT 的参数化奇异模型以及一个非线性 Transformer 宽度扫描中得到了验证。轨迹速率预测（例如特定的幂律指数）需要“规范对齐”（通常是在 G 不变度量上的 SGD），并且由于非等变性，在 Adam 类优化器下可能会失效。然而，静态结构相关性在 AdamW+CE 下依然成立。
• 未来工作： 本文指出，将这些读数扩展到更广泛的 Transformer 架构、仅注意力链（attention-only chains）及其他算法任务是开放性的实证工作。此外，文章还建议，同样的死方向读数最终可能将 DDS 扩展到 Watanabe 三元组（多重性 $m$、波动 $\nu$）的其余部分以及无需 SGLD 的 WAIC。

综上所述，DDS 以廉价的闭式谱读数取代了经过积分的后验读数（LLC），从而实现了在极低计算成本下检测和计数死方向，使奇异复杂度分析在大规模模型和高频监测中变得可行。