技术摘要：几何—非几何优化器演算 (Geometric–Nongeometric Optimizer Calculus)

问题陈述

当前对梯度类优化器（如 Adam、Shampoo、K-FAC）的描述往往混淆了不同的算法角色。它们将下降几何（将梯度映射为方向）的定义与信息收集、内存管理、步长控制、噪声注入、目标修改及离散化机制混为一谈。这种混淆使得人们难以审计一个特定的更新方向究竟是由几何预处理器（geometric preconditioner）真实解释的，还是依赖于动量（momentum）、投影（projection）、随机性（stochasticity）等残差机制。此外，目前缺乏一种形式化语言，能够在关于 Oracle 访问、内存预算、状态类和容许规则的显式约束下，对“可达”梯度方法进行分解。

本文旨在解决以下问题：给定一个 Oracle 类、一个预算、一个状态类和一组容许规则，能否将可达的梯度方法分解为一个正向几何模块和若干结构化非几何模块，从而揭示表达差距、机制预算以及优化器设计的权衡？

方法论：几何—非几何优化器演算

作者提出了一种模块化语言——几何—非几何优化器演算，将优化器组件分为两个截然不同的类别：

1. 几何模块 (The Geometric Module)

该模块由一个正共度族 (positive cometric family) $\mathcal{P}_F(\theta)$ 组成。它将余向量（梯度）映射为参数空间的下降方向。

• 形式化： 对于余向量 $\alpha_\theta = df_\theta$，几何下降方向为 $u_{geo} = -P_\theta \alpha_\theta$，其中 $P_\theta \succ 0$。
• 族群： 这包括全正定（SPD）矩阵、对角矩阵、分块对角矩阵、Kronecker 分解矩阵、低秩矩阵或代理曲率族。

2. 非几何模块 (The Nongeometric Modules)

其余机制被划分为七个显式模块：

• 信息 (Information)： 梯度估计、小批量（mini-batches）、曲率代理和 Hessian-向量探测。
• 内存 (Memory)： 动量、Nesterov 前瞻、割线对（secant pairs）以及历史子空间。
• 控制 (Control)： 学习率、阻尼（damping）、置信区域（trust regions）、线搜索和调度方案。
• 算子 (Operator)： 投影、近端映射（proximal maps）、裁剪、归一化以及解耦权重衰减。
• 噪声 (Noise)： 显式采样噪声、Langevin 扰动以及由 Dropout 引起的噪声。
• 目标 (Target)： 与原始目标 $f$ 不同的正则化、平滑化或代理目标。
• 离散化 (Discretization)： Euler/隐式步长、有限精度以及近似矩阵根。

3. 审计与分解 (Audit and Decomposition)

该演算采用规范审计顺序 (canonical audit order) 来分解一个真实的优化器：

1. 固定目标函数 $f_k$ 和可见余向量 $\tilde{g}_k$。
2. 在声明的族 $\mathcal{F}$ 内，选择 $P_k$ 以通过正向几何最好地解释观察到的方向。
3. 将尺度（scale）和阻尼（damping）归于控制 (Control) 模块。
4. 将剩余的残差归于 内存 (Memory)、算子 (Operator)、噪声 (Noise)、目标 (Target) 或离散化 (Discretization) 模块。

核心贡献

1. 方向表达能力定理 (Direction-Expressivity Theorems)

论文证明了全正定几何 (full positive-definite geometry) 精确表达了临界点附近的严格下降方向集合。

• 定理： 对于非零梯度 $g$ 和方向 $u$，存在正定矩阵 $P$ 使得 $u = -Pg$的充分必要条件是$g^\top u < 0$。
• 启示： 任何非严格下降方向的更新（例如由动量引起的中性或上升步骤）或在临界点（$g=0$）处的运动，必须 源自非几何模块。

2. 受限方向残差 (Restricted Direction Residuals)

对于使用受限族（如对角或分块）实现的优化器，作者定义了受限方向残差：
$$\rho_{\mathcal{F},h}(u; \alpha) = \inf_{P \in \mathcal{F}(\theta)} \|u + P\alpha\|_h$$

• 这衡量了有多少更新是无法被选定的几何所解释的。
• 论文推导了对角和分块几何的精确表达条件，表明对角几何具有坐标依赖性，且无法解释 $g_i$ 与 $u_i$ 符号不一致的方向。

3. 诊断框架（四个象限） (Diagnostic Framework: The Four Quadrants)

作者区分了两种诊断工具：

1. 曲率可达性 (Curvature Reachability)： 衡量一个族处理 Hessian 条件数的程度。
2. 方向残差 (Direction Residual)： 衡量该族解释实际更新方向的能力。
   这两者构成了四象限诊断工具，用于区分几何预处理、内存效应、噪声以及目标修改。

4. 轨迹级残差复杂度 (Trajectory-Level Residual Complexity)

超越逐点分析，论文定义了轨迹级残差复杂度。它探讨是否整个训练轨迹都可以通过一条具有有界几何变化的连贯预理器路径来解释。

• 它引入了相干间隙 (coherence gap) 来衡量维持时间一致性的几何解释成本。
• 这防止了丰富的族通过互不相关的奇异矩阵来解释每一步。

5. Pareto 优化公式 (Pareto Optimization Formulation)

优化器设计被重新定义为在显式模块预算下的约束 Pareto 优化。

• 设计者必须在性能与各项预算（如仿射不变度量长度、信息调用、内存和通信）之间进行权衡。
• 论文证明了预算类单调性 (budgeted class monotonicity)：虽然全 SPD 几何是受限几何的表达超集，但预算可行的最优解可能会倾向于更廉价的受限族。

结果与原型 (Results and Prototypes)

论文包含了一些诊断性原型以展示该语言，并明确指出这些并非大规模基准测试上的最先进性能（SOTA）主张。

1. 全度量探测（确定性二次型） (Full-Metric Probe: Deterministic Quadratics)： 一个通过坐标探测重建全 SPD 逆度量的原型，在确定性二次型基准测试中达到了数值精度，验证了全几何的“表达包络”。
2. Krylov 及混合变体 (Krylov and Hybrid Variants)： 测试了一个 Krylov 子空间变体和一个基于残差选择的 BFGS 混合变体。结果显示，有限的信息预算和残差选择规则会显著影响性能，通常导致受限几何无法匹配全几何的能力。
3. Muon 风格候选模型 (Muon-Style Candidate)： 一个结合了矩阵正交化动量（针对张量）和 AdamW（针对向量）的原型进行了审计。
   • 在小型 MNIST 子集上，其准确率约为 77.0%，而 AdamW 约为 72.6%。
   • 审计显示，Newton–Schulz 正交化更多地表现为一种矩阵算子/内存机制，而非直接应用于当前梯度的纯正共度。
4. 轨迹审计 (Trace Audits)： 该演算被应用于 AdamW、SGD/Nesterov 和 Muon 风格候选模型的短训练轨迹。
   • 发现： SGD/Nesterov 表现出很强的逐点对角几何解释，但具有较大的“相干间隙”（需要快速变化的度量）。AdamW 和 Muon 候选模型表现出较低的原始残差和较小的相干间隙，表明其具有更稳定的几何影子。

意义与主张 (Significance and Claims)

本文将自身定位为一份理论与基准语言手稿。其主要意义在于：

• 提供正式的审计语言： 它提供了一个严谨的框架，将优化器中的“几何”与“工程”分离，使研究人员能够量化有多少更新是几何可解释的，有多少依赖于内存、噪声或目标变换。
• 重新定义优化器设计： 它将重点从寻找通用优化器转向解决显式资源预算（计算、内存、Oracle 调用）下的 Pareto 优化问题。
• 澄清极限： 它确立了全正定几何是一个“表达包络”，它严格捕捉了下降方向，而所有其他行为（动量、投影等）在结构上是截然不同的非几何机制。

作者明确表示，本文并不声称在大规模任务上达到最先进性能。实验结果是小规模且具诊断性的，旨在展示该演算在归因优化器行为方面的效用，而非与经过精调的 AdamW、Lion 或 Shampoo 等现代视觉或语言基准进行竞争。