💻 computer science

Optimizing Rank for High-Fidelity Implicit Neural Representations

本文通过证明 vanilla MLP 的低频偏差源于训练过程中稳定的秩退化，挑战了 vanilla MLP 本质上难以处理高频内容的观点，并展示了通过像 Muon 这样高秩优化器来调节网络秩，可以显著增强隐式神经表示在不同领域中的保真度。

原作者： Julian McGinnis, Florian A. Hölzl, Suprosanna Shit, Florentin Bieder, Paul Friedrich, Mark Mühlau, Björn Menze, Daniel Rueckert, Benedikt Wiestler

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Julian McGinnis, Florian A. Hölzl, Suprosanna Shit, Florentin Bieder, Paul Friedrich, Mark Mühlau, Björn Menze, Daniel Rueckert, Benedikt Wiestler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“低通滤波器”效应

想象一下，你正在试图教一个机器人画画。你给了它一套简单的指令（一个被称为“Vanilla MLP”的标准神经网络）。

长期以来，研究人员一直认为这个机器人有一个内置缺陷：它天生在处理细节方面很“懒”。它能轻松画出一个巨大的、平滑的山丘（低频内容），但如果你要求它画出崎岖的山脉或猫咪细微的胡须（高频内容），它就会把这些细节模糊处理掉。

为了解决这个问题，科学界多年来一直试图制造更好的机器人。他们为机器人配备了特殊的“眼镜”（坐标嵌入/coordinate embeddings），或者给了它“更锋利的铅笔”（像 SIREN 这样的特殊激活函数），以强迫它观察细节。

这篇论文的重大发现：不是机器人坏了，而是驾驶员开错了

这篇论文认为，机器人并没有坏，而是驾驶员（优化器）把它开错了。

作者们发现，在训练过程中，机器人的内部“肌肉”（网络中的权重）变得僵硬并发生了坍缩。它们正在失去灵活性，失去了同时向许多不同方向运动的能力。用数学术语来说，网络正在失去它的稳定秩（Stable Rank）。

类比：管弦乐队
把神经网络想象成一支管弦乐队。

高保真（好）： 每种乐器都演奏独特的音符，创造出一场丰富、复杂的交响乐。
低秩（坏）： 管弦乐队坍缩了。突然间，50 名音乐家都在用同样的乐器演奏完全相同的音符。音乐变得平淡且乏味。

论文声称，标准的驾驶员（比如流行的 Adam 优化器）会无意中告诉管弦乐队停止演奏多样化的音符，而只演奏一段简单的旋律。这就是为什么机器人无法画出精细细节的原因。

解决方案：“Muon”驾驶员

作者提出了一种名为 Muon 的新驱动程序。

Muon 不会让管弦乐队坍缩成单一的音符，而是强迫音乐家们继续演奏多样化、正交（垂直）的音符。它确保了网络在整个训练过程中都能保持其完整的“秩”或多样性。

结果：
当他们将驾驶员更换为 Muon 时，那个原本会模糊细节的、极其简单的机器人（基础的 ReLU MLP）突然变成了一位专家级艺术家。它能完美地描绘出崎岖的山脉和猫的胡须，其表现甚至经常优于其他研究人员构建的那些昂贵、复杂的机器人。

实验的关键结论

论文在几种不同的“画布”类型上测试了这个想法：

图像： 他们尝试重建老虎和风景的照片。
- 结果： 使用 Muon 驱动器的简单机器人生成的图像比以前清晰度提升了高达 9 dB（这是一个巨大的质量飞跃）。它能够捕捉到以前无法实现的精细纹理。
音频： 他们尝试重建音乐（巴赫）和说话的数字。
- 结果： 机器人终于能够听到并重现它之前错过的、大提琴的高音部分。
医学扫描（CT）： 他们尝试从极少数 X 射线切片中重建肺部的 3D 图像。
- 结果： 机器人能更准确地填充缺失的细节，减少了“重影”现象和伪影。
3D 场景 (NeRF)： 他们尝试创建椅子和鼓等物体的 3D 电影。
- 结果： 3D 模型看起来更加逼真，视觉瑕疵更少。

为什么这很重要（根据论文观点）

这篇论文挑战了该领域长期以来的一种信念。人们一直认为，为了获得高质量的结果，你必须构建复杂的、专门化的架构。

这篇论文说：“不，你只需要正确地驾驶汽车。”

通过简单地改变网络学习的方式（优化策略）来保持其内部的多样性（秩），即使是使用最简单、最基础的网络设计，也能获得高保真的结果。这就像是意识到你不需要一辆法拉利就能赢得比赛，你只需要为你的丰田车找一个更好的驾驶员。

一句话总结

论文证明了，简单神经网络之所以无法捕捉精细细节，并不是因为它们太简单，而是因为标准的训练方法会导致它们“坍缩”成一种乏味的、低细节的状态；通过使用一种名为 Muon 的新训练方法来保持网络内部的多样性，即使是最简单的网络也能产生极其清晰、高质量的图像、声音和 3D 模型。

技术摘要：优化高保真隐式神经表示的秩

1. 问题陈述

隐式神经表示（Implicit Neural Representations, INRs）已成为建模包括形状、图像、场景和医学数据在内的多种信号模态的通用框架。然而，使用标准 ReLU 激活函数的原生多层感知机（MLP）被广泛认为存在“谱偏差”（spectral bias）问题，这是一种内在的架构限制，使其无法有效表示高频内容。

因此，该领域主要聚焦于架构干预，以克服这种偏差，例如坐标嵌入（如傅里叶特征）和专门的激活函数（如 SIREN、WIRE）。虽然这些方法提高了表达能力，但也引入了新的挑战：高度表达性的架构往往缺乏隐式正则化，导致在病态逆问题中出现振荡模式；而低频偏置的架构则可能无法拟合精细细节。

本文挑战了“低频偏差是固有架构缺陷”的流行观点。作者认为，这实际上是稳定秩退化（stable rank degradation）的一个症状。他们指出，原生 MLP 无法拟合高频信号的原因在于权重更新的有效维度坍缩，而非网络架构本身。

2. 方法论：一种稳定秩视角

作者将关注点从架构设计转向优化动力学，利用稳定秩（stable rank）这一统一指标进行研究。

2.1 理论框架

论文建立了激活与权重更新之间的线性代数联系。对于第 $l$ 层，相对于权重的梯度定义为上游梯度与输入激活的外积： $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$ 。

秩约束： 权重更新的行空间包含在批次激活的张成空间内（ $rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$ ）。
退化： 在基于坐标的网络中，输入激活通常位于低维子空间中。随着信号在层间传播，非线性可以局部增加秩，但如果没有特定的干预，网络往往会在逐渐降低维度的子空间中运行，导致“秩坍缩”。
稳定秩： 作者使用稳定秩 $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$ 来量化这些更新的有效维度。低稳定秩意味着更新集中在少数奇异方向上，限制了网络学习高频细节的能力。

2.2 对现有干预措施的重新解读

作者通过这一视角重新解释了常见的架构修改：

输入层级（如傅里叶特征）： 这些扩展了输入矩阵 $H_0$ ，增加了第一层更新稳定秩的上界。
激活层级（如 SIREN、BatchNorm）： 这些旨在维持整个网络中激活空间 $H_l$ 的张成空间，防止秩随深度增加而减小。

2.3 提出的解决方案：Muon 优化器

论文提出，最直接的补救措施是在优化器层面进行干预。他们引入了 Muon，一种正交化优化器，旨在显式地强制梯度更新的各向同性。

机制： 对于权重更新矩阵 $U$ ，Muon 通过牛顿-舒尔茨迭代（近似 SVD）将其映射到最近的半正交矩阵 $Ortho(U) $。这迫使更新均匀分布在所有奇异方向上，使更新的稳定秩最大化至$ \min(d_l, d_{l+1})$。
实现： Muon 应用于隐藏层权重矩阵，而对偏置和输入/输出参数保留标准的 Adam 优化器，以保持稳定性和效率。这种方法与模型无关，并作用于实际的每步梯度。

3. 核心贡献

将稳定秩作为统一指标： 论文提出将稳定秩作为 INR 表达能力的衡量标准，认为训练过程中的秩退化而非架构限制，是原生 MLP 低频偏差的主要原因。
统一框架： 提供了一个框架，将各种架构修改（坐标嵌入、替代激活函数）解释为提高或保持稳定秩的方法。
Muon 优化器： 作者提出了 Muon，一种能显式防止秩坍缩的正交化优化器，作为无需改变架构即可实现高保真信号学习的自然疗法。
实验验证： 大量实验证明，Muon 在所有测试架构（ReLU MLP、SIREN、FINER 等）和模态（图像、音频、3D 形状、医学 CT、NeRF）中均显著提升了性能。

4. 实验结果

作者在四个领域评估了 Muon 相对于 Adam（及 Lion）的表现：

图像过拟合（Kodak 数据集）：
- Muon 将原生 ReLU MLP 的 PSNR 提升了 ~7–8 dB（从 ~22.8 提升至 ~30.0 dB），使其达到了使用 Adam 训练的傅里叶特征网络（FFN）的水平。
- 在高斯 MLP、SIREN 和 FINER 上也观察到了显著增益（2–4 dB）。
- 稳定秩分析显示，Muon 在隐藏层中保持高秩，而 Adam 和 Lion 则表现出明显的秩坍缩。
音频过拟合：
- Muon 在所有架构中都实现了显著更高的信噪比（SNR）。对于 ReLU FFN，SNR 提升了 +12.5 dB。
- 使用 Adam 时，原生 ReLU MLP 无法重建长音频片段，但使用 Muon 后成功完成了（在较短片段上），这表明失败源于优化不稳定性而非容量限制。
符号距离函数 (SDF)：
- 在 Armadillo 和 Thai Statue 数据集上，Muon 降低了 Chamfer 距离并提高了 IoU，特别是在小型架构（8x32）中。
逆问题：
- CT 重建： 在稀疏视图 CT 重建中，Muon 使 ReLU MLP 的 PSNR 提升了高达 +7 dB，减少了异质结构中的伪影。
- 单幅图像超分辨率 (SISR)： Muon 使 ReLU FFN 特别有效，在某些指标上甚至超越了具有强高频偏置的架构（如 FINER），这可能是由于 ReLU 的有益低频偏置与正交更新相结合的结果。
- 神经辐射场 (NeRF)： Muon 在合成场景（如 Chair, Hotdog）中减少了重建伪影，并将 PSNE 提升了高达 +9 dB，从而实现了更忠实的场景重建。

5. 重要性与主张

论文声称，优化是 INR 设计中第三个尚未得到充分探索的维度，它与输入层级和激活层级的干预互为补充。

挑战架构决定论： 结果挑战了“架构变化是 INR 性能主要驱动力”的看法。作者证明，仅靠优化就能显著影响模型保真度，使简单的 ReLU MLP 也能高保真地表示高频信号。
叠加效应： 论文认为，输入层级、激活层级和优化层级的干预作用于不同的、互补的轴。将它们结合使用（例如，将 Muon 与傅里决赛特征结合）可以获得最忠实的重建效果。
实际影响： 通过使用 Muon，从业者可以使用更简单、更鲁棒的架构（如 ReLU MLP）获得高保真结果，这些架构比高度表达且专门化的网络更不容易出现振荡模式。

6. 局限性

作者承认存在若干局限性：

目标秩： 稳定秩框架是一个诊断工具，但它并不能预测最优的目标秩。在某些病态逆问题中，较低的诱导稳定秩可能起到有益的隐式正则化作用。
近似计算： Muon 使用牛顿-舒尔茨迭代进行正交化近似。论文并未深入研究这种近似的影响，而是将 Muon 视为更广泛设计空间中的一个点，而非最终的最优解。
调参复杂度： Muon 引入了关于学习率调度（针对 Muon 和辅助 Adam 参数设置不同的速率）的额外调参复杂度。
表达能力差距： 虽然 Muon 缩小了差距，但在所有设置下，使用 Muon 训练的 ReLU MLP 的表达能力仍低于 SIREN 或 FINER 等专门化架构。