💻 computer science

FiRe: Frequency Reparameterization as a Preconditioner for Periodic Implicit Neural Representations

本文介绍了 FiRe，这是一种通过利用低秩门控路径对每个神经元的频率进行重参数化来加速周期性隐式神经表示优化的方法，该路径充当了一种隐式预条件器，以改善初始化条件并实现更快的收敛速度及更高的重建质量。

原作者： Harinandan Shukla, Rajarshi Verma, Jitin Singla

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Harinandan Shukla, Rajarshi Verma, Jitin Singla

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教神经网络如何“看得更好、更快”

想象一下，你正在试图教一个机器人画一张风景画。这个机器人使用一种特殊的“大脑”（神经网络），它通过观察坐标（就像地图上的 x 和 y）来学习，并猜测每个像素点应该是什颜色。

问题在于，这些机器人有一个坏习惯：它们非常擅长画像天空或山丘这样的大型、平滑的物体，但它们非常不擅长画像树叶、篱笆桩或砖墙纹理这样锐利的细节。它们能很快掌握“大局”，但在学习“细节”方面却要花费很长时间。

在技术术语中，这被称为谱偏差（spectral bias）。机器人先学习低频信号（平滑的部分），最后才学习高频信号（锐利的细节）。

解决方案：FiRe（频率重参数化）

作者创造了一个名为 FiRe 的新工具。请不要把 FiRe 仅仅看作一种新型的大脑，而要把它看作是机器人大脑中每一个神经元都有的一个智能音量旋钮。

以下是利用几个类比来解释它的工作原理：

1. “一刀切”的问题

在标准模型（如 SIREN 或 FINER）中，网络中的每个神经元都被迫以完全相同的速度（频率）进行振动。

类比： 想象一个合唱团，无论需要什么音调，每个歌手都被迫唱出完全相同的音高。如果歌曲需要低沉的贝斯声来做背景，同时又需要高亢的哨声来模拟鸟鸣，那么所有人都会被困在同一个音高上。这是极其低效的。有些歌手在浪费能量，而高音部分也永远无法响亮起来。

2. FiRe 的“智能音量旋钮”

FiRe 给每个神经元都配备了一个专属的小型、可调节的音量旋钮。

类比： 现在，歌手们可以各自调整自己的音高了。负责绘制平滑天空的歌手可以保持低沉稳定；而负责绘制锐利树叶的歌手则可以把音高调得很高。
实现方式： FiRe 使用了一个“低秩门控（low-rank gate）”。你可以把它想象成网络中一个微小且高效的侧支，它会根据图像的特定部分，计算出每个神经元的正确“速度”。它不会改变神经元“做什么”，只会改变它振动的“快慢”。

为什么这会有帮助？（“预处理”的魔力）

论文指出，FiRe 不仅仅是给了网络更多的力量，它还让学习过程变得更加顺畅。

泥泞道路的类比： 想象你正试图驾驶一辆汽车（学习算法）爬坡。
- 没有 FiRe 时： 道路上充满了深深的泥泞车辙。汽车会卡在低频的车辙里（平滑部分），并且需要花费极长的时间才能在那些高频的颠簸处获得牵引力。
- 有了 FiRe 后： FiRe 扮演了**预处理器（pre-conditioner）**的角色。它在汽车开始行驶之前，就填平了车辙并抚平了道路。它并没有把普通的车变成法拉利（它没有改变最终目的地，也没有改变汽车的引擎）；它只是让路变得更容易开。
结果： 汽车能更快地到达山顶（完美的图像）。它能在最初的几分钟内就学会那些通常需要数小时才能学会的锐利细节。

潜在的限制：它是“起跑优势”，而非“超能力”

论文非常谨慎地说明了 FiRe 并没有做的事情。

类比： FiRe 就像是一个在百米赛跑中获得了 100 米领先优势的选手。
- 比赛早期（短训练预算）： 拥有领先优势的选手遥遥领先。他们看起来像是赢家。
- 到达终点线（完全收敛）： 如果你让两名选手跑非常长的时间，那个起步较晚的人最终会追上来。由于两者的跑步能力（相同的“函数类”）是一样的，他们最终会同时到达终点。
现实情况： FiRe 让网络学得更快，并且如果在训练早期停止训练（这在实际应用中很常见），它能获得更好的结果。但如果你进行极长时间的训练，标准网络最终会赶上来，届时这种优势就会消失。

实验结果表明了什么

研究人员在 2D 图像（如风景照片）上进行了测试：

速度： Fi-Re 网络比标准网络更快地达到了高质量图像。
细节： 图像看起来更清晰，尤其是在边缘和纹理（高频细节）方面。
公平性： 他们确保了对比是公平的。他们并没有仅仅通过增加神经元（增加“肌肉”）来提升 FiRe 的表现。他们给标准网络提供了相同数量的神经元和相同的“基础速度”，唯一的区别在于 Fi-Re 拥有这些智能旋钮。
分辨率： 当图像较小或训练时间较短时，收益最为显著。在处理巨大且复杂的图像时，这种优势会有所缩小，但 FiRe 依然发挥了作用。

一句话总结

Fi-Re 是一个聪明的技巧，它为神经网络中的每个神经元提供了一个个性化的“速度调节器”，使网络能够比通常情况更快地学习到锐利、细腻的图像，尽管如果拥有无限的训练时间，它并不会改变最终的结果。

技术摘要：FiRe (频率重参数化)

1. 问题陈述

周期性隐式神经表示 (Implicit Neural Representations, INRs)，如 SIREN 和 FINER，旨在通过将标准的 ReLU 激活函数替换为正弦函数来编码连续信号。然而，这些架构存在谱偏差 (spectral bias) 问题，即梯度下降会自然地优先拟合信号的低频成分，而高频细节（如精细纹理、锐利边缘）的恢复速度较慢。

现有周期性 INR 的核心局限在于，它们为每个神经元分配了一个单一的全局频率乘数 ( $\omega_0$ )。这种方法对表示预算的分配效率低下，因为信号的不同部分（例如，一个锐利的边缘与一个平滑的背景）需要不同的局部频率。虽然像 FINER 这样的方法试图通过将预激活幅度反馈到频率包络中来使频率依赖于输入，但它们仍然依赖于固定的全局参数或特定的激活结构。挑战在于如何在不简单增加全局频率乘数（这会改变函数类）或增加过多参数的情况下，使每个神经元的频率是可学习且依赖于输入的。

2. 方法论：FiRe (频率重参数化)

FiRe 引入了一种机制，通过为每个神经元分配一个有界的、输入依赖的频率尺度来重参数化周期性 INR 的频率。

核心机制

FiRe 并没有将频率折叠进主权重矩阵，而是在激活函数之前插入了一个低秩门控路径 (low-rank gating path)，用于乘以预激活值。
对于标准的 SIREN 激活函数 $h = \sin(\omega_0(Wx + b))$ ，FiRe 将其修改为：
$h = \sin(\omega_0 \cdot s(x) \odot (Wx + b))$
其中 $s(x) \in (0, 2)$ 是一个通过低秩瓶颈实现的学习门控：
$s(x) = 2 \sigma(U_{\uparrow} U_{\downarrow} x + b_{\uparrow})$
这里 $U_{\uparrow}$ 和 $U_{\downarrow}$ 是低秩矩阵， $\sigma$ 是逻辑 Sigmoid 函数。这种结构确保了频率保持有界且稳定。

初始化与控制

初始化： 门控的初始化使得 $U_{\uparrow} = 0$ 且 $b_{\uparrow} = 1$ ，导致初始时刻的恒定门控值 $s_i \approx 1.46$ 。这确保了 FiRe 在开始时作为一个带有缩放频率的标准周期性网络运行。
频率均等化 ( $w_{scale}$ )： 为了确保性能提升并非仅仅源于更高的全局频率，作者采用了权重缩放控制。基准网络的权重被缩放了 $1/1.46$ ，使得基准网络在初始化时的实际单神经元频率与 Fi了 FiRe 完全匹配。
参数匹配： 基准网络通过扩宽来匹配 FiRe 的参数数量（取决于秩，增加 1.4%–7.7% 的开销），以确保收益并非来自增加的容量。

3. 理论机制：NTK 分解

论文基于神经切向核 (Neural Tangent Kernel, NTK) 提供了理论解释。

加性分解： 由于门控路径参数 ( $\theta_g$ ) 与载波/信号路径参数 ( $\theta_c$ ) 是不相交的，经验 NTK ( $K$ ) 精确地分解为一个加性之和：
$K = K_c + K_g$
隐式预处理： 门控路径为核函数贡献了一个正定块 ( $K_g$ )。尽管门控在初始化时在函数上是常数，但它对自身参数的梯度不为零。这在不改变前向映射的情况下，为优化景观增加了新的切向方向。
谱效应： 根据 Weyl 不等式，添加 $K_g$ 会提高总核函数的特征值。这增加了切向空间的有效秩 (effective rank)（在实验中增加了 23–44%），并改善了初始化时的优化问题条件。
收敛含义： 在“懒惰 (lazy)” NTK 机制下，具有更高特征值和有效秩的核允许残差误差沿更多的特征方向更快地衰减。这解释了为什么 FiRe 加速了早期训练收敛，特别是对于对应于较慢衰减特征模态的高频成分。

4. 关键结果

作者在不同分辨率（256², 512², 1024²）和不同秩下，使用 DIV2K 和 Kodak 数据集在 2D 图像拟合任务上评估了 FiRe。

收敛加速： FiRe 在训练早期阶段（典型的 INR 拟合短预算场景）显著优于参数匹配的基准模型。
- 在 256² 分辨率下，FiRe-SIREN 和 FiRe-FINER 在 2000 个 epoch 时比基准模型实现了 +0.5 到 +0.7 dB 的 PSNR 增益。
- 这种优势在低秩（1–4）时最为明显，并随着秩的增加（例如秩为 8）而减弱，这表明收益来自于连贯的预处理模式而非原始容量。
分辨率依赖性： 随着图像分辨率的增加，性能增益会缩小。这归因于在固定预算下，更高分辨率的图像距离收敛更远；FiRe 提供的“领先优势”在总优化所需过程中所占比例变小了。
频谱局部化： 增益集中在高频段。频谱分析显示，FiRe 比基准模型更紧密地追踪地面真值的（ground truth）高频功率，而低频/中频成分则被两者同样好地拟合。
无渐近优势： 至关重要的是，随着训练进行到完全收敛（例如 8000 个 epoch），参数匹配的基准模型最终会超越 FiRe。这证实了 FiRe 并没有改变函数类或最终解，而是作为一个预处理器 (preconditioner) 作用于优化轨迹。
稳定性： FiRe 的实际频率在整个训练过程中保持与基准匹配，证实了收益源于重参数化，而非隐藏的频率偏移。

5. 意义与主张

该论文将 FiRe 定位为一种加速优化的方法，而非扩展网络的表示容量。

机制隔离： 作者强调，以往 INR 文献中明显的增益可能是由于不受控的全局频率或参数数量增加所导致的混淆。通过严格控制这些因素，他们分离出了优化几何效应。
隐式预处理： FiRe 被识别为一种隐式预处理器，它改善了初始化时 NTK 的条件。这为重参数化与更快的频率收敛之间的关系提供了理论桥梁。
实际效用： 该方法在需要固定、短预算（实践中常见）而非完全收敛的场景中最为有用。在这些设置下，FiRe 能产生更高质量的精细细节和纹理重建。
谦逊性： 作者明确指出，Fi-Re 在完全收敛时并不具备优势，且基于 NTK 的解释依赖于“懒惰机制”近似，这随着训练的进行而减弱。目前该方法仅限于 2D 图像拟合，其向 3D（SDFs, NeRF）的扩展仍是一个开放性问题。

总之，FiRe 证明了通过低秩门控对周期性神经元的频率进行重参数化，可以显著改善优化景观的条件，从而实现更快的收敛和更好的高频重建，前提是对比的对象是经过严格频率和参数匹配的基准模型。