💻 computer science

Implicit Neural Representations: A Signal Processing Perspective

本文从信号处理视角系统梳理了隐式神经表示（INR）的演进历程，深入探讨了其频谱特性、采样理论及多尺度表示机制，并分析了其在医学成像、压缩和三维场景重建等广泛领域的应用与未来挑战。

原作者： Dhananjaya Jayasundara, Vishal M. Patel

发布于 2026-04-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Dhananjaya Jayasundara, Vishal M. Patel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章就像是在讲一种**“从画格子到画函数”的革命**。

为了让你轻松理解，我们可以把传统的信号处理（比如图片、声音、视频）想象成**“乐高积木”，而这篇论文介绍的“隐式神经表示”（INR）则是一种“魔法配方”**。

1. 核心概念：从“乐高”到“配方”

传统的做法（乐高积木）：
想象你要保存一张照片。传统方法就像是用乐高积木拼出一幅画。

照片被切成无数个小方块（像素）。
每个方块存一个颜色值。
缺点：如果你把画放大，积木之间的缝隙就露出来了，画面变得模糊（马赛克）。如果你想把画缩小，很多积木就被扔掉了。而且，如果你想把画里的猫往左移一点点，你得把成千上万个积木重新摆一遍。这就像是在一个固定的格子上填色，连续性是后来硬加上去的。

INR 的做法（魔法配方）：
INR 不存积木，它存的是一个**“配方”**（一个神经网络）。

这个配方说：“如果你给我一个坐标（比如 x=10, y=20），我就告诉你这里应该是什么颜色。”
优点：这个配方是连续的。无论你要看多小的细节，或者把画放大多少倍，只要把坐标告诉配方，它就能算出完美的颜色。它没有“格子”的概念，只有“函数”。
比喻：传统方法是存了一整本字典（每个词对应一个意思）；INR 是存了一本语法书，你可以根据语法随时造出任何句子，而且句子是流畅的，没有断点。

2. 为什么以前做不好？（“低频偏见”）

刚开始，科学家发现这个“魔法配方”有点笨。它很擅长画大轮廓（比如天空、草地），但画不出细节（比如鸟的羽毛、树叶的纹理）。

比喻：这就像是一个只会画大圆圈的画家，让他画复杂的图案，他只会把圆圈画得稍微密一点，结果看起来还是糊的。
原因：神经网络天生喜欢“平滑”的东西（低频信号），讨厌“剧烈变化”的东西（高频信号）。

3. 科学家们怎么修好它？（各种“特效药”）

为了解决这个“画不出细节”的问题，论文里介绍了一系列聪明的办法，就像给画家升级了工具：

坐标编码（给坐标“加料”）：
不要直接告诉画家“这里是 x=1"，而是告诉它“这里是 sin(100x) 和 cos(100x)"。
- 比喻：就像给画家一张更详细的地图，上面不仅标了路，还标了路边的每一棵树。这样画家就能画出细节了。
周期性激活函数（SIREN）：
把画家常用的“直线”画笔换成了“波浪线”画笔（正弦函数）。
- 比喻：既然要画波浪（声音、纹理），直接用波浪画笔当然比用直尺画波浪要快得多、准得多。
局部化（WIRE）：
以前的波浪画笔是画满整个画面的，现在换成了“带橡皮擦的波浪笔”。
- 比喻：只在有细节的地方（比如眼睛）画波浪，在平滑的地方（比如天空）就不画。这样既保留了细节，又不会让画面乱成一团。
自适应（FINER, MIRE）：
让画家自己决定哪里该用粗笔，哪里该用细笔，甚至自己发明新的画笔。
- 比喻：以前是规定“所有人必须用 5 号笔”，现在是“你根据画的内容，自己选笔”。

4. 它能干什么？（万能的应用场景）

这种“配方”非常强大，因为它不挑信号类型：

图片：可以无限放大，永远清晰。
声音：声音本质就是波，用“波浪画笔”画声音简直完美。
视频：把时间也当成一个坐标，配方就能算出“下一秒”的画面，而且帧与帧之间过渡非常自然。
3D 物体：以前存 3D 模型要存一堆网格，现在存一个配方，告诉它“这个点是不是在物体里面”，就能画出完美的曲面。
医学影像（MRI/CT）：医生拍片子往往不完整（稀疏），INR 就像一个聪明的医生，根据已有的碎片，脑补出完整的、平滑的器官形状，而不是把碎片拼起来。
压缩：以前压缩图片是压缩像素；现在压缩图片，就是压缩那个“配方”（神经网络的参数）。因为配方很小，但能还原出巨大的图片，所以压缩率极高。

5. 未来的挑战

虽然 INR 很厉害，但论文也指出了几个问题：

太慢：每张图片都要单独训练一个配方，就像每画一幅画都要重新发明一次画笔，太费时间。
黑盒：我们知道它能画出来，但有时候不知道它内部具体是怎么运作的（可解释性差）。
通用性：能不能训练一个“万能配方”，输入任何图片都能直接生成，而不需要重新训练？

总结

这篇论文的核心思想是：不要死记硬背数据（像素），要学会理解数据的规律（函数）。

INR 把信号处理从“数格子”的时代，带入了“算函数”的时代。它让计算机不再只是存储数据的仓库，而是变成了理解世界连续性的艺术家。这不仅是技术的进步，更是我们看待世界方式的一种转变。

这是一篇关于**隐式神经表示（Implicit Neural Representations, INRs）**的深度综述文章，题目为《隐式神经表示：信号处理视角》（Implicit Neural Representations: A Signal Processing Perspective）。文章由 Johns Hopkins 大学的 Dhananjaya Jayasundara 和 Vishal M. Patel 撰写。

文章的核心观点是：INRs 不应仅仅被视为一种新的神经网络架构，而应被理解为连续信号模型。文章从信号处理（如频谱分析、采样理论、逼近理论）的角度重新审视了 INRs 的发展、设计原则及其在各类信号处理任务中的应用。

以下是该论文的详细技术总结：

1. 问题背景 (Problem)

传统的信号表示（如图像像素、音频采样、体素）本质上是离散的，依赖于固定的网格和采样率。这种离散视角虽然成功，但在处理以下任务时存在局限性：

连续性问题：插值、超分辨率、几何形变和逆重建等任务本质上是连续的，需要在采样点之间或观测域之外进行推理。
分辨率耦合：传统表示将信号与特定的分辨率和采样模式绑定，难以灵活适应不同分辨率的查询。
外部连续性：在传统方法中，连续性通常是通过插值核或正则化模型在离散化后“外部”引入的，而非模型内在属性。

2. 方法论与核心框架 (Methodology)

文章提出将 INR 定义为参数化的连续函数 $f_\theta: \Omega \subset \mathbb{R}^d \to \mathbb{R}^c$ ，其中 $\theta$ 是网络权重， $\Omega$ 是信号域（如空间坐标、时间、方向等）。

A. 从离散采样到连续函数

视角转变：观测到的离散样本被视为对底层连续信号的测量，而非表示本身。INR 的目标是学习一个映射，使得可以在任意坐标处查询信号值。
逼近理论视角：INR 用学习到的非线性函数类取代了传统的固定基（如傅里叶基、小波）或字典。其逼近空间由网络架构、坐标编码、激活函数和参数共同隐式定义。

B. 学习目标

直接拟合：最小化采样点处的误差（如 MSE）。
逆问题：在观测算子 $A$ （如投影、模糊、射线积分）存在的情况下，最小化 $D(A(f_\theta), y)$ 。这使得 INR 成为嵌入在观测模型中的潜在信号模型。
微分约束：由于 INR 是连续可微的，可以直接对梯度、拉普拉斯算子等施加监督，这在物理场建模中至关重要。

C. 频谱设计与架构演进 (Spectral Design)

文章详细梳理了 INR 如何克服频谱偏差（Spectral Bias）（即网络倾向于学习低频结构，难以捕捉高频细节）的演进过程：

坐标升维（Positional Encoding）：将坐标映射到高频正弦/余弦特征空间（如随机傅里叶特征），显式引入高频信息。
周期性激活函数：如 SIREN (Sinusoidal Representation Networks)，使用 $\sin$ 激活函数，利用其导数仍为正弦的特性，更好地建模高频和导数。
超越周期性：如 Beyond Periodicity，指出激活函数的几何性质（斜率变化）比周期性本身更重要，提出了高斯等替代方案。
局部化振荡：如 WIRE (Wavelet INRs)，使用复 Gabor 小波作为激活函数，同时具备频率表达力和空间局部性。
自适应频率建模：如 FINER，引入变周期激活函数，使网络能根据输入区域自适应调整频率范围。
重参数化训练：如 Fourier Reparameterized Training，在优化过程中固定部分频率基，学习系数，以改善高频梯度的传播。
信号匹配激活：如 MIRE，根据信号特性动态选择每层的激活函数。
采样理论视角：如 Sinc 激活函数被证明在采样理论下具有最优的重建稳定性（Riesz 基性质）。
结构化表示：如 MINER (拉普拉斯金字塔)、ACORN (四叉树/八叉树)、Instant-NGP (多分辨率哈希编码)，通过多尺度、局部化和哈希机制提高效率和精度。

3. 关键贡献 (Key Contributions)

统一的信号处理视角：将 INRs 重新定义为连续信号模型，将其与经典信号处理理论（谐波分析、采样定理、逼近论）紧密联系，解释了 INR 设计的内在逻辑。
频谱偏差的系统性分析：详细分类并解释了各种 INR 变体（SIREN, WIRE, FINER 等）是如何通过改变激活函数、坐标编码或训练策略来重塑逼近空间，从而解决频谱偏差问题的。
跨模态统一框架：展示了 INR 如何通过仅改变输入域和输出量，统一处理图像、音频、视频、3D 几何（SDF/Occupancy）和超光谱成像等多种信号模态。
下游任务的重新定义：
- 压缩：将压缩对象从离散系数转变为连续解码器的参数（如 COIN, SINR）。
- 医学与雷达成像：利用 INR 的连续性和可微性，自然地处理稀疏采样、运动伪影和物理成像模型。
- 场景表示 (NeRF)：将场景建模为连续体积场，实现了高质量的新视角合成。
- 分类与质量评估：提出基于 INR 参数空间或函数空间特征的分类方法，以及基于 Fisher 信息梯度的图像质量评估（INRIQ）。

4. 结果与性能 (Results)

虽然这是一篇综述，但文中引用了大量实验结果来支持其论点：

重建质量：改进的频谱设计（如 SIREN, WIRE, Instant-NGP）在图像重建、超分辨率和几何恢复任务中显著优于传统 MLP，特别是在恢复高频细节（如纹理、边缘）方面。
效率：多分辨率和局部化架构（如 Instant-NGP, ACORN）在保持高精度的同时，大幅降低了参数量和推理时间，实现了实时渲染。
通用性：在音频（高频振荡）、视频（时空冗余）、3D 几何（SDF）和超光谱成像（连续光谱）任务中，INR 均表现出比离散方法更好的适应性和重建 fidelity。
压缩性能：基于 INR 的压缩方法（如 COIN++）在低比特率下能提供比传统编码（如 JPEG）更平滑、分辨率无关的重建效果。

5. 意义与未来方向 (Significance & Future Directions)

理论意义：INRs 模糊了“表示”与“计算”的边界。它们不仅是存储数据的容器，更是可以直接进行微分、积分和物理约束求解的计算对象。
范式转变：从“离散采样 + 插值”转向“连续函数拟合”。这使得信号处理任务（如去噪、超分、重建）可以在统一的连续框架下解决。
未来挑战：
- 理论理解：需要更深入的理论来解释 INR 在不同信号类、采样密度下的收敛性和稳定性。
- 可扩展性：目前多为单实例优化，未来需发展元学习（Meta-learning）和超网络（Hypernetworks）以实现跨样本的快速泛化。
- 物理感知：在科学计算和医疗领域，需要更好地结合物理约束和不确定性估计。
- 感知与决策：将 INR 扩展到目标检测、分割、机器人策略等感知与决策任务中。

总结：
这篇文章不仅是对 INR 技术的全面回顾，更是一次概念上的升华。它论证了 INR 是信号处理领域在深度学习时代的自然延伸，通过引入连续性和可微性，解决了传统离散表示在处理复杂、连续物理现象时的根本缺陷。文章强调，理解 INR 的关键在于理解其频谱行为和逼近空间的设计，这为未来的算法创新提供了坚实的理论基础。