💻 computer science

Grids Often Outperform Implicit Neural Representations at Compressing Dense Signals

本文表明，在压缩稠密信号方面，带有插值的简单正则化网格在训练速度和质量上通常优于隐式神经表示（INRs），同时也指出了诸如二值形状拟合等仍由 INRs 占据优势的特定领域。

原作者： Namhoon Kim, Sara Fridovich-Keil

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Namhoon Kim, Sara Fridovich-Keil

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“马赛克” vs. “魔力画笔”

想象一下，你有一张极其精细、巨大的森林、城市或人类肺部的照片。你想把它缩小，以便存入一个微小的 USB 闪存盘，同时又不损失太多质量。你有两种主要的工具可以实现这个目标：

网格（马赛克/The Grid）： 这就像一个巨大的棋盘。你将图像划分为数百万个微小的方块。对于每个方块，你只需记录下它的平均颜色。要重新看到图像，你只需观察该方块并将其填充即可。它简单、可预测，并且如果图像只是色彩和纹理的混合（比如森林或肺部扫描图），效果非常好。
隐式神经表示（魔力画笔/The INR）： 这是一个“神经网络”。它不是基于网格，而是一个聪明的计算机程序（配方），它会说：“如果你在坐标 X, Y, Z 处，那么这个像素点的颜色应该是多少。”这就像一支魔力画笔，理论上它可以完美地绘制出任何形状，无论你如何放大。

论文的核心观点：
长期以来，人们一直认为“魔力画笔”（INR）才是未来，因为它听起来更聪明、更灵活。然而，这篇论文进行了一场大规模的竞赛，让两者展开对决。他们发现，对于稠密信号（即到处都充满细节的图像，如自然照片或医学扫描图），简单的**网格（马赛克）**实际上更快、更容易训练，并且在消耗相同内存的情况下，往往能产生更清晰的图像。

竞赛过程：他们是如何测试的

研究人员不仅仅看了一张图片。他们创建了一个包含不同挑战类型的“赛道”：

平滑的山丘（带限信号/Bandlimited Signals）： 这些图像看起来像起伏的山丘或静态噪声。它们没有锐利的边缘，只有平滑的梯度变化。
锐利的边缘（球体与分形/Spheres and Fractals）： 这些是具有鲜明形状的图像，比如悬浮在空间中的球体，或者分形图案（一种无限重复的形状，如雪花）。
现实生活： 他们在真实照片（DIV2K 数据集）、3D 龙模型和人类 CT 扫描（胸部 X 光片）上进行了测试。

他们测试了这些工具在不同“尺寸”（即允许使用的内存量）下的表现，范围从极小（高度压缩）到极大。

结果：谁赢了？

1. “稠密”信号的赢家：网格

当信号是“稠密”的（意味着它到处都有细节，比如嘈杂的森林或 CT 扫描）时，网格几乎每次都获胜。

类比： 想象尝试描述一片云朵。网格只需说：“左上角是浅蓝色，右下角是深蓝色。”它能瞬间且完美地完成。
魔力画笔（INR）的挣扎： INR 试图学习一个复杂的数学公式来描述这些云朵。它需要更长的时间来学习，并且即使拥有相同的“脑力”（参数），它也经常产生模糊或波浪状的伪影（奇怪的图案），而不是干净的图像。
结论： 对于这类信号，简单的网格不仅“足够好”，而且实际上更好且更快。

2. “稀疏”信号的赢家：魔力画笔（有时）

有一种特定场景，魔力画笔表现出色：锐利、简单的形状。

类比： 想象一张白底黑圆的图片。
网格的挣扎： 网格必须使用数千个微小的方块来近似那个圆。除非网格非常大，否则圆的边缘看起来会很“锯齿状”（像楼梯一样）。
魔力画笔的胜利： INR 可以学习圆形的完美公式。即使使用很少的参数，它也能画出平滑的曲线边缘。
结论： 如果你的数据大部分是空白空间，仅包含少量锐利、简单的形状（比如一个 3D 龙模型或形状掩码），INR 的压缩效果会比网格更好。

“带宽”带来的惊喜

论文中发现了一个关于模型如何处理细节的规则，他们称之为“带宽”。

把带宽想象成模型能看到的细节的“限速”。
他们发现，对于网格，随着你给予更多内存，限速会稳步上升。这是一个可预测的直线。
对于 INR，限速也会上升，但它们会撞墙。无论你如何增加 INR 的规模，它在处理“嘈杂”或“稠密”图像时，都很难超越网格。网格天生更擅长处理现实世界的噪声。

“速度”因素

网格： 就像计算器。你按下按钮，它立即给出答案。它训练（学习）得非常快。
INR： 就像一个试图在脑海中解决复杂数学题的学生。它需要很长时间来摸索模式，并且有时会卡住或犯错（产生伪影）。
结果： 网格的训练速度通常比最慢的 INR 模型快 10 倍。

总结：何时使用哪种工具？

论文最后为任何试图压缩或表示信号的人提供了一个简单的指南：

如果你处理的是“稠密”数据，请使用网格（马赛克）： 这包括自然照片、医疗 CT 扫描，或任何看起来是由色彩和纹理混合而成的图像（没有清晰、简单的形状）。它更快、更便宜，且效果更好。
如果你处理的是“稀疏”数据，请使用 INR（魔力画笔）： 这包括 3D 物体形状、轮廓或掩码，即信号主要由空白空间和锐利、干净的边缘组成。

核心结论：
不要假设“最聪明”的工具（神经网络）总是最好的。有时候，最简单的工具（网格）才是最强大的，尤其是当你试图压缩现实世界中那些混乱且充满细节的事物时。

技术摘要：在压缩稠密信号方面，网格的表现通常优于隐式神经表示

问题陈述

隐式神经表示（Implicit Neural Representations, INRs）近期在成像和逆问题领域展现了令人印象深刻的能力，能够以紧凑的内存占用提供高感知质量。然而，其基本容量、隐式偏置（implicit biases）以及缩放行为仍未得到充分理解。这种缺乏清晰性的现状限制了从业者部署 INR 的信心，并阻碍了未来信号表示技术的发展。本文旨在解决的核心问题是：确定在何种情况下，INR 相较于传统的基于网格（grid-based）的表示及混合方法具有真正的优势，特别是针对不同带宽和维度的信号，不同方法是如何分配容量的。

方法论

作者通过在一系列 2D 和 3D 任务中对比多种不同的信号表示策略，进行了一项全面的实证研究。评估框架包括：

对比的表示方法：

纯 INR： 傅里叶特征网络（FFN）、SIREN 和 WIRE。
混合模型： GA-Planes 和 Instant-NGP（多分辨率哈希编码）。
离散/显式： 高斯泼溅（Gaussian Splatting，在本研究中仅限于 2D）。
自适应带宽： BACON。
基准（Baseline）： 一个带有插值（2D 使用双三次插值，3D 使用三线性插值）的简单正则化网格。

数据集与信号：

合成信号： 用于测试不同有效带宽（0.1 到 0.9）和结构复杂性的信号。包括带限噪声（Bandlimited noise）、球体（随机排列的圆盘/球体）、谢尔宾斯基分形（Sierpinski fractals）以及径向星形目标（radial Star Target）。
真实世界信号： DIV2K 高分辨率图像、2D CT 扫描（胸部和放射治疗规划）以及 3D Stanford Dragon 模型（包括体积占用和表面表示）。

任务：
模型在以下方面进行了评估：

过拟合（Overfitting）： 在固定参数预算（从 $1 \times 10^4$ 到 $3 \times 10^6$ 个参数）下拟合信号。
逆问题（Inverse Problems）： 计算断层扫描（CT）重建、去噪和超分辨率（SR）。

指标：
性能通过 2D 任务中的峰值信噪比（PSNR）、结构相似性指数（SSIM）和学习感知图像块相似度（LPIPS），以及 3D 任务中的 PSNR 和交并比（IoU）进行量化。同时测量了训练和推理时间，以评估计算效率。

核心贡献

量化容量缩放： 研究表明，对于 2D 带限信号，大多数模型在模型大小与所能表示的有效带宽之间呈现出近似幂律关系。
识别网格优越性： 作者证明，对于许多涉及稠密信号的任务（特别是带限噪声和自然图像），一个简单的带有插值的正则化网格在训练速度更快，且在相同参数量下能达到更高或相当的质量。
定义 INR 优势区间： 本文确定了 INR 和混合模型表现优于网格的特定且有限的场景。这些场景主要涉及具有潜在低维结构的信号，例如形状占用掩码（shape occupancy masks）、物体表面，或具有恒定值区域和锐利边缘的信号（例如 3D Dragon 表面或谢尔宾斯基分形）。

结果

过拟合稠密信号：

带限信号： 对于 2D 和 3D 带限信号，简单的网格基准在所有模型规模下都始终优于其他表示方法。INR 和混合模型未能可靠地超越网格，这表明它们并非处理稠密、类噪声信号的通用解决方案。
自然图像： 在 DIV2K 数据集上，网格基准与其他方法同样具有竞争力，在过拟合和超分辨率任务中往往能匹配甚至超过它们。
伪影（Artifacts）： 不同的参数化方式诱发了不同的伪影。FFN 和 SIREN 表现出正弦波或混叠类伪影；WIRE 在 3D 中引入了纹理伪影；Instant-NGP 由于小尺度下的哈希冲突产生了噪声伪影；GA-Planes 则显示出轴对齐伪影。网格基准主要表现为在强压缩下超奈奎斯特（super-Nyquist）细节的模糊。

逆问题：

CT 与去噪： 在涉及自然 2D 信号的计算机断层扫描和去噪任务中，带有全变分（TV）正则化的简单网格在所有模型规模下均接近最优，其训练速度更快且质量更高。
3D 超分辨率： 在 3D 超分辨率任务（Stanford Dragon 占用与表面）中，INR（特别是 GA-Planes 和 WIRE）以及混合模型在最小模型规模时优于网格。这符合“INR 在信号具有低维结构（如嵌入在 3D 空间中的 2D 表面）时表现出色”的发现。

计算效率：

网格模型提供了最快的推理和训练时间。
纯 INR 需要最多的计算时间（在某些情况下约为次慢模型的 10 倍）。
混合模型和离散模型处于中间水平，尽管它们的训练时间通常与模型大小无关，而纯 INR 则表现出计算时间随模型大小增加而增长的特性。

重要性与主张

本文声称为根据数据特征和应用场景选择信号表示提供了实践指导。

针对稠密信号： 作者得出结论，对于涉及稠密自然信号（如 CT 扫描和自然图像）的广泛应用，简单的带有插值的网格仍然是最实用且有效的选择。它提供了简洁性、可解释性、计算效率，并通常具有更高的重建质量。
针对结构化信号： 当信号具有简单的底层低维结构（如物体边缘、表面或占用掩码）时，INR 和混合模型具有明显的优势。
未来方向： 该研究指出，目前的 INR 尚未实现有效压缩“稠密”自然信号的目标，这意味着未来的发展应侧重于理解并利用那些使 INR 在稀疏或结构化领域取得成功的特定结构偏置，而不是将其视为网格的通用替代品。

研究强调，INR 的“无限分辨率”主张并不意味着在所有范畴内都能获得优于基于正则网格的采样理论保证的性能。