🤖 machine learning

What Cohort INRs Encode and Where to Freeze Them

本文通过确定最优冻结层对应最高权重稳定秩，并借助稀疏自编码器分析揭示 SIREN 与傅里叶特征 MLP 编码了截然不同的表示——即局部坐标瓦片与跨图像轮廓——从而首次阐明了隐式神经表示中可迁移表示的机制。

原作者： Vasiliki Sideri-Lampretsa, Sophie Starck, Robbie Holland, Julian McGinnis, Daniel Rueckert

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Vasiliki Sideri-Lampretsa, Sophie Starck, Robbie Holland, Julian McGinnis, Daniel Rueckert

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对该论文的解读。

宏观图景：“通用翻译器”问题

想象你有一支专家艺术家团队（称为INRs或隐式神经表示）。每位艺术家都被雇佣来绘制一幅特定的图片。要画一张脸，他们花费数小时学习那张脸的确切样貌；要画一张脑部扫描图，他们则必须从头开始，重新学习一遍。

这既缓慢又昂贵。这篇论文提出了一个问题：我们能否先教会这些艺术家一项“通用技能”？ 如果我们在一大组（一个“队列”）人脸上进行训练，我们能否利用这些训练成果，以快得多的速度画出一张新的脸？

研究人员发现，是的，你可以重用训练成果，但你必须非常小心地决定哪些部分的艺术家大脑需要冻结（锁定在原地），哪些部分需要让他们重新学习。

发现一：冻结的“甜蜜点”

当你在一组 10 张人脸上训练一位艺术家时，他们会发展出一个共享的“编码器”（大脑中理解坐标和形状的部分）和一个独特的“解码器”（大脑中绘制特定人脸的部分）。

研究人员问道：如果我们想画一张新脸，应该保留多少旧训练成果作为冻结状态？

旧方法： 标准方法（称为 STRAINER）试图在绘制新图片时更新网络的每一层。
新发现： 研究人员发现了一个“甜蜜点”。在网络中间存在某一层，该层信息的“权重”最为稳定且有用。
- 类比： 想象网络是一座多层建筑。一楼是地基，顶层是屋顶，中间楼层是居住空间。研究人员发现，如果你将建筑冻结到拥有最坚固、最复杂结构梁的楼层（通过某种称为“稳定秩”的指标来衡量），你会得到最佳结果。
- 结果： 通过将网络恰好冻结在这个“最强楼层”，并让其余部分进行适应，新绘制的图片往往优于旧方法。这就像保留房屋坚实的地基和墙壁，但让室内设计师为新主人重新布置家具。

发现二：两种不同类型的“肌肉记忆”

该论文研究了两种不同类型的艺术家（网络架构）：SIREN 和 FFMLP。尽管它们在学习画人脸方面表现同样出色，但它们的学习方式却截然不同。研究人员使用了一种称为**稀疏自编码器（SAE）**的特殊工具，潜入它们的大脑内部，观察它们实际上在“思考”什么。

将 SAE 想象成一种翻译器，它将艺术家的思想分解为独立的“原子”或构建模块。

1. SIREN：“瓷砖制造者”

思考方式： SIREN 艺术家学会了将坐标平面铺上瓷砖。
类比： 想象地板被网格覆盖，上面铺满了许多 distinct 的小瓷砖。每块瓷砖覆盖地板上特定的小区域。如果你想画一个鼻子，艺术家只使用“鼻子区域”的瓷砖；如果你想画下巴，他们则使用“下巴区域”的瓷砖。
行为： 这些“原子”是局部化的。它们不在乎图片是什么（是人脸还是大脑），只在乎它们在网格上的位置。
测试： 如果你移除其中一块“瓷砖”（消融），造成的损害微乎其微，且仅限于那个特定区域。图片的其余部分依然完美。

2. FFMLP：“幽灵追踪者”

思考方式： FFMLP 艺术家学会了追踪它们记忆中的特定图像的轮廓。
类比： 想象这些艺术家不使用网格。相反，他们脑海中漂浮着记忆中的 10 张脸的“幽灵轮廓”。每次作画时，他们都在追踪这些特定的幽灵轮廓。
行为： 这些“原子”是跨越整张图像的。它们覆盖整个画面，并追踪记忆中人脸的特定曲线。
测试： 如果你只移除一个这样的“幽灵轮廓”（即使总共有 4000 个），整张图片就会分崩离析。质量会急剧下降（高达 10.6 dB），因为艺术家失去了全局形状的关键部分。

这为何重要（根据论文观点）

我们知道在哪里冻结： 我们无需猜测。我们可以计算各层的“稳定秩”，从而找到网络已学习到最多可重用结构的确切位置。
我们知道学到了什么：
- SIREN 学习了一种通用的、与内容无关的空间地图（有利于泛化）。
- FFMLP 学习了特定的、被记忆的形状（有利于拟合，但脆弱）。
因果关系： 论文证明，这些“原子”不仅仅是随机噪声；它们实际上是图像的成因。移除一个 SIREN 原子只会伤害一个小点；移除一个 FFMLP 原子则会伤害整张图片。

总结

该论文揭示，当训练 AI 来表示信号（如图像）时，存在一个特定的“中间层”，它承载着最具可迁移性的知识。此外，不同的 AI 架构以相反的方式学习这些知识：一种构建了灵活的局部网格（SIREN），而另一种则记忆了全局的特定形状（FFMLP）。理解这一点有助于我们构建更好的系统，使其能够泛化到新任务，而不仅仅是记忆旧任务。

技术摘要：群组 INR 编码的内容及冻结位置

问题陈述

隐式神经表示（INRs）是基于坐标的多层感知机（MLPs），用于学习信号的连续函数近似。标准 INR 的主要局限性在于，每个网络都从零开始拟合单个信号，其特征针对该特定信号的形态进行了精细调整。这导致了高昂的每信号优化成本。最近的研究，特别是 STRAINER，试图通过训练共享早期编码器层但保持每信号解码器的 INR“群组”来缓解这一问题。共享的编码器随后被用作新信号的初始化。

然而，关于这种迁移学习范式，仍有两个关键问题未得到解答：

共享编码器中的哪些层实际上携带了可迁移的表示？
这些特定层编码了什么？

当前的 STRAINER 协议在测试时拟合过程中更新每一层，阻碍了对单层可迁移性的隔离研究。此外，尽管视觉和语言领域的迁移学习通常将可迁移特征定位到中间层，但尚不清楚这一规律是否适用于 INR，特别是考虑到像 SIREN 和傅里叶特征 MLP（FFMLP）这样占主导地位的主干网络，通过截然不同的机制对坐标位置进行编码。

方法论

作者提出了一种双管齐下的诊断方法，在三个数据集（CelebA-HQ、OASIS-MRI、Kodak）上使用两种主干网络（SIREN 和 FFMLP）分析群组训练的 INR。

1. 通过权重稳定秩定位可迁移表示

为了识别哪些层迁移效果最好，作者引入了一种测试时冻结扫描协议。他们不更新所有层，而是将编码器冻结至特定深度 $\tau$ ，并重新初始化剩余层和解码器头。他们评估了新信号在所有可能冻结深度下的性能（PSNR）。

为了先验地预测最佳冻结深度，他们利用了训练好的编码器层的权重稳定秩（ $sr(W_\ell)$ ）。与依赖于特定输入分布的激活秩不同，权重稳定秩是学习到的权重的内在属性，衡量了由权重矩阵张成的子空间的有效维度。假设是：具有最高权重稳定秩的层代表了“坐标嵌入”层，该层学习了群组中最可复用的结构信息。

2. 通过稀疏自编码器（SAEs）表征编码表示

为了确定可迁移层编码了什么，作者将**稀疏自编码器（SAEs）**应用于训练好的编码器的隐藏激活。SAEs 将密集激活分解为稀疏“原子”的过完备字典。

架构：为每个隐藏层的激活拟合了一个 TopK SAE，包含 $n=4096$ 个原子，稀疏度 $k=32$ 。
诊断：
- 原子图：可视化原子在坐标域上的空间激发模式。
- 单原子消融：系统性地移除单个原子（将其贡献置零），以测量其对最终信号重建（PSNR 下降）的因果影响。

关键结果

1. 最佳冻结深度与峰值权重稳定秩重合

实验表明，最佳冻结深度 $\tau^\star$ 始终与群组训练编码器中表现出峰值权重稳定秩的层对齐。

SIREN：最佳冻结深度为 $\tau^\star = 1$ 。第一个可训练层（ $W_1$ ）充当涌现的位置嵌入，实现了最高的权重秩。
FFMLP：最佳冻结深度为 $\tau^\star = 0$ 。由于 FFMLP 在第一个可训练层之前使用固定的傅里叶投影，嵌入发生在外部，而第一个可训练层（ $W_0$ ）在此高秩输入上操作。
性能：在此特定深度进行冻结，其表现与标准 STRAINER 方案（更新所有层）相当或显著更优。值得注意的是，在高分辨率 Kodak 数据集上，冻结协议使 SIREN 平均提升了 +3.1 dB，FFMLP 提升了 +1.3 dB，因为它防止了模型将有限的测试时优化预算浪费在重新学习坐标嵌入上。

2. 定性不同的字典：定位 vs. 记忆

尽管实现了相当的群组拟合质量，SIREN 和 FFMLP 学习到了根本不同的内部表示：

SIREN（局部化）：SAE 原子是空间局部化的，平铺在坐标平面上。每个原子在特定的受限区域内激发，独立于具体的群组内容。这表明 SIREN 学习了一种与内容无关的位置编码。
FFMLP（图像跨度/记忆化）：原子是跨越图像且弥散的。它们追踪记忆化群组信号的轮廓（例如 CelebA 中的面部特征，OASIS 中的大脑解剖结构）。字典集中在少数几个覆盖图像大部分区域的大幅度原子上。

3. 通过消融进行因果验证

单原子消融证实了这些字典的因果作用：

SIREN：消融单个原子导致的 PSNR 下降（2–3 dB）严格限制在该原子激发的空间区域内。其他原子补偿了图像的其余部分。
FFMLP：消融单个原子导致全局退化，整个图像的 PSNR 下降高达10.6 dB。这表明 FFMLP 依赖于少数几个“超级原子”来重建全局信号结构，实际上是对群组内容进行了记忆。

意义与主张

本文声称提供了关于群组训练 INR 中什么发生了迁移的首个机制性解释。

诊断工具：权重稳定秩指标提供了一种可计算的、无需目标数据的方法来识别最佳可迁移层深度，消除了对超参数扫描的需求。
可解释性：通过将 INR 激活分解为稀疏原子，作者将“黑盒”激活转化为可检查的字典原子，揭示了 SIREN 编码可复用的位置结构，而 FFMLP 编码记忆化的内容。
架构洞察：研究结果表明，架构选择（SIREN 与 FFMLP）决定了网络是学习可泛化的结构先验，还是过拟合到记忆化的群组信号。
未来方向：这些工具为表征 INR 编码以及设计专门用于泛化而非记忆化的架构开辟了一条道路。

作者指出了局限性，包括分析目前仅限于 SIREN 和 FFMLP 主干网络，尚未表征单个原子的语义含义（例如边缘、颜色），也未探索超越单原子消融的引导重建。