🤖 AI

The Importance of Phase in Neural Representations: An Internal Oppenheim-Lim Test of Image Classifiers

这项研究表明，包括卷积神经网络（CNN）和视觉 Transformer 在内的深度图像分类器，在内部主要通过相位或符号信息而非幅度来编码图像身份，从而为这些架构之间的纹理-形状差距提供了一种机制性的解释。

原作者： Alper Yıldırım

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Alper Yıldırım

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有两张不同的照片：一张猫的照片和一张狗的照片。现在，想象你可以提取猫的“骨架”（它的轮廓、边缘以及事物的排列位置），然后将其粘贴到狗的“血肉”（它的颜色、亮度与纹理）之上。

在1981年，科学家奥本海姆（Oppenheim）和林（Lim）用数学实现了类似的操作。他们发现，如果交换一张图像的相位（结构/骨架）与另一张图像的幅度（能量/纹理），生成的图像看起来会更像那个捐献了“骨架”的图像。大脑识别的是形状，而非纹理。

这篇论文提出了一个引人入胜的问题：现代AI图像分类器在它们的“大脑”（隐藏层）内部是否也是以同样的方式运作的？ 它们是依赖于“骨架”（相位）来识别物体，还是会被“血肉”（幅度/纹理）所干扰？

以下是研究人员发现的内容，使用了简单的类比：

实验：“奇美拉”测试

研究人员在AI的大脑内部创建了“奇美拉”图像。他们提取了处理猫图像的神经网络中间层的特征，保留了猫的亮度/纹理（幅度），但换入了狗的结构轮廓（相位）。然后他们询问AI：“这是猫还是狗？”

他们对四种不同类型的AI模型进行了这项测试：

PRISM2D： 一种利用复杂数学构建的模型，天生能够处理“方向”（类似于指南针）。
GFNet： 一种通过“傅里叶透镜”（将图像分解为波）来观察图像的模型。
ViT (Vision Transformer)： 一种现代且流行的模型，它通过将图像分割成小块（patches）来观察。
ResNet： 一种经典的深度模型，它使用“ReLU”（一种会切断负数的数学门控）。

重大发现：“骨架”胜出

在几乎所有情况下，AI都追随了骨架的捐献者。

如果奇美拉图像具有猫的纹理但具有狗的结构，AI会说：“那是狗。”
幅度是可丢弃的： 研究人员尝试删除了所有的特定纹理信息（用通用的平均纹理代替），AI仍然能得出正确的答案。
相位是本质的： 如果他们打乱了结构（相位）但保留了纹理，AI就会感到困惑并进行随机猜测。

类比： 想象你在人群中试图辨认一个人。如果你给他们一件普通的、模糊的外套（幅度），但保留了他们独特的脸型和姿态（相位），你仍然可以认出他们。但如果你给他们一件陌生人的完美高清外套，却把他们的脸型搞乱了，你就无法辨认出是谁。令人惊讶的是，AI学会了忽略“外套”，而完全专注于“脸型”。

转折点：不同的模型，不同的路径

虽然所有模型最终都依赖于“骨架”，但它们实现这一目标的方式各不相同：

“早期拥护者”（ViT, PRISM2D, GFNet）： 这些模型几乎立即意识到了结构的重要性。在ViT中，“符号”（phase的一个简单版本）从第一层开始就是主要的线索。它们就像是那些立刻观察犯罪现场轮廓的侦探。
“大器晚成者”（ResNet）： 这个模型很棘手。起初，它似乎忽略了结构而依赖纹理。为什么？因为ResNet有一个“门”（ReLU），它会切断负数。这个门将结构性的线索隐藏在了亮度（幅度）之中。
- 修复方法： 当研究人员在门关闭之前进行观察时，他们发现结构性线索一直都在，只是被隐藏起来了。
- 最终手段： 到最后，ResNet会将所有的这些结构信息折叠进一个单一的“平均亮度”（DC项）数值中，从而做出最终决定。这就像是一个侦探在整个调查过程中都在关注细节，但在最后时刻，仅仅通过瞥一眼证据的总权重来做出判决。

这为什么重要（根据论文所述）

这解释了一个长期存在的AI谜题：为什么有些模型（如CNN）会被纹理所迷惑（因为认为猫的毛发纹理像狗，从而误判），而其他模型（如Transformer）则在识别形状方面表现得更好？

论文认为，这并不是说一个模型比另一个模型“更好”。这关乎模型何时以及如何致力于“骨架”编码。

有些模型很早就致力于形状。
有些模型直到最后才将形状隐藏在纹理之中。
但在做出最终决定时，它们全都依赖于形状（相位/符号），而非纹理（幅度）。

总结

这篇论文证明了，在现代图像分类器的“黑盒”内部，图像的结构才是身份的真正载体，而纹理在很大程度上是模型可以忽略的噪声。不同的架构虽然有不同的“秘密语言”来编码这种结构，但它们都遵循同一个基本规则：形状比风格更重要。

技术摘要：神经表示中相位的重要性

问题陈述
自然图像在其傅里叶表示中表现出一种根本性的不对称性：相位谱编码了边缘、轮廓和空间排列（身份信息），而幅度谱则编码了与内容无关的能量分布。Oppenheim 和 Lim (1981) 的经典研究表明，仅从相位重建图像可以得到可辨识的结果，而仅从幅度重建则不行。虽然现代图像分类器是在没有显式傅里叶约束的情况下在像素上进行端到端训练的，但目前尚不清楚这种相位-幅度不对称性是否在它们的潜在表示中得到了恢复。以往的研究将相位和幅度分别视为数据增强或领域自适应中的“内容”和“风格”，但这些方法严格在像素空间内运行。本文探讨了训练好的图像分类器是否在内部将类别身份编码在一个类相位的组件中，以及这种编码是否对最终预测具有因果性。

方法论
作者将 Oppenheim–Lim 实验改编为一种应用于训练神经网络隐藏层的因果干预框架。核心流程包括：

奇美拉（Chimera）构建： 给定两张不同类别的图像 $A$ 和 $B$ ，作者在特定层 $\ell$ 构建一个“奇美拉”隐藏状态。该状态保留图像 $A$ 的幅度（ $|h_A|$ ），但采用图像 $B$ 的类相位组件（ $\phi(h_B)$ ）。
相位定义： “相位”的定义根据架构的表示空间进行适配：
- 复数流（Complex Stream）： 对于复值网络（PRISM2D），相位定义为逐通道的复数角度（ $h/|h|$ ）。
- 实值特征图（Real Feature Maps）： 对于实值网络，相位通过对空间网格进行二维傅里叶变换来定义（空间-频谱相位）。
- 实标量（Real Scalars）： 对于标准的实值激活，相位退化为符号（ $\text{sign}(h)$ ），作为跨所有架构的通用探测器。
干预： 将奇美拉状态注入网络，并完成前向传播。记录预测结果，以确定模型是遵循“幅度捐赠者”（ $A$ ）还是“相位/符号捐赠者”（ $B$ ）。
评估的模型： 研究涵盖了四种架构以测试泛化性：
- PRISM2D： 具有相位保持激活函数的复值模型。
- GFNet-Ti： 在傅里叶域进行滤波的实值频谱模型。
- ViT-B/16： 标准视觉 Transformer。
- ResNet-50： 标准卷积神经网络。
对照实验： 为了排除平凡解释（例如，幅度随深度增加而变得无信息），作者采用了包括以下内容的对照组：
- 幅度替换： 用批次平均幅度替换所有图像特定的幅度。
- 相位破坏： 在保持幅度不变的情况下随机化相位。
- 仅 DC 项交换： 隔离来自空间结构的全局均值（DC 项）。
- 几何检查： 测量奇美拉与捐赠者之间的余弦相似度，以确保奇美拉并非简单地重建捐赠者状态。

关键结果

相位/符号主导地位： 在所有四种架构中，到读取阶段为止，预测均以高概率遵循相位（或符号）捐赠者。
- ViT-B/16： 在第一个 block 就已经确定了基于符号的身份编码，到最终层时遵循相位的概率达到 ~91%。
- PRISM2D & GFNet： 在早期到中期深度构建相位依赖性，达到 ~75–76%。
- ResNet-50： 最初似乎打破了这一模式，因为在 ReLU 之后交换符号没有效果（因为 ReLU 移除了符号信息）。然而，在残差块的最后一个 ReLU 之前进行干预，揭示了在后期 block 中存在强大的潜在符号编码（~88%），这与 ViT 类似。
幅度不变性： 删除所有图像特定的幅度信息（替换为批次平均幅度）后，频谱模型和 ViT 的准确率接近基准水平。相反，破坏相位会导致准确率降至接近随机水平。
机制差异：
- ViT 较早地表达身份编码并在整个过程中保持该编码。
- 频谱模型 在早期到中期将身份整合进相位中。
- ResNet 将身份从早期的分布式空间结构传输到后期 block 中的池化可读通道编码（特别是 DC 项）。CNN 与注意力模型之间的“纹理-形状”差距被重新定义，不再是范畴性的相位 vs 幅度之分，而是相位/符号编码在何时以及在哪种基底下表达的差异。

意义与主张
本文声称提供了一个统一的、具备读取感知能力的解释，说明多样化的图像分类器如何收敛于一个相位/符号主导的身份编码。

因果证据： 不同于以往基于增强的研究，这项工作通过展示身份可以通过网络内部的相位/符号操作在图像之间进行“移植”，从而建立了因果关系。
重构纹理-形状差距： 纹理偏向型 CNN 与形状对齐型注意力模型之间的行为差异，是通过身份编码的时机和几何结构来解释的。CNN（如 ResNet）将符号编码隐藏在整流函数之后，并在最后的池化层之前依赖幅度获取信号，而注意力模型和频谱模型则更早地提交相位/符号。
几何解释： 研究结果表明，线性分类器读取的是特征向量的“角度”（相位/符号）而非其“长度”（幅度）。这与机械解释性领域关于神经网络中周期性和角度表示的发现相一致。

局限性
作者指出，研究范围限于视觉模型。虽然移植方法具有模态通用性，但在图像上进行的测试最为清晰。此外，在 ImageNet-100（PRISM2D, GFNet）上训练的模型与使用 ImageNet-1k 权重的模型（ViT, ResNet）之间的比较引入了训练规模的差异，尽管作者认为模型内部的深度趋势仍然有效。此外，“相位”的定义在不同架构间存在差异（复数角度、频谱相位或标量符号），这代表了一系列相关的编码，而非单一统一的量。

实验：“奇美拉”测试

重大发现：“骨架”胜出

转折点：不同的模型，不同的路径

这为什么重要（根据论文所述）

总结

技术摘要：神经表示中相位的重要性

类似论文