💻 computer science

Low-Pass Filtering Improves Behavioral Alignment of Vision Models

该论文指出，通过在测试阶段对判别式模型（如 CLIP）应用低通滤波（即图像模糊）来去除高频空间信息，可以显著消除生成式模型在行为对齐上的优势，从而将深度神经网络与人类视觉行为的一致性提升至新的最高水平，并揭示了最优滤波特性与人类视觉系统频率响应之间的内在联系。

原作者： Max Wolff, Thomas Klein, Evgenia Rusak, Felix Wichmann, Wieland Brendel

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Max Wolff, Thomas Klein, Evgenia Rusak, Felix Wichmann, Wieland Brendel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于人工智能（AI）如何更像人类看世界的有趣发现。

简单来说，研究人员发现：如果我们给 AI 的眼睛戴上一副“模糊眼镜”，它理解世界的方式就会突然变得非常像人类。

下面我用几个生活中的比喻来拆解这个发现：

1. 背景：AI 和人类的“看世界”方式不同

想象一下，你和一个机器人一起看一张猫的照片。

人类：我们会看猫的形状（圆圆的头、尖尖的耳朵、毛茸茸的身体）。
AI（以前的模型）：它们往往太关注纹理（比如猫毛的纹路、背景的杂色）。如果给猫穿上一件花哨的毛衣，AI 可能会因为毛衣的纹理而把它认成别的动物，而人类依然能认出那是猫。

这种差异被称为“形状偏差”（Shape Bias）的缺失。以前的研究认为，要解决这个问题，必须让 AI 像人类一样去“生成”图像（比如用生成式 AI），而不是单纯地“识别”图像。

2. 核心发现：原来是“分辨率”在捣鬼

最近，一种叫 Imagen 的生成式 AI 表现出了惊人的“人类行为”，它非常擅长认形状。研究人员原本以为这是因为它的“生成式”大脑很厉害。

但这篇论文的作者（Max Wolff 等人）发现了一个被忽略的细节：
Imagen 在训练时，会把输入的图片强行缩小到 64x64 像素（非常模糊），然后再处理。

这就好比：

你让一个视力极好的人（高分辨率 AI）去猜一个模糊的剪影，他被迫忽略细节，只能看大轮廓（形状）。
而让一个视力极好的人看高清照片，他反而容易被细节（纹理）带偏。

结论：Imagen 之所以像人，不是因为它会“生成”图片，而是因为它被迫看模糊的图片。那个“缩小图片”的操作，本质上就是一个低通滤波器（Low-pass Filter），也就是把高频的“细节噪音”过滤掉，只留下低频的“形状轮廓”。

3. 实验：给普通 AI 戴上“模糊眼镜”

为了验证这个想法，作者们做了一个大胆的实验：
他们拿了一个普通的、非常聪明的 AI 模型（CLIP），不重新训练它，只是在它“看”图片之前，先给图片加上一层高斯模糊（就像给镜头抹了凡士林，或者把照片放远看）。

结果令人震惊：

这个普通的 AI 戴上“模糊眼镜”后，它的判断错误模式瞬间变得和人类一模一样。
它的“形状偏好”大幅提升，甚至超过了之前被认为最像人的 Imagen。
这就像给一个近视眼的人配了眼镜，他反而看清了世界的本质。

4. 为什么这很合理？（人类的眼睛也是“低通滤波器”）

作者进一步解释了为什么这行得通。

人类的眼睛：我们的眼球光学结构（晶状体等）和视网膜，本身就会过滤掉一部分高频细节。特别是在快速看东西时（比如论文中测试的 200 毫秒，眨眼间），人眼看到的其实就是一个模糊的轮廓，而不是高清细节。
AI 的误区：以前的 AI 模型试图用“超高清”的视角去分析图片，这反而违背了人类视觉系统的生理机制。

比喻：

想象你在听一首交响乐。

普通 AI：试图听清每一个乐器的每一个音符（高频细节），结果被噪音干扰，听不出旋律。

人类视觉：因为耳朵（眼睛）的物理限制，自动过滤了一些尖锐的高音，只保留了主旋律（形状）。

这篇论文的做法：主动把 AI 的“耳朵”捂起来一点，让它只听到主旋律，结果它反而听懂了人类想听什么。

5. 更深层的启示：不需要“生成式”也能像人

以前大家认为，要让 AI 像人，必须用复杂的“生成式”方法（让 AI 自己画出来）。
但这篇论文告诉我们：不需要那么复杂！
只要我们在测试时，简单地给输入图片加一点模糊（模拟人眼的低通滤波），普通的判别式 AI 就能达到甚至超越生成式 AI 的“人类相似度”。

6. 关于“完美”的界限

文章最后还做了一个数学分析，画出了一条“帕累托前沿”曲线。

这就像是在说：AI 的准确率和像人的程度之间存在一种权衡。
如果你追求 100% 的准确率（看清所有细节），你就很难像人（因为人也会看错）。
如果你稍微牺牲一点准确率（允许看模糊点），你就能极大地提升像人的程度。
目前的 AI 还没有达到这条曲线的极限，未来还有很大的提升空间。

总结

这篇论文就像是一个给 AI 做“视力矫正”的故事。
它告诉我们，AI 之所以不像人，有时候不是因为它不够聪明，而是因为它看得太清楚了。通过简单地给输入图片加一点“模糊滤镜”，模拟人类眼睛在快速观察时的生理特性，就能让 AI 瞬间变得非常“人性化”。

这不仅是一个技术突破，也让我们对“人类视觉系统是如何工作的”有了更深的理解：有时候，看不清细节，反而能看清本质。

这是一篇发表于 ICLR 2026 的会议论文，题为《低通滤波 improves 视觉模型的行为对齐》（LOW-PASS FILTERING IMPROVES BEHAVIORAL ALIGNMENT OF VISION MODELS）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

尽管深度神经网络（DNNs）在计算机视觉基准测试中表现优异，但它们与人类视觉行为仍存在显著差异。这种差异主要体现在两个关键指标上：

形状偏差（Shape Bias）缺失：人类倾向于根据物体的形状进行分类，而 DNNs 往往过度依赖纹理线索。
错误一致性（Error Consistency, EC）低：DNNs 在哪些图像上犯错与人类观察者的不一致。

近期有研究（如 Jaini et al., 2023）提出，生成式模型（如 Imagen）比判别式模型（如 CLIP）具有更好的人类行为对齐性，并推测这归因于生成式目标本身。然而，本文作者提出了一个不同的假设：Imagen 表现出的高对齐性并非源于其生成式目标，而是源于其输入处理中的一个看似无害的操作——将输入图像下采样至 64x64 分辨率。这一操作本质上是一个低通滤波器（Low-Pass Filter），去除了高频信息。

核心问题：是否可以通过在测试时（Test-time）对判别式模型应用低通滤波（模糊或下采样），来显著提升其行为对齐性，而无需重新训练或使用生成式目标？

2. 方法论 (Methodology)

作者通过一系列受控实验和理论分析来验证上述假设：

测试时低通滤波：
- 在模型推理前，对输入图像应用高斯模糊（Gaussian Blur）或双三次插值下采样（Resize）操作。
- 使用 Model-vs-Human (MvH) 基准测试（Geirhos et al., 2021），该基准包含 16 个超类，并在 200ms 的短时呈现下评估模型与人类在形状偏差、错误一致性和分布外（OOD）准确率上的表现。
- 对比了 OpenCLIP ViT-H-14 等判别式模型在原始输入与经过不同强度低通滤波输入下的表现。
最优滤波器学习：
- 为了确定是否存在比简单高斯模糊更优的滤波器，作者在傅里叶空间中学习了一个最优滤波器，以最大化与人类观察者的错误一致性。
- 使用梯度下降优化滤波器参数，并施加稀疏性和平滑性正则化以防止过拟合。
人眼对比敏感度函数（CSF）拟合：
- 将学习到的最优滤波器频谱与人类视觉系统的对比敏感度函数（CSF）进行对比。
- 考虑到 MvH 基准中 200ms 的短时呈现特性，作者计算了在此时间尺度下，高斯滤波器对 CSF 的拟合程度（使用加权均方根误差 LW RMSE）。
帕累托前沿（Pareto Frontier）分析：
- 分析 MvH 基准中 OOD 准确率与错误一致性之间的权衡关系。
- 计算了该基准上所有可能的帕累托最优解的前沿，以确定理论上的性能上限（Ceiling）。

3. 主要贡献 (Key Contributions)

重新解释生成式模型的优势：证明了 Imagen 等生成式模型之所以表现出更高的人类行为对齐性，主要是因为其输入分辨率较低（64x64），即隐含的低通滤波作用，而非其生成式目标本身。
测试时滤波的有效性：展示了在测试时简单地模糊图像（而非在训练时）就能显著提升判别式模型（如 CLIP）的形状偏差和错误一致性，效果甚至超过了之前的 SOTA 生成式模型。
生理机制解释：揭示了最优低通滤波器的频谱与人类视觉系统在短时呈现（200ms）下的对比敏感度函数（CSF）高度吻合。这表明低通滤波之所以有效，是因为它模拟了人眼光学系统和早期神经处理（视网膜/LGN）对输入信号的过滤方式。
基准性能上限分析：首次计算了 MvH 基准的帕累托前沿，揭示了 OOD 准确率与错误一致性之间存在固有的权衡（Trade-off），并量化了当前模型与理论最优解之间的差距。

4. 实验结果 (Results)

错误一致性（EC）显著提升：
- 使用 $\sigma=2.5$ 像素的高斯模糊处理 OpenCLIP ViT-H-14，其错误一致性从基线的 0.28 提升至 0.37。
- 这一结果超过了 Imagen 的 0.31，将 DNN 与人类之间的对齐差距缩小了一半。
- 通过傅里叶空间学习到的最优滤波器甚至达到了 0.38 的 EC。
形状偏差（Shape Bias）提升：
- 低通滤波单调地增加了形状偏差。模糊后的 ViT-H-14 形状偏差达到 0.96，接近人类水平（0.96），远超原始模型的 0.60。
泛化性：
- 该效应在多种架构（ResNet, ViT, SWSL, BiT 等）上均有效，尤其是对于具有较小 Patch Size（如 14x14）的模型效果更为显著，因为它们原本更依赖高频纹理。
准确率与一致性的权衡：
- 低通滤波导致 OOD 准确率略有下降（约 3-6 个百分点），但这被认为是必要的，因为去除高频特征迫使模型关注更符合人类视觉策略的形状特征。
- 帕累托前沿分析显示，最大可能的错误一致性约为 0.674（需要 OOD 准确率约为 0.67），表明基准测试尚未饱和，仍有提升空间。

5. 意义与结论 (Significance & Conclusion)

理论意义：挑战了“生成式目标是实现人类级视觉对齐必要条件”的观点。研究表明，通过模拟人类视觉系统的物理限制（即低通滤波），判别式模型也能达到甚至超越生成式模型的行为对齐水平。
对视觉科学的启示：结果支持了人类视觉系统在短时呈现下表现为低通滤波特性的假设。DNNs 与人类行为的差异部分源于 DNNs 能够利用人类无法感知的高频信息。
实践价值：提供了一种简单、无需重新训练（Test-time only）的方法来显著提升模型在鲁棒性和行为对齐方面的表现。这为构建更符合人类认知的 AI 视觉系统提供了新的方向。

总结：本文通过严谨的实验证明，低通滤波是连接 DNN 与人类视觉行为的关键桥梁。通过模拟人眼的光学模糊和神经处理特性，即使是标准的判别式模型也能展现出惊人的人类行为一致性，这为理解视觉系统的对齐机制提供了新的视角。