Stretching Beyond the Obvious: A Gradient-Free Framework to Unveil the Hidden Landscape of Visual Invariance

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 “拉伸与挤压”（Stretch-and-Squeeze, 简称 SnS） 的新方法。为了让你轻松理解，我们可以把人工智能（AI）的视觉系统想象成一个正在学习认知的“超级侦探”，而这篇论文就是教我们如何测试这个侦探的“直觉”到底有多强、多灵活。

1. 核心问题：侦探只认“死板”的线索吗？

想象一下，你教一个侦探认“杯子”。

传统方法（找“最兴奋”的图片）： 你给侦探看一张完美的、标准的杯子照片，它说：“对！这就是杯子！”然后你试着给它看稍微歪一点、暗一点的杯子，它可能就不认识了。
传统方法的局限： 以前的技术只能告诉我们要什么样的图片能让侦探“兴奋”（比如完美的杯子），但无法告诉我们：侦探到底能容忍多大的变化？ 杯子倒过来行不行？变成红色的行不行？变成卡通画的行不行？

这就好比我们只知道侦探喜欢“完美的苹果”，却不知道他能不能认出“被咬了一口的苹果”或“烂苹果”。我们需要知道他的**“不变性”**（Invariance）——即无论苹果怎么变，只要它还是苹果，侦探都能认出来。

2. 新工具：SnS（拉伸与挤压）

作者发明了一个叫 SnS 的“魔法测试”，它不需要知道侦探内部的代码（不需要看源代码，也就是“无梯度”），只需要观察侦探的反应。

这个测试有两个相反的操作，就像玩橡皮泥：

A. “拉伸”（Stretch）：寻找“不变性”

目标： 找出那些长得完全不像原图，但侦探依然认为是“杯子”的图片。
操作：
1. 拉伸（Stretch）： 把图片在侦探的“大脑”里改变得面目全非（比如把像素彻底打乱，或者把纹理完全换掉）。
2. 挤压（Squeeze）： 同时，强行让侦探的反应保持不变（它必须依然大喊：“这是杯子！”）。
比喻： 就像你给侦探看一张**“经过极度扭曲的杯子”。如果侦探依然能认出它是杯子，说明它的“杯子概念”非常强大，不仅仅依赖形状，还能理解本质。SnS 就是专门找这种“虽然长得怪，但本质没变”**的图片。

B. “反向拉伸”：寻找“弱点”（对抗样本）

目标： 找出那些看起来和原图几乎一样，但能让侦探彻底“发疯”（认错）的图片。
操作：
1. 挤压（Squeeze）： 保持图片看起来和原图一模一样（在像素层面几乎没变）。
2. 拉伸（Stretch）： 强行让侦探的反应发生剧烈变化（从“杯子”变成“狗”）。
比喻： 就像给侦探看一张**“几乎完美的杯子”**，但里面藏了一点点人类看不见的“毒药”，导致侦探突然大喊：“这是狗！”这揭示了侦探的脆弱点。

3. 他们发现了什么？（有趣的发现）

作者用这个工具测试了两种 AI 模型：

普通 AI： 像普通学生，死记硬背。
抗干扰 AI（Robust AI）： 像经过特训的侦探，专门学过怎么防骗。

发现一：AI 的“大脑”是分层的

AI 的视觉系统像洋葱，一层层深入：

外层（像素层）： 关注颜色、明暗。SnS 发现，如果只在这里“拉伸”，AI 认出的杯子只是颜色变了、变亮了，但形状没变。
中层： 关注纹理、图案。在这里“拉伸”，AI 能认出纹理变了（比如从陶瓷变成木头）的杯子。
深层： 关注物体姿态、结构。在这里“拉伸”，AI 能认出倒过来、侧着放的杯子。

结论： AI 的“不变性”是分层建立的。越深层的 AI，越能容忍物体姿态的巨大变化。

发现二：特训过的 AI 也有“盲区”

这是最惊人的发现！

普通 AI： 在深层（理解物体姿态时）变得更聪明，人类更容易看懂它为什么认出了杯子。
特训 AI（Robust）： 在深层反而变笨了！虽然它在底层（像素层面）很稳，但一旦涉及到深层的复杂变化，它生成的“不变图片”人类反而看不懂了。

比喻：

普通 AI 像是一个直觉型艺术家，随着观察深入，它画的抽象画越来越像真的物体，人类能看懂。
特训 AI 像是一个严谨的工程师，在基础层面非常精准，但一旦到了复杂的抽象层面，它画的“不变形”图片变得怪异且难以理解，人类反而觉得它“走火入魔”了。

这说明，虽然特训让 AI 更抗干扰，但它并没有完全学会像人类那样“理解”物体的高层变化。

4. 为什么这很重要？

对 AI 科学家： 这是一个新的“显微镜”。以前我们只能看 AI 认不认得图片，现在我们可以画出 AI 的**“思维边界”**。我们知道它到底能容忍多大的变化，哪里是它的弱点。
对神经科学家（研究人脑）： 这个方法不需要知道大脑内部的电路（因为它是“无梯度”的，不需要反向传播）。即使科学家只能记录到大脑里很少一部分神经元的活动，也能用 SnS 来推测这些神经元到底对什么特征“不变”。这就像盲人摸象，虽然摸到的只是大象的一小部分，但 SnS 能帮你推断出大象的全貌。

总结

这篇论文发明了一种**“魔法橡皮泥”（SnS）。
它通过“把图片改得面目全非但让 AI 依然认得”（拉伸），或者“把图片改得几乎一样但让 AI 认不出”（挤压），来探测 AI 视觉系统的真实能力边界**。

结果发现：AI 虽然很强大，但它的“理解方式”和人类并不完全一样。 特别是在处理复杂、深层的物体变化时，那些被认为“更智能、更抗干扰”的 AI，反而变得比普通的 AI 更让人类难以理解。这提醒我们，要让 AI 真正像人类一样看世界，还有很长的路要走。

Each language version is independently generated for its own context, not a direct translation.

这是一篇发表于 ICLR 2026 的会议论文，题为《超越显而易见：一种无梯度框架以揭示视觉不变性的隐藏景观》（STRETCHING BEYOND THE OBVIOUS: A GRADIENT-FREE FRAMEWORK TO UNVEIL THE HIDDEN LANDSCAPE OF VISUAL INVARIANCE）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：理解视觉系统（包括生物神经元和人工神经网络）如何将图像转换为支持识别的表征，关键在于揭示哪些特征组合被编码，以及单元在哪些变换下保持不变性（Invariance）。
现有方法的局限：
- 传统的特征可视化方法（如寻找“最兴奋图像”MEIs）仅能揭示激活单元的几个特定实例，无法揭示单元响应保持不变的流形（Manifold）。
- 现有的不变性测试通常基于预定义的变换（如仿射变换：旋转、平移、缩放），这限制了发现单元实际容忍的复杂变换轴。
- 基于梯度的优化方法（如生成对抗网络或梯度上升）需要访问网络内部参数，难以应用于“黑盒”系统（如生物神经记录，无法获取梯度）。
研究目标：开发一种无偏、模型无关且**无梯度（Gradient-free）**的方法，系统地刻画视觉单元的最大不变性刺激及其对抗扰动敏感性，并比较标准模型与对抗鲁棒模型在不变性景观上的差异。

2. 方法论：拉伸与挤压 (Stretch-and-Squeeze, SnS)

作者提出了一种名为 SnS 的新框架，将不变性和对抗性探测统一为双目标优化问题。

核心组件：
1. 生成模型 ( $\psi$ )：一个预训练的深度神经网络（如 Dosovitskiy & Brox, 2016 的模型），将潜在代码 ( $\xi$ ) 映射为 RGB 图像。该模型提供了自然图像分布的强先验。
2. 测试网络 ( $\phi$ )：待分析的视觉系统（如 ResNet50 或生物神经元模型）。
3. 无梯度优化器：使用 CMA-ES (协方差矩阵适应进化策略) 来调整潜在代码，无需计算梯度。
优化目标（双目标）：
定义两个层索引 $\kappa$ $κ$ （拉伸层）和 $\ell$ $ℓ$ （挤压层/目标层），以及参考状态 $a_{ref}$ $a_{r e f}$ 。
- 拉伸 (Stretch)：最大化参考刺激在 $\kappa$ $κ$ 层表征空间中的欧氏距离（即寻找与参考图像在特征空间上尽可能不同的图像）。
  - 损失函数： $L_{stretch} = -\|a_\kappa - a_{\kappa, ref}\|^2$
- 挤压 (Squeeze)：最小化目标单元在 $\ell$ $ℓ$ 层的激活变化（即保持单元响应不变）。
  - 损失函数： $L_{squeeze} = +\|a_\ell - a_{\ell, ref}\|^2$
两种应用场景：
1. 探测不变性 ( $\Xi_{inv}$ )：在 $\kappa$ 层拉伸（最大化距离），同时在 $\ell$ 层挤压（保持激活）。这揭示了单元容忍的最大变换范围。
2. 探测对抗敏感性 ( $\Xi_{adv}$ )：在 $\kappa$ 层挤压（最小化距离），同时在 $\ell$ 层拉伸（最大化激活变化/抑制激活）。这生成了对抗样本。
帕累托最优 (Pareto Optimality)：SnS 寻找帕累托前沿上的解，即在保持目标激活的同时，尽可能最大化（或最小化）表征距离，从而探索不变性流形的边界。

3. 关键贡献 (Key Contributions)

首个无梯度不变性流形探测框架：SnS 是第一个能够系统推断视觉单元不变性流形的无梯度方法，特别适用于无法获取梯度的“黑盒”系统（如生物神经记录）。
分层不变性发现：通过在不同层级（像素级、中间层、深层）进行“拉伸”，揭示了 CNN 单元在不同抽象层级上容忍的特定变换类型。
鲁棒性与标准模型的深层差异：发现 L2 对抗鲁棒训练虽然提高了像素级的可解释性，但在深层特征拉伸时，其不变性图像的可解释性反而下降，而标准模型在深层拉伸时反而变得更可解释。这一发现挑战了“鲁棒训练完全对齐人类感知”的简单假设。
神经科学适用性验证：证明了即使在代表空间被严重欠采样（仅记录少量神经元）的情况下，SnS 仍能有效地重建不变性，为在体（in vivo）实验提供了新工具。

4. 主要结果 (Results)

有效性验证：
- SnS 成功生成了有效的对抗样本（大幅抑制单元激活，但像素距离相对较小）和不变性图像（大幅改变像素/特征，但保持单元激活）。
- 生成的不变性图像在像素空间距离上远超传统的仿射变换，且比标准数据增强更极端，同时保持了单元的高响应。
分层不变性景观 (Layer-Specific Invariances)：
- 像素级拉伸 (Low-level)：主要改变亮度和对比度。
- 中间层拉伸 (Mid-level)：主要改变纹理和颜色。
- 深层拉伸 (High-level)：主要改变视角、姿态或物体实例。
- 这些发现表明，不变性是分层构建的，随着网络深度的增加，单元对越来越复杂的特征组合变得不敏感。
鲁棒模型 vs. 标准模型的可解释性差异：
- 人类识别实验：人类被试对 L2 鲁棒网络生成的不变性图像识别率更高，但随着拉伸层级的加深，这种优势逐渐消失甚至反转。
- 深层拉伸的悖论：对于标准网络，深层拉伸生成的图像对人类和观察者网络更易于识别；而对于 L2 鲁棒网络，深层拉伸生成的图像可解释性显著下降。这表明鲁棒训练并未完全消除高层表征中的特异性（Idiosyncrasy）。
- L∞鲁棒性：L∞鲁棒模型的深层不变性图像在观察者网络中保持了高可解释性，显示出 L2 和 L∞鲁棒性在不变性结构上的不同。
架构通用性：SnS 成功应用于 ResNet、VGG 以及 Vision Transformers (ViT)。ViT 的不变性特征显示出较少的严格层级性，中间层和深层的拉伸结果更为相似，符合 ViT 全局整合信息的特性。
稀疏采样鲁棒性：在仅使用 100-1000 个神经元（占总数的极小部分）进行优化时，SnS 生成的不变性图像与全层结果高度一致，证明了其在神经生理实验中的潜力。

5. 意义与影响 (Significance)

对人工智能的启示：揭示了即使经过对抗训练，人工神经网络的深层不变性流形仍可能与人类感知存在错位。这为设计更符合人类视觉机制的模型提供了新的评估指标和优化方向（例如，利用 SnS 生成的“好”与“坏”不变性图像进行训练）。
对神经科学的贡献：提供了一种无需“数字孪生”模型即可探测生物神经元调谐特性的工具。SnS 能够处理稀疏的神经记录数据，有助于在活体实验中绘制视觉皮层（从初级视皮层到高级视区）的复杂不变性图谱。
方法论创新：将对抗攻击和不变性探测统一在一个无梯度的双目标优化框架下，超越了传统的基于梯度的特征可视化和基于仿射变换的测试，能够发现更丰富、更生态相关的视觉变换轴。

总结：
SnS 框架通过“拉伸”表征空间同时“挤压”单元响应，成功绘制了视觉单元（无论是生物还是人工）的隐藏不变性景观。它不仅揭示了 CNN 在不同层级上的具体不变性特征，还通过对比标准与鲁棒模型，指出了当前鲁棒训练在高层表征对齐人类感知方面的局限性，为理解视觉系统的通用性和特异性提供了强有力的新工具。