MindSet: Vision. A toolbox for testing DNNs on key psychological experiments

本文介绍了名为"MindSet: Vision"的工具箱，该工具箱包含针对 30 项心理学发现设计的系统性操纵图像数据集及相应代码，旨在通过多种评估方法测试深度神经网络在人类视觉感知和物体识别假设上的表现，从而弥补现有基准测试缺乏假设驱动性的不足。

要点

这篇论文介绍了一个名为 MindSet: Vision（心智：视觉）的新工具包。你可以把它想象成给人工智能（AI）视力系统做的一次**“全面心理体检”**。

为了让你更容易理解，我们可以把现在的 AI 模型（深度神经网络，DNN）想象成一群**“超级学霸”**。这些学霸在普通的考试（比如识别猫、狗、汽车的照片）中经常拿满分，甚至超过了人类。因此，很多科学家认为它们已经非常像人类的眼睛和大脑了。

但是，这篇论文的作者们觉得：“等等，这些学霸可能只是死记硬背了答案，并没有真正理解视觉的原理。”

于是，他们设计了一套**“心理陷阱题”**（也就是论文中的 30 个实验数据集），专门用来测试这些 AI 是不是真的像人类一样“看”世界。

1. 为什么要搞这个“体检”？（背景）

目前的 AI 测试大多是在看它们**“认得认不得”**。

• 现状： 就像让 AI 看一张自然风景照，问它“这是不是树？”AI 答对了，我们就觉得它很聪明。
• 问题： 这种测试太“观察性”了。AI 可能根本不在乎树的形状，它只是记住了树叶的纹理（比如它发现只要有这种纹理就是树）。这就好比一个学生做数学题，不是靠理解公式，而是靠背答案。如果题目稍微变一下（比如把树画成线条画，或者把背景换掉），这个“死记硬背”的学生就懵了。

这篇论文说：“我们要像心理学家一样，给 AI 出一些‘脑筋急转弯’，看看它是不是真的懂了视觉规律。”

2. 这个工具箱里有什么？（核心内容）

这个工具箱里包含了30 个经典的心理学视觉实验，分为三大类，就像给 AI 做了三套不同的试卷：

A. 基础视力测试（低/中层次视觉）

• 韦伯定律（Weber's Law）： 就像你拿两个苹果，一个 100 克，一个 101 克，你很难分清；但如果是 10 克和 11 克，你很容易分清。AI 能理解这种“相对变化”吗？
• 拥挤效应（Crowding）： 如果你把一个字放在一堆乱码中间，你可能认不出来；但如果把乱码排成整齐的队形，你反而能认出来。AI 能理解这种“整体大于部分之和”的规律吗？
• 非偶然特征（Non-accidental Properties）： 人类看东西时，能自动忽略视角的微小变化（比如杯子把手是弯的，不管怎么转，它都是弯的）。AI 是只盯着像素点，还是能理解这种“本质形状”？

B. 视觉错觉测试（Visual Illusions）

这是最有趣的部分！人类的大脑会被一些图骗到，比如：

• 缪勒 - 莱耶错觉（Müller-Lyer）： 两条一样长的线，一条两头加箭头向外，一条向内，看起来向内的那条更长。
• 艾宾浩斯错觉（Ebbinghaus）： 中间一个圆圈，周围全是小圆圈，它看起来很大；周围全是大圆圈，它看起来很小。
• 测试方法： 作者们训练 AI 去“猜”这些线有多长，或者圆圈有多大。如果 AI 像人类一样“被骗”，说明它可能真的有了类似人类的视觉处理机制；如果它完全没被骗，说明它只是在看像素，没在看“感觉”。

C. 物体识别与推理（形状与物体识别）

• 线条画 vs. 照片： 人类看一眼线条画就能认出是“猫”，但 AI 通常需要专门训练才能认出。
• 纹理伪装： 如果把一个香蕉的皮换成“剪刀”的纹理，AI 会把它认成剪刀吗？人类通常能透过纹理认出它是香蕉，但 AI 往往会被纹理带偏。
• 相同/不同任务： 给 AI 看两个图形，问它们是不是一样的。人类能轻松做到，但 AI 如果没专门练过这种题型，往往就挂了。

3. 他们是怎么测试的？（方法）

作者没有让 AI 直接做选择题，而是用了三种更聪明的方法：

1. 相似度判断： 让 AI 看两张图，问它“这两张图在它的‘大脑’里像不像？”如果 AI 觉得两张人类觉得很像的图（比如被遮挡的物体），在 AI 眼里却不像，那说明它没懂。
2. 解码器方法（Decoder）： 在 AI 的“大脑”里接一个小探头，问它：“你刚才看到的这个圆圈，你觉得它有多大？”然后看 AI 的回答是不是被周围的假象骗了。
3. 分布外分类： 给 AI 看它没见过的“画风”（比如线条画），看它能不能认出物体。

4. 测试结果如何？（结论）

结果有点“扎心”：
虽然这些 AI 模型在普通的“认图考试”（如 ImageNet）中分数很高，但在这些**“心理陷阱题”**中，它们表现得很糟糕：

• 没被错觉骗到： 大多数 AI 根本看不出缪勒 - 莱耶错觉，它们看到的线长就是真实的物理长度，没有“幻觉”。
• 不懂整体： 它们容易被纹理迷惑，认不出线条画，也搞不懂物体被遮挡后其实还是完整的（完形心理）。
• 死记硬背： 它们更像是“纹理识别器”，而不是真正的“形状理解者”。

5. 这个工具包有什么用？（意义）

这就好比给 AI 科学家提供了一套**“标准错题集”**。

• 以前： 大家只看 AI 的总分，觉得它很牛。
• 现在： 我们可以用这套工具包，精准地找出 AI 哪里“偏科”，哪里“不懂装懂”。
• 未来： 只有通过了这些心理学的“严酷测试”，我们才能真正说 AI 拥有了像人类一样的视觉智能。

一句话总结：
这篇论文就是给现在的 AI 视觉模型发了一张**“心理试卷”，结果发现这些“学霸”虽然分高，但很多是“死记硬背”**，并没有真正理解人类视觉中那些微妙的、甚至会被“欺骗”的奇妙机制。作者希望用这个工具箱，逼迫未来的 AI 变得更像真正的人类大脑。

技术摘要

这是一篇关于 MindSet: Vision 的工具箱论文的详细技术总结。该工具箱旨在通过一系列经过严格控制的心理学实验，评估深度神经网络（DNN）与人类视觉系统在对齐程度上的差异。

1. 研究背景与问题 (Problem)

• 现有基准的局限性：目前评估 DNN 与人类视觉对齐的主要基准（如 Brain-Score）大多基于观察性数据（observational data）。这些数据集通常由自然图像组成，模型在分类准确率或脑成像预测上表现良好。然而，这种表现可能源于模型利用了与人类不同的线索（例如，模型可能依赖纹理而非形状进行分类，而纹理和形状在自然图像中是混淆的）。
• 缺乏因果性测试：现有的评估很少包含旨在测试特定假设的实验性操纵（experimental manipulation）。心理学中已有大量实验通过操纵自变量来揭示人类视觉的因果机制（如格式塔原理、视觉错觉、物体识别的不变性等），但这些研究在 DNN 建模中常被忽视。
• 表面相似性陷阱：由于缺乏“严苛测试”（severe tests），DNN 往往在表面上与人类数据相似，但在深层机制上存在巨大差异。现有的评估方法难以区分模型是真正理解了视觉机制，还是仅仅拟合了数据中的统计偏差。

2. 方法论 (Methodology)

MindSet: Vision 工具箱通过以下三个核心方面解决上述问题：

A. 数据集构建 (Datasets)

工具箱包含 30 个图像数据集，涵盖从低阶视觉（Low-level）到物体识别（High-level）的广泛心理现象。所有刺激物均经过系统性操纵以测试特定假设。

• 低阶与中阶视觉：包括韦伯定律（Weber's Law）、拥挤/去拥挤效应（Crowding/Uncrowding）、涌现特征（Emergent Features，如格式塔分组）、非偶然属性（NAPs）与度量属性（MPs）的区分、非模态补全（Amodal Completion）等。
• 视觉错觉：包括缪勒 - 莱耶错觉（Müller-Lyer）、庞佐错觉（Ponzo）、艾宾浩斯错觉（Ebbinghaus）、贾斯特罗错觉（Jastrow）、倾斜错觉（Tilt）、 Thatcher 效应、明度对比错觉等。每个数据集均包含“错觉条件”和“打乱/非错觉条件”（Scrambled），以便训练解码器。
• 形状与物体识别：包括线条画、点状线条、剪影、纹理化形状、嵌入形状（Embedded Shapes）、全局结构修改（如“弗兰肯斯坦”式变形）、变换不变性（2D 变换和视点变换）以及同/异任务（Same/Different task）。

B. 评估方法 (Testing Methods)

为了测试 DNN，工具箱提供了三种主要方法，并配套了可配置的代码：

1. 分布外分类 (Out-of-Distribution Classification)：测试在 ImageNet 上预训练的模型对经过修改（如线条画、剪影）但人类仍能轻松识别的图像的分类能力。
2. 相似性判断分析 (Similarity Judgment Analysis)：计算 DNN 内部激活模式（使用余弦相似度或欧氏距离）对成对图像的反应。用于评估模型是否像人类一样对特定特征（如关系变化 vs. 坐标变化）敏感。
3. 解码器方法 (Decoder Method)：在冻结的 DNN 层上附加一个小型线性解码器，训练其预测特定属性（如错觉中目标的大小或长度）。通过在“打乱”数据上训练，在“错觉”数据上测试，来检测模型是否表现出与人类相似的错觉偏差。

C. 可复现性与灵活性

• 所有数据集均可通过提供的脚本重新生成，支持调整图像尺寸、背景颜色、样本数量等参数。
• 代码开源（GitHub），支持多种模型架构的批量测试。

3. 关键贡献 (Key Contributions)

1. 首个大规模心理实验工具箱：提供了涵盖 30 个经典心理学实验的标准化图像数据集和脚本，填补了 DNN 评估与心理学实验之间的鸿沟。
2. 严格的因果测试框架：通过引入实验操纵（如改变关系结构、引入错觉上下文），迫使模型面对人类视觉中的特定挑战，而非仅仅依赖统计相关性。
3. 多方法评估体系：整合了分类、相似性分析和解码器三种方法，能够更全面地探测 DNN 的内部表征机制。
4. 基准测试与实证结果：在工具箱中对 15 种 最先进的 DNN 模型（包括 ResNet, ConvNeXt, ViT, DeIT, FocalNet 等，涵盖 Brain-Score 高分模型）进行了初步测试。

4. 实验结果 (Results)

研究团队在 9 个实验中测试了 15 个模型，发现 DNN 与人类视觉存在显著差异：

• 部分成功：
  • 部分网络表现出非模态补全的迹象。
  • 部分网络对非偶然属性（NAPs）表现出一定的敏感性。
  • 在贾斯特罗错觉中，大多数网络估计底部弧线比顶部弧线更长（与人类一致），尽管估计的幅度往往极不自然（例如大 10 倍）。
• 主要失败：
  • 缪勒 - 莱耶错觉：网络一致未能表现出该错觉（未能像人类一样高估或低估线段长度）。
  • 艾宾浩斯错觉：结果混合，许多网络未能表现出人类的大小对比效应，或者方向相反。
  • 关系推理：DNN 对物体部件之间的关系变化（Relational Change）不敏感，无法像人类一样区分关系变化与坐标变化。
  • 分布外泛化：在需要从形状而非纹理进行识别的任务中（如点状线条画、剪影），DNN 的分类性能远低于人类（人类 >90%，DNN 显著较低）。
  • 3D 结构编码：网络未能像人类一样区分 3D 形状与 2D 特征的变化。
• 层间差异：网络不同层的表现差异巨大，有时早期层表现出某种人类特征，但深层却消失或反转，表明这种“对齐”并非系统性的。

5. 意义与结论 (Significance)

• 重新定义 DNN 评估：论文指出，仅仅在观察性基准（如 ImageNet 分类或 Brain-Score）上表现良好，不足以证明 DNN 是生物视觉的良好模型。必须通过严苛的心理学实验来验证。
• 揭示当前模型的缺陷：MindSet 工具箱揭示了当前最先进的 DNN 在理解物体结构、关系推理、视觉错觉以及处理分布外数据方面的根本性弱点。
• 推动模型改进：这些失败并非否定 DNN 的价值，而是为改进模型提供了明确的方向。未来的 DNN 需要被设计为能够处理非偶然属性、关系推理和因果视觉机制，而不仅仅是统计模式匹配。
• 促进跨学科合作：该工具箱为计算机视觉、计算神经科学和认知心理学研究者提供了一个共同的语言和平台，推动构建更接近人类智能的视觉模型。

总结：MindSet: Vision 是一个关键的转折点，它从“模型在自然图像上表现有多好”转向“模型在受控心理实验中表现是否像人”，揭示了当前 DNN 在模拟人类视觉机制上的巨大差距，并为未来的研究提供了标准化的测试基准。