Evaluating Graphical Perception Capabilities of Vision Transformers

本文通过受 Cleveland 和 McGill 研究启发的受控实验，将 Vision Transformers 与 CNN 及人类在基础图形感知任务中进行对比，发现尽管 ViTs 在通用视觉任务中表现优异，但其在可视化领域的图形感知能力与人类存在显著差距。

要点

这篇论文就像是在给人工智能（AI）做一场“视力体检”，特别是检查一种叫做 Vision Transformer (ViT) 的先进 AI 模型，看它到底能不能像人类一样“看懂”图表。

为了让你轻松理解，我们可以把这项研究想象成一场**“看图猜数”的奥林匹克比赛**。

1. 比赛背景：谁是“看图”的高手？

在 AI 的世界里，以前大家觉得 CNN（卷积神经网络） 是看图最像人类眼睛的模型，因为它像人眼一样，喜欢由近及远、由局部到整体地观察图像。

但最近，ViT（视觉 Transformer） 横空出世，它像是一个拥有“上帝视角”的超级观察者。它不看局部，而是同时扫描整张图，捕捉全局的关联。ViT 在识别猫狗、车牌等任务上已经打败了 CNN，成了新的冠军。

但是，问题来了：
虽然 ViT 在“认物体”上很厉害，但它真的能像人类一样，精准地比较长短、判断角度、估算面积吗？
这就好比一个能一眼认出“这是只猫”的超级 AI，能不能像人类一样，一眼看出“这根柱子比那根高多少”？

2. 比赛项目：Cleveland & McGill 的“老题库”

为了测试 AI 的“视力”，研究人员搬出了 80 年代人类视觉感知研究的“老题库”（由 Cleveland 和 McGill 提出）。这些题目非常基础，就像小学生的数学题：

• 比长短：看两根柱子，谁长？
• 看角度：看饼图，这块馅儿占多大？
• 数点点：看一堆散落的点，大概有多少个？
• 看位置：看两个点在不同刻度尺上的位置关系。

研究人员让人类、老派 AI (CNN) 和新派 AI (ViT) 同时做这些题，看看谁算得最准。

3. 比赛结果：新 AI 的“偏科”现象

结果非常有趣，甚至有点让人意外：

• 人类选手：在大多数需要“比较”和“估算”的题目上（比如比长短、数点点），人类依然是金牌得主。我们的眼睛和大脑在处理这些基础视觉信息时，依然有着惊人的直觉和准确性。
• 老派 AI (CNN)：表现中规中矩，虽然不如人类，但在某些特定任务上比新 AI 更稳。
• 新派 AI (ViT)：
  • 它的强项：在判断“方向”（比如箭头指哪）和“阴影”（比如哪里更亮）时，它甚至超过了人类！这说明它处理纹理和整体结构的能力很强。
  • 它的弱项：一旦涉及到**“比较”（比如比长短、比面积）或者“估算数量”（比如数点），它就翻车了**。它的错误率比人类高得多，甚至比老派 AI 还要差。

这就好比：
ViT 像一个博学的哲学家，能一眼看出整幅画的意境和光影（全局理解），但让它去拿尺子量两根线谁长（基础度量），它却像个路痴，经常算错。

4. 为什么会出现这种情况？（核心发现）

论文发现，ViT 虽然很聪明，但它的“大脑”运作方式和人类不一样：

1. 缺乏“标尺感”：人类看图表时，大脑会自动建立一种心理标尺。但 ViT 更擅长捕捉“模式”和“关系”，而不是精确的“数值”。
2. 过度依赖训练：ViT 就像是一个死记硬背的学生。如果题目稍微变一下（比如把柱子换个颜色，或者把点散开一点），它就容易懵圈，无法像人类那样灵活地“举一反三”。
3. 全局视角的副作用：ViT 喜欢看全局，这导致它在处理需要精细局部对比的任务（比如比较两个很近的柱子长度）时，反而不如专注于局部的 CNN 或人类眼睛精准。

5. 这对我们意味着什么？

这项研究给那些想用 AI 来自动生成图表、自动分析数据或者设计可视化界面的人敲响了警钟：

• 别太迷信 AI 的“视觉”：如果你指望 AI 像人类一样精准地读懂图表里的每一个数据细节，目前它可能还做不到。
• AI 适合做“宏观”分析：让 AI 去发现图表中的大趋势、异常模式或者整体风格是不错的。
• 人类依然是“微观”把关人：在需要精确比较、估算和判断数据准确性的环节，人类依然是不可替代的。

总结

这就好比我们请了一位拥有“上帝视角”的超级画家（ViT） 来帮我们要画数据图。
他画出来的整体氛围（光影、方向）非常棒，甚至比我们画得还好。
但是，如果你让他精确地量一下“这根柱子是不是比那根高 5 厘米”，他可能会给你画出一根高 10 厘米的。

结论：ViT 是视觉领域的“天才”，但在“基础度量”这门课上，它还是个需要人类老师（我们）辅导的“偏科生”。在把 AI 完全交给数据可视化之前，我们还需要教它如何像人类一样“精准地看世界”。

技术摘要

这是一篇关于评估视觉 Transformer (Vision Transformers, ViTs) 在图形感知 (Graphical Perception) 任务中能力的学术论文。该研究将 ViTs 的表现与人类观察者以及传统的卷积神经网络 (CNNs) 进行了对比，旨在探究 ViTs 是否具备与人类相似的视觉感知能力，特别是在数据可视化领域的基础任务中。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景： 视觉 Transformer (ViTs) 已在各种图像任务中展现出超越传统卷积神经网络 (CNNs) 的能力，特别是在捕捉复杂空间模式方面。它们正逐渐被应用于图表分析、图形感知和可视化系统。
• 核心问题： 尽管 ViTs 在高层语义理解上表现优异，但它们在基础低层视觉任务（如位置、长度、角度、面积的判断）上是否与人类视觉感知保持一致，目前尚不清楚。
• 重要性： 数据可视化的有效性依赖于人类对基础视觉编码（Visual Encodings）的准确感知（基于 Cleveland 和 McGill 的经典研究）。如果 AI 模型（如 ViTs）的感知机制与人类存在显著偏差，那么将其应用于自动化图表解释或感知驱动的可视化设计可能会产生误导。
• 研究缺口： 现有研究多关注 ViTs 在图表分类或元素检测等高层任务上的表现，缺乏对其在 Cleveland 和 McGill 定义的基础感知任务上的系统性评估。

2. 方法论 (Methodology)

2.1 实验任务设计

研究基于 Cleveland 和 McGill 的经典感知层级理论，复现并扩展了 Haehn 等人 (2026) 的实验框架。实验涵盖了9 种基础视觉编码，并具体设计了以下任务：

1. 位置 - 角度 (Position-Angle)： 估计条形图或饼图中部分与整体的比例（涉及位置和角度）。
2. 位置 - 长度 (Position-Length)： 评估分组条形图（位置判断）和分段条形图（长度判断）中的数值。
3. 条形图与带框矩形 (Bars and Framed Rectangles)： 比较非对齐尺度下的长度和位置判断。
4. 点云估计 (Point Cloud)： 根据韦伯定律 (Weber's Law) 估计散点图中点的数量（10, 100, 1000）。

2.2 数据集

• 生成方式： 使用参数化生成器创建 100x100 的二值图像刺激（Stimuli），随后调整为 ViT 标准的 224x224 输入尺寸。
• 数据划分： 每个任务生成 10 万张图像，按 6:2:2 划分为训练集、验证集和测试集，确保参数空间不重叠以防止数据泄露。
• 标签： 图像生成时的参数即为真实标签（Ground Truth），归一化至 0.0-0.1 范围。

2.3 模型架构

研究评估了三种具有代表性的 ViT 架构，以考察不同设计选择的影响：

1. Vanilla ViT (vViT)： 原始 Transformer 架构，无归纳偏置，使用全局注意力。
2. Convolutional Vision Transformer (CvT)： 引入卷积层进行 Token 嵌入和投影，结合 CNN 的局部感受野优势。
3. Swin Transformer： 采用分层结构和移位窗口 (Shifted Windows) 机制，平衡局部与全局信息。

2.4 训练设置

• 从头训练 (From Scratch)： 所有模型均在特定任务数据集上从头训练，而非使用预训练权重，以消除无关预训练目标的偏差，确保公平比较。
• 优化器： 使用 SGD (动量 0.9)，学习率 0.0001，权重衰减 1e-6。
• 评估指标： 使用对数平均绝对误差 (MLAE) 来量化感知准确性，数值越低表示越准确。

3. 主要贡献 (Key Contributions)

1. 系统性评估： 首次对三种典型 ViT 架构在 Cleveland 和 McGill 定义的低层视觉任务上进行了全面评估。
2. 多维对比： 将 ViTs 的表现与人类观察者及 CNNs (如 VGG19, ResNet 等) 进行了直接对比，揭示了感知对齐的差距。
3. 发现感知鸿沟： 证明了尽管 ViTs 在通用视觉任务中强大，但在可视化领域的基础感知任务上，其与人类感知的对齐度有限，且在某些任务上甚至不如 CNNs。

4. 实验结果 (Results)

4.1 人类 vs. ViTs

• 总体表现： 人类在大多数感知类别中表现优于 ViTs。
  • 例如，在位置 - 长度任务中，人类平均 MLAE 为 2.01，而表现最好的 Swin 模型为 4.72。
  • 在点云估计任务中，人类 MLAE 为 4.95，Swin 为 6.37。
• 例外情况： ViTs 在某些特定任务（如方向和阴影判断）上表现优于人类，显示出处理细粒度纹理和方向线索的能力。
• 感知层级差异：
  • 人类和 CNNs 对任务难度的排序基本一致（位置/长度最容易，体积/曲率最难）。
  • ViTs 的排序与人类存在显著偏差：ViTs 认为曲率 (Curvature) 和 面积 (Area) 比人类更容易，但在位置 - 长度和点云等需要比较推理的任务上表现较差。

4.2 CNNs vs. ViTs

• 误差对比： 在所有任务中，ViTs 的误差率普遍高于 CNNs。
  • 在点云估计任务中，ViTs 平均 MLAE 为 6.37，而 CNNs 仅为 3.40。
  • 在条形图/带框矩形任务中，ViTs (4.75) 显著高于 CNNs (1.93)。
• 泛化能力： ViTs 在跨参数化（Cross-parameterization）测试中表现出较差的泛化能力。当测试数据的参数（如物体宽度、空间对齐）与训练数据略有不同时，Swin 等模型的误差显著增加，表明其对训练条件的敏感性过高。

4.3 消融实验 (Ablation Studies)

• 图像分辨率： 增加分辨率并未带来性能提升。
• Patch 大小： 减小 Patch 大小（如 vViT-8）未显著改善低层任务表现。
• 数据量： 增加 4 倍训练数据量未显著提升性能。
• 预训练： 使用 ImageNet 预训练权重在某些模型（如 CvT）上降低了平均误差，但 Swin 从头训练的表现依然最好。这表明预训练对特定任务有帮助，但并非万能。

5. 结论与意义 (Significance)

5.1 核心结论

• 感知对齐不足： ViTs 虽然在通用视觉任务中表现出色，但在数据可视化所需的基础感知任务（特别是涉及比较推理和数值估计的任务）上，未能达到人类水平的感知一致性。
• 架构局限性： ViTs 缺乏 CNN 的局部感受野归纳偏置，导致其在处理非对齐尺度的长度比较和点密度估计等任务时表现不佳。
• 任务特异性： ViTs 在某些纹理和方向任务上甚至优于人类，但在需要整体上下文和精确数值推理的任务上存在明显短板。

5.2 实际意义

• 可视化系统设计警示： 在构建自动化图表解释系统或感知驱动的可视化生成工具时，不能盲目依赖 ViTs。如果系统需要模拟人类感知（例如生成易于人类理解的图表），ViTs 目前的感知偏差可能导致不可靠的结果。
• 未来研究方向：
  • 需要重新设计模型架构或训练策略，以更好地融合局部特征提取（类似 CNN）和全局上下文建模（ViT 优势）。
  • 探索更大规模的模型或混合架构（如结合 CNN 和 ViT 的优势）是否能改善感知对齐。
  • 未来的研究应关注如何缩小 AI 感知与人类感知之间的“感知鸿沟”，特别是在低层视觉编码的建模上。

总结： 该论文通过严谨的实验证明，ViTs 目前并不完全适合作为人类视觉感知的完美替代模型，特别是在数据可视化的基础感知层面。这一发现对计算机图形学、可视化研究以及 AI 在科学可视化中的应用具有重要的指导意义。