Feedforward computational models of vision do not explain expert neural processing of visual Braille in the human visual system

该研究表明，单纯的前馈计算模型无法完全解释人类专家大脑对视觉盲文的处理机制，因为模型未能像人类那样将语言类别表征收敛至语言学属性，暗示阅读过程还依赖于视觉与语言系统间的交互机制。

要点

这篇论文就像是在做一场**“大脑与机器”的对比实验**，目的是搞清楚：人类大脑是如何学会阅读盲文的，而现在的计算机视觉模型（AI）能不能做到同样的事情。

简单来说，作者发现：AI 模型在“看”盲文时，表现得很笨拙，完全不像人类专家那样灵活。 这说明，人类阅读不仅仅是“用眼睛看”，背后还有语言大脑的强力辅助，而目前的 AI 还缺了这一环。

为了让你更轻松地理解，我们可以用几个生动的比喻来拆解这项研究：

1. 核心比喻：眼睛是“照相机”，大脑是“翻译官”

• 人类的阅读系统：就像是一个**“照相机”（视觉系统）连接着一个“超级翻译官”（语言系统）**。

  • 当你看到盲文（摸起来是凸点，看起来是黑点）时，你的“照相机”先把它拍下来。
  • 然后，你的“翻译官”立刻介入，不管这些点是凸起的还是平面的，它都能迅速把它们翻译成有意义的单词。
  • 关键点：人类专家（盲文阅读者）的大脑非常聪明，它能忽略视觉上的差异（比如盲文没有线条，只有点），直接抓住“语言”的本质。

• AI 模型（AlexNet 和 CORnet Z）：就像是一个**“只有照相机，没有翻译官”的初级学徒**。

  • 它被训练去识别物体（比如猫、狗、汽车），它的“照相机”非常擅长识别线条、交叉点和形状。
  • 当它看到盲文（全是点，没有线条）时，它就像是一个只认识“直线”的画家突然被要求画“圆点”，它感到非常困惑，觉得这跟它以前学的东西完全不一样。

2. 实验一：天生的“线条偏好”

研究者先让一个还没读过书（不识字）的 AI去“看”三种不同的字母：

1. 拉丁字母（像我们平时写的 A、B、C，有很多线条交叉）。
2. 盲文（全是圆点，没有线条交叉）。
3. 线形盲文（一种人造的脚本，把盲文的点连成了线，看起来像拉丁字母）。

结果很有趣：

• AI 发现，拉丁字母和线形盲文长得特别像（因为它们都有线条交叉），所以它觉得这两者是“亲戚”。
• 而真正的盲文（全是点）在 AI 眼里是个“异类”，跟其他两个完全不像。
• 比喻：这就好比一个只见过“方形积木”的孩子，突然给他看“圆形积木”，他会觉得圆形积木很陌生，哪怕圆形积木和方形积木在功能上是一样的。AI 天生就偏爱“线条交叉”这种视觉特征。

3. 实验二：学习新技能的“速度差”

接下来，研究者让 AI 学习阅读单词，就像人类学习新语言一样：

• 人类的情况：如果让普通人学习盲文，刚开始可能会因为盲文没有线条而慢一点，但只要练个几天，速度就能追上来，和学普通文字一样快。因为人类有“语言大脑”在帮忙，能迅速理解这些点代表什么声音和意思。
• AI 的情况：AI 在学习盲文时，困难重重。即使训练了很久，它的表现依然比学习普通文字差很多。它始终无法像人类那样，把盲文和语言意义完美地结合起来。
• 比喻：人类学盲文像是**“骑自行车”，刚开始摇摇晃晃，但很快就能掌握平衡，因为身体有本能。AI 学盲文像是“在冰面上骑自行车”**，它一直在打滑，因为它只依赖视觉（冰面太滑），没有“语言本能”来辅助平衡。

4. 实验三：专家的大脑 vs. 专家的 AI

最后，研究者测试了“专家级”的 AI（已经学会了很多单词的 AI）和“专家级”的人类（盲文阅读专家）。

• 人类专家的大脑：不管你看的是普通文字还是盲文，大脑里对“真词”、“假词”（像词但不是词）、“乱码”的区分方式是一模一样的。大脑关注的是**“这个词有没有意义”**，而不是它长什么样。
• 专家级 AI：即使它学会了盲文，它依然只关注“长什么样”。它无法像人类那样，根据语言逻辑（比如这个词有没有发音、有没有意义）来重新组织它的认知。
• 比喻：
  • 人类专家：看到一个盲文单词，心里想的是“哦，这是‘苹果’，好吃！”（关注意义）。
  • AI 专家：看到一个盲文单词，心里想的是“哦，这是由 3 个点和 2 个空隙组成的图案”（只关注图案）。它无法把图案和“好吃”这个概念深度绑定。

总结：这篇论文告诉我们什么？

1. 视觉不是万能的：目前的 AI 模型主要靠“看”（视觉处理），它们太依赖线条和形状了。如果东西没有线条（比如盲文），它们就学得很慢。
2. 人类阅读是“视听结合”的：人类之所以能轻松阅读盲文，是因为我们的大脑里有一个强大的语言系统在帮忙。这个系统告诉我们：“不管这些点怎么排，它们代表的是声音和意思。”
3. 未来的方向：要造出真正像人类一样聪明的阅读 AI，不能只给它装一个“超级眼睛”，还得给它装一个“语言大脑”，让视觉和语言系统互相交流、互相配合。

一句话总结：
这篇论文证明了，阅读不仅仅是“看”出来的，更是“想”出来的。目前的 AI 还只学会了“看”，而人类专家之所以厉害，是因为他们懂得用语言去“想”那些看不见的线条。

技术摘要

这是一份关于该论文的详细技术总结，涵盖了研究问题、方法论、关键贡献、实验结果及科学意义。

论文标题

前馈计算模型无法解释人类视觉系统中专家级盲文（Braille）的神经处理机制
(Feedforward computational models of vision do not explain expert neural processing of visual Braille in the human visual system)

---

1. 研究问题 (Problem)

• 核心矛盾： 人类的视觉词形区（VWFA）能够处理各种视觉脚本，包括非线性的盲文（Braille）。现有的前馈深度神经网络（DNN）模型（如 AlexNet, CORnet Z）在模拟人类阅读习得和神经表征方面取得了成功，但这些模型主要基于“线交点”（line junctions）等视觉特征进行训练。
• 科学假设： 如果单纯的视觉前馈处理（bottom-up visual processing）足以解释人类对盲文的阅读能力，那么经过训练的计算模型应该能够像人类专家一样，在神经表征层面将盲文与拉丁字母（Latin script）进行类似的分类和聚类，并展现出基于语言属性（正字法、语音、语义）的组织结构。
• 研究目标： 验证当前的前馈视觉计算模型是否能复现人类专家阅读盲文时的神经表征模式，特别是考察模型是否依赖视觉特征（如线交点）而非语言内容来组织脚本，以及是否存在视觉与语言系统的交互机制缺失。

2. 方法论 (Methodology)

研究设计了两个主要实验，使用了两种经典的视觉深度神经网络架构：AlexNet 和 CORnet Z。

实验一：无识字能力（Illiterate）网络对字母的表征

• 模型状态： 使用在 ImageNet 上预训练但未接触过字母/单词的 AlexNet（即“无识字”状态）。
• 刺激材料： 三种脚本的 26 个拉丁字母变体：
  1. 拉丁字母 (Latin)： 标准 Arial 字体。
  2. 盲文 (Braille)： 点阵形式。
  3. 线形盲文 (Line Braille)： 将盲文的点连接成线的自定义脚本（保留了盲文结构但具备线交点特征）。
• 分析指标： 计算不同层（ReLU 阶段及输出层）激活值的欧几里得距离，构建表征不相似性矩阵（RDM），比较不同脚本间的表征差异。

实验二：识字与专家级（Expertise）习得及单词表征

• 训练流程：
  1. 识字习得阶段： 训练网络识别拉丁字母单词（模拟人类初学阅读）。
  2. 专家习得阶段： 在已识字的基础上，进一步训练网络识别盲文或线形盲文单词（模拟人类学习盲文）。
  • 设置了三种训练条件：仅拉丁字母（Naïve）、拉丁 + 盲文（Expert-Braille）、拉丁 + 线形盲文（Expert-Line）。
• 测试刺激： 包含四种语言属性的刺激集（在拉丁和盲文脚本中均呈现）：
  1. 实词 (Real Words)： 具有正字法、语音、语义。
  2. 伪词 (Pseudo Words)： 具有正字法、语音，无语义。
  3. 非词 (Non Words)： 低频率字母组合，无语义。
  4. 假脚本 (Fake Script)： 无语言属性的随机线条。
• 分析指标：
  • 学习曲线： 分类准确率随训练轮次（Epoch）的变化。
  • 聚类分析 (Clustering)： 衡量不同语言类别之间的表征差异是否大于类别内部差异。
  • 与理论模型的相关性： 将网络输出的 RDM 与基于人类 fMRI 数据构建的“语言属性理论模型”（根据刺激具备的语言属性数量构建的不相似性矩阵）进行相关性分析。

3. 关键贡献 (Key Contributions)

1. 揭示了视觉偏好的根本差异： 证明了前馈视觉模型对“线交点”特征有强烈的先天偏好，导致盲文（无连点）在视觉层级中被视为异常值，而线形盲文则被归类为类似拉丁字母的脚本。
2. 量化了模型与人类行为的偏差： 发现模型在学习盲文时的困难程度（延迟和幅度）远大于人类行为学实验中的观察结果。人类学习盲文仅受轻微影响，而模型则表现出显著的长期性能下降。
3. 指出了纯视觉模型的局限性： 即使经过“专家级”训练，计算模型在输出层的表征仍然主要基于视觉特征（脚本类型）而非语言属性（语义、语音）。模型未能复现人类大脑中观察到的跨脚本（拉丁 vs. 盲文）的表征收敛和基于语言属性的层级组织。
4. 提出了新的建模方向： 论证了单纯的前馈视觉处理不足以解释人类阅读（包括盲文阅读），必须引入视觉与语言系统的交互机制（Interactive mechanisms）。

4. 主要结果 (Results)

实验一结果：线交点的优势

• 在 AlexNet 的中层和高层（ReLU 3 及以后），线形盲文与拉丁字母的表征距离显著小于盲文与拉丁字母的距离。
• 尽管线形盲文在结构上源于盲文，但网络将其视为与拉丁字母更相似，表明网络对“线交点”特征的依赖超过了对整体结构相似性的依赖。盲文在视觉层级中是一个明显的离群点。

实验二结果：专家习得的偏差

• 学习曲线： 无论是 AlexNet 还是 CORnet Z，在学习盲文时都表现出比线形盲文更严重的性能下降和更长的收敛时间。这种差异在模型中比在人类行为数据中（Cerpelloni et al., 2026）要大得多且持续时间更长。
• 聚类分析：
  • 网络对拉丁字母的表征聚类随层级加深而增加，但对盲文的聚类受“专家训练”影响很小。
  • 在 CORnet Z 中，专家网络对盲文的聚类甚至低于拉丁字母，与人类专家的表现相反。
• 与语言模型的相关性（核心发现）：
  • 人类数据： 专家的大脑表征显示，不同脚本（拉丁/盲文）的表征模式高度相关，且与基于语言属性（正字法/语音/语义）的理论模型高度一致。
  • 模型数据： 网络输出层的表征未能与语言理论模型建立显著相关性。网络主要根据“脚本类型”（拉丁 vs. 盲文）进行聚类，而不是根据“语言属性”（实词 vs. 伪词）。
  • 即使在盲文专家网络中，盲文和拉丁字母的表征也没有像人类那样收敛到相同的语言组织模式。

5. 科学意义 (Significance)

• 挑战纯视觉阅读理论： 研究结果有力地反驳了“阅读仅由视觉前馈处理驱动”的假设。如果仅靠视觉层级，模型无法解释人类如何快速适应并精通盲文阅读。
• 强调交互机制的重要性： 人类大脑中 VWFA 对盲文的处理依赖于视觉系统与语言系统（如语音、语义处理区）之间的双向交互。这种交互补偿了盲文缺乏线交点特征的视觉劣势，并帮助将视觉输入映射到语言范畴。
• 指导未来 AI 发展： 现有的纯视觉 DNN 模型无法完全模拟人类的高级阅读能力。未来的阅读模型需要整合视觉 - 语言模型 (Vision-Language Models, VLMs)，如 CLIP 或 TRIBE，将视觉输入与语言处理层显式结合，以模拟人类大脑中视觉与语言系统的协同工作。
• 神经科学启示： 解释了为何盲文阅读者在神经层面表现出与拉丁阅读者相似的 VWFA 激活模式——这并非源于视觉特征的相似性，而是源于语言处理机制的介入。

总结： 该论文通过对比计算模型与人类神经/行为数据，证明了单纯的前馈视觉计算不足以解释人类专家对非标准脚本（如盲文）的阅读能力，强调了语言系统对视觉处理的调节作用是人类阅读能力的核心。