Can Vision-Language Models See Squares? Text-Recognition Mediates Spatial Reasoning Across Three Model Families

该研究揭示了一个视觉语言模型的根本缺陷：尽管视觉编码器相同，但模型在处理无文本标识的填充方格时空间定位能力会严重退化，而一旦方格被渲染为文本符号，其准确率便显著提升，这表明模型的空间推理高度依赖文本识别通路而非原生视觉感知。

要点

这篇论文其实是在讲一个有点“反直觉”的真相：现在的顶级人工智能（AI），虽然看起来什么都能看懂，但它们其实非常依赖“文字”来理解空间位置。一旦把东西变成纯粹的图形（比如黑块），它们就瞬间“迷路”了。

为了让你轻松理解，我们可以把这篇论文的研究过程想象成一场**“给 AI 做视力测试”**的趣味实验。

1. 实验背景：给 AI 出两道题

研究者给三个最厉害的 AI 模型（分别是 Claude、ChatGPT 和 Gemini）出了 15 张图。每张图都是一个 15x15 的方格网，就像国际象棋棋盘一样大。

• 任务：让 AI 把图里哪些格子是“黑”的（填满的），哪些是“白”的（空的），准确地抄写下来。

为了测试 AI 到底靠什么“看”，研究者把同样的内容，用两种完全不同的方式画出来：

• 方式 A（文字版）： 把黑格子画成井号 #，白格子画成点 .。
  • AI 看到的：像是一堆由符号组成的 ASCII 艺术画。
• 方式 B（图形版）： 把黑格子画成实心的黑色方块，白格子留白，中间没有线。
  • AI 看到的：就是一堆纯粹的黑色色块，没有任何文字特征。

关键点：这两种图在电脑眼里，都是“图片”，都要经过同一个“眼睛”（视觉编码器）去看。理论上，如果 AI 真的“看懂”了图片，这两种方式应该难不倒它。

2. 实验结果：AI 的“双标”现场

结果非常惊人，就像是一个**“文字依赖症”**患者：

• 当看到“文字版”（# 和 .）时：

  • 三个 AI 表现得像超级学霸。它们能准确认出 90% 以上的格子，几乎完美地抄写下来。
  • 比喻：就像你给它们看一张写满汉字的试卷，它们能轻松把每个字都认出来，位置也记得清清楚楚。

• 当看到“图形版”（黑方块）时：

  • 三个 AI 瞬间**“智商下线”**，成绩暴跌。准确率从 90% 掉到了 60% 多，更关键的“定位能力”（F1 分数）直接腰斩甚至更惨（从 80 多分掉到 30 多分）。
  • 比喻：就像你给它们看一张全是黑色墨点的抽象画，它们突然变成了“路痴”。它们大概知道“哦，这里有一团黑的”，但完全分不清具体是哪几个格子黑了。

3. 为什么会出现这种情况？（核心发现）

论文发现，AI 并不是真的在“看”图片的空间结构，而是在**“读”图片里的文字**。

• 文字识别通道（OCR 模式）：
  当 AI 看到 # 或 . 时，它的大脑里有一个专门的“文字识别通道”被激活了。这个通道非常强大，它能把文字转换成它熟悉的“代码”，从而精准地记住每个字符的位置。

  • 比喻：这就像你给 AI 发了一封带地址的快递（文字），它能精准地把货送到门口。

• 纯视觉通道（看图模式）：
  当 AI 看到纯黑方块时，文字通道没被激活，它只能靠“纯视觉通道”。这个通道目前还很笨，它只能看到“大概有一团黑的”，却记不住具体的坐标。

  • 比喻：这就像你给 AI 发了一团没有地址的墨汁，它只能闻出“这里有墨水”，但不知道墨水具体滴在桌子的哪个角落。

4. 有趣的“中间地带”实验

研究者还做了个更有趣的实验，看看能不能“骗”过 AI：

• 实验 1：在黑色方块里写上"1"和"0"。
  • 结果：Claude 和 Gemini 瞬间“复活”，成绩变好了！因为它们又看到了文字，文字通道再次激活。
  • 但 ChatGPT 却更傻了：它看到方块里还有字，反而 confused 了，成绩更差。这说明不同 AI 的“大脑构造”不一样，有的喜欢文字辅助，有的会被文字干扰。
• 实验 2：用特殊的方块符号（□■）。
  • 结果：成绩介于两者之间。因为这些符号虽然是文字，但 AI 平时见得少（训练数据里少），所以识别起来有点吃力。

5. 每个 AI 的“翻车”姿势都不一样

虽然大家都考砸了，但“翻车”的方式很有趣：

• Claude：“数数太少”。它总是漏数，觉得黑块没那么多，或者把黑块的位置记偏了。
• ChatGPT：“疯狂脑补”。它觉得黑块太多了，甚至把本来没有黑块的地方也画上了黑块，把图案画得比原图还大。
• Gemini：“套模板”。当图太复杂时，它直接放弃思考，开始背诵它学过的几何图案（比如画个十字、画个 L 型），完全不管原图长啥样。

6. 这篇论文告诉我们什么？（大白话总结）

1. AI 的“空间感”是假的：目前的 AI 并不是真的像人类一样拥有强大的空间想象力。它们的空间推理能力，很大程度上是伪装成文字识别的。
2. 文字是拐杖：只要图里有文字（哪怕是符号），AI 就能走得很稳；一旦把文字拿走，只留图形，AI 就摔跟头了。
3. 未来的挑战：如果我们想让 AI 真正看懂医学影像（如 X 光片里的肿瘤）、自动驾驶（识别路障）或者科学图表，光靠现在的技术是不够的。我们需要教 AI 在没有文字辅助的情况下，也能精准地“看”懂空间位置。

一句话总结：
现在的 AI 就像是一个**“识字但路痴”**的学生，只要题目里有字，它就能做对；一旦题目变成了纯图形，它就彻底晕头转向了。这篇论文就是给这些“优等生”敲响了警钟：别太依赖文字拐杖，你们得学会真正用眼睛看路！

技术摘要

论文技术总结：视觉 - 语言模型能否识别方块？文本识别介导了跨三个模型家族的空间推理

1. 研究问题 (Problem)

当前视觉 - 语言模型（VLMs，如 Claude, GPT-4o, Gemini）在图像描述、图表解读等任务上表现优异，这导致人们隐含地假设它们具备对任意视觉输入的鲁棒空间推理能力。然而，本文挑战了这一假设，提出核心问题：VLMs 是否真正具备对非文本视觉元素（如填充的几何形状）的精确空间定位能力，还是说它们的空间推理实际上依赖于“文本识别”路径（即内部 OCR）？

具体而言，当视觉信息以“文本符号”（如 . 和 #）呈现时，模型表现良好；但当相同的信息以“无网格线的填充方块”呈现时，模型的空间定位能力是否会发生崩溃？

2. 方法论 (Methodology)

2.1 实验设计

作者构建了一个简单但严格的实验，旨在隔离空间定位与语义理解。

• 数据集：生成了 15 个 $15 \times 15$ 的二进制网格（共 225 个单元格），填充密度从 10.7% 到 41.8% 不等。
• 视觉编码条件：每个网格被渲染为两种图像类型（均作为 PNG 图片输入，不绕过视觉编码器）：
  1. 文本符号条件：单元格渲染为等宽字体（DejaVu Sans Mono）的字符 .（空）和 #（填充）。
  2. 填充方块条件：单元格渲染为黑色（填充）或白色（空）的实心方块，无网格线，相邻方块会合并。
• 消融实验：
  • Unicode 方块：使用 Unicode 字符 □ 和 ■ 渲染，测试“文本身份”是否足以触发高性能。
  • 方块内嵌文本：在填充方块内部嵌入白色数字"1"和灰色数字"0"，测试文本锚点是否能恢复空间推理。

2.2 评估模型

选取了来自三家不同组织的三个前沿 VLM：

• Claude Opus (Anthropic)
• ChatGPT 5.2 (OpenAI)
• Gemini 3 Thinking (Google)

2.3 评估指标

• 单元格准确率 (Cell Accuracy)：225 个单元格中正确分类的比例。
• F1 分数 (Black-cell F1)：针对填充单元格检测的精确率与召回率的调和平均数（该指标更具信息量，因为背景空白单元格极易分类，会虚高准确率）。

3. 关键发现与结果 (Key Results)

3.1 文本与方块的巨大性能鸿沟

所有三个模型在“文本符号”条件下表现优异，但在“填充方块”条件下性能急剧下降：

• Claude & ChatGPT：文本条件下 F1 约为 84%，方块条件下降至 29–39%。
• Gemini：文本条件下 F1 约为 63%，方块条件下降至 29%。
• 差距：文本与方块条件之间的 F1 差距在 34 到 54 分 之间。这表明尽管信息内容完全相同，且经过相同的视觉编码器，模型仅在有“文本身份”时才能进行高精度空间定位。

3.2 密度效应与模型差异

• Claude & ChatGPT：在文本条件下，性能随密度增加保持稳定；在方块条件下，性能普遍较差且随密度变化不大。
• Gemini：表现出独特的“双峰”行为。
  • 在低密度（<20%）方块条件下，Gemini 表现最好（F1 约 68%），说明其视觉编码器对离散物体感知最强。
  • 但在高密度（>32%）文本条件下，Gemini 发生灾难性崩溃（F1 降至 11-46%），并产生幻觉（生成简单的几何模板如十字形），表明其文本识别路径存在容量上限。

3.3 失败模式分析

• Claude：系统性少计（Under-counting），能感知大致区域但无法精确定位边界。
• ChatGPT：大规模多计（Over-counting），在高密度下幻觉出额外的填充单元格，导致网格维度错误。
• Gemini：模板幻觉（Template Hallucination），完全放弃输入，生成刻板几何图案。

3.4 消融实验：符号类型的梯度效应

• Unicode 方块：性能介于纯文本和纯方块之间（F1 69–77%），表明性能下降是梯度而非二元的，受训练数据中 Token 频率影响。
• 方块内嵌文本：
  • Claude & Gemini：性能大幅恢复（稀疏网格达到 100% F1），证明文本锚点能激活高精度定位路径。
  • ChatGPT：性能反而下降（F1 降至 51%），表明文本与视觉路径在该模型中存在破坏性干扰。

4. 核心贡献 (Key Contributions)

1. 揭示根本性局限：证明了当前 VLMs 的空间推理能力高度依赖于“文本识别路径”。当视觉元素缺乏文本身份（如纯几何形状）时，其空间定位能力严重退化。
2. 提出双路径假设：
   • 文本识别路径：将图像字符映射为离散 Token，保留高精度的序列/空间位置（类似内部 OCR）。
   • 视觉特征路径：编码非文本内容，但仅保留近似空间关系，丢失精确坐标信息。
3. 跨模型泛化性：该现象在三个不同架构、不同训练数据的模型家族中均被复现，表明这是当前 VLM 设计的结构性缺陷，而非单一系统的特例。
4. 模型特异性交互：发现了不同模型在文本与视觉路径交互上的差异（如 ChatGPT 的破坏性干扰 vs. Gemini 的容量瓶颈），为模型分析提供了新视角。

5. 意义与启示 (Significance)

• 基准评估的误导性：依赖文本密集型任务（如文档理解、OCR 基准）评估 VLM 的空间推理能力会严重高估其在非文本视觉任务（如医疗影像、自动驾驶、科学可视化）中的表现。
• 架构改进方向：
  • 现有的基于图像 - 文本对比学习（如 CLIP）的视觉编码器缺乏细粒度空间特征。
  • 未来的改进可能需要引入显式的空间坐标预测目标，或引入离散的视觉 Token（类似 VQ-VAE），让文本识别路径能处理非文本视觉内容。
• 实际应用策略：
  • 文本脚手架（Textual Scaffolding）：在视觉元素中嵌入文本标签（如数字）可能显著提升某些模型（Claude, Gemini）的空间推理能力，但需针对特定模型验证（ChatGPT 可能失效）。
  • Token 熟悉度：使用高频文本 Token 作为视觉锚点比低频 Unicode 字符更有效。

总结：该论文通过一个极简的二进制网格实验，有力地证明了当前 VLMs 并非真正“看见”了空间结构，而是通过“阅读”图像中的文本符号来间接推断位置。这一发现对理解多模态模型的局限性及设计下一代空间感知模型具有深远意义。