💬 NLP

Reading or Guessing? Visual Grounding Failures of Vision-Language Models for OCR in Ancient Greek Editions

本文表明，对古希腊语文本执行光学字符识别的视觉 - 语言模型（VLMs）往往依赖语言先验来生成流畅但缺乏视觉依据的错误，这种失效模式即使在解码时进行干预后依然存在，并且与传统光学字符识别系统的噪声模式存在显著差异。

原作者： Antonia Karamolegkou, Nicolas Angleraud, Benoît Sagot, Thibault Clérice

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Antonia Karamolegkou, Nicolas Angleraud, Benoît Sagot, Thibault Clérice

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试阅读一封用古希腊语手写的古老信件。墨水已经褪色，字迹古怪，页面边缘还布满了杂乱的批注。你有两位助手帮你阅读：

“老式扫描仪”（传统 OCR）：这就像一个严格、字面化的机器人。它看着纸上的墨水说：“我看到一个看起来像'A'的波浪线，所以我写一个'A'。”如果墨水太模糊，它可能会写下一个随机符号或错别字。它不猜测；它只报告它看到的东西，即使结果看起来很杂乱。
“智能 AI 助手”（视觉 - 语言模型）：这就像一个精通古希腊语但有点懒得仔细观察纸张的聪明学生。当他们看到一个模糊的斑点时，他们会想：“嗯，根据到目前为止的句子，下一个词应该是‘国王’。”所以，他们写下“国王”，即使纸上的墨水实际上看起来更像“狗”。

这篇题为《阅读还是猜测？视觉 - 语言模型在古希腊语版本 OCR 中的视觉 grounding 失败》的论文，调查了当这两位助手尝试阅读困难、低资源量的古希腊语文本时会发生什么。

以下是研究人员发现的，使用了简单的类比：

1. “流利的谎言”与“杂乱的真相”

当“老式扫描仪”犯错时，它通常看起来像错别字或字母的乱码（例如"kng"）。很明显出了什么问题。

然而，当“智能 AI 助手”犯错时，它经常写出一个完美、流利且真实的古希腊语单词，但这并不是纸上实际写的内容。

类比：想象 AI 正在阅读食谱。如果配料表被弄脏了，写着“面粉”，但 AI知道这个食谱通常要求用“糖”，它可能会自信地写下“糖”。乍一看，句子看起来完美无缺。但这实际上是一个谎言。AI 依赖的是它对食谱通常如何编写的记忆（它的“语言先验”），而不是观察它面前的具体纸张。

2. “魔法墨水”测试

为了证明这一点，研究人员玩了一个把戏。他们打乱了文本，将单词内部的字母重新排列（将真实的单词变成无意义的胡言乱语），然后将这些胡言乱语展示给助手们看。

老式扫描仪：它看着这些胡言乱语，写下了胡言乱语。它忠实于视觉证据，即使结果是垃圾。
智能 AI 助手：它看着这些胡言乱语，感到困惑，然后“修复”了它。它将胡言乱语重写回真实、流利的希腊语单词。它忽略了视觉证据（打乱的字母），完全依赖其对语言的内部知识。

3. 并非所有“智能”AI 都一样

研究人员发现了一个令人惊讶的反转。并非所有 AI 助手的行为都一样。

通用型 AI：这些是用于许多任务的大型知名模型。即使它们错了，它们仍然在“看”图片。它们试图阅读墨水，但它们的大脑只是太急于猜测正确的单词。
专用型 AI：有一个专门为阅读文档而构建的模型（称为 OlmOCR）。这是最严重的违规者。当它犯错时，几乎就像它根本没有看图片。它纯粹是根据它认为文本应该说什么来进行猜测。这就像一个闭上眼睛、凭记忆背诵教科书而忽略实际考卷的学生。

4. 我们能修复 AI 吗？

研究人员尝试了几种“补丁”来迫使 AI 查看图片而不是猜测：

“词汇围栏”：他们试图告诉 AI：“你只能写希腊字母。”结果：这让情况变得更糟。AI 感到困惑，开始写胡言乱语，因为它无法使用它通常的把戏。
“对比测试”：他们试图同时向 AI 展示图片和图片的模糊版本，以迫使其关注细节。结果：这对某些模型有一点帮助，但对专用模型没有帮助。
“赛后编辑”：他们让 AI 先写下答案，然后让第二个 AI（纯文本编辑器）修正错误。结果：这很好地清理了文本，但并没有解决根本问题。第一个 AI 仍然忽略了图片；第二个 AI 只是在谎言被说出后进行了修正。

主要启示

主要的教训是，仅仅因为 AI 的答案听起来完美且流利，并不意味着它实际上阅读了文档。

在古代历史和稀有文档的世界里，这是危险的。如果数字图书馆使用这些 AI 模型扫描古老的希腊书籍，AI 可能会悄悄地将一个罕见、生僻的词替换为一个常见、"合理"的词。阅读数字版本的历史学家永远不会知道发生了这种变化，因为句子在语法上看起来仍然完美。

该论文得出结论，我们需要新的方法来测试 AI，而不仅仅是检查最终得分是否高，而是要检查 AI 是否真正"grounded"在视觉证据中，或者它是否只是根据它认为应该存在的内容进行猜测。

技术摘要：阅读还是猜测？古希腊语版本 OCR 中视觉语言模型的视觉 grounding 失效

问题陈述

近期的视觉语言模型（VLM）在标准基准测试中的光学字符识别（OCR）性能已接近人类水平。然而，新兴证据表明，这些模型可能严重依赖语言先验而非视觉证据，在语言上下文被扰动时，生成语义合理但缺乏视觉支持的文本。虽然这一现象已在高资源环境中得到研究，但其在低资源历史文档中的表现仍未得到充分探索。

本文利用古希腊语批判性版本这一具有挑战性的领域来研究该问题，其特点包括：

低资源先验：对通用预训练期间习得的词汇和格式模式的支持有限。
复杂布局：密集文本、多调音符号（重音和送气符）、页边注释以及字母数字。
高风险：数字化学术版本中的错误可能会悄无声息地破坏下游研究。

核心研究问题如下：

VLM 与传统 OCR 系统的失效模式是否不同？
VLM 在多大程度上依赖语言先验而非视觉证据？
推理时的干预措施能否恢复视觉 grounding？

方法论

作者在包含90 页古希腊语批判性版本扫描页面的数据集上，评估了五种开源权重的 VLM（包括 OlmOCR-2-7B 和 DeepSeek-OCR 等 OCR 专用模型，以及 Qwen3-VL-2B/8B 等通用模型）与两种传统 OCR 基线（Tesseract-grc 和 Kraken-CLLG）的表现。

本研究采用多维分析框架：

1. 错误分布分析

作者建立了一个包含八个互斥类别的词级错误分类体系，包括重音/变音符号错误、字符混淆、跨脚本替换、单词替换、过度生成和遗漏。他们分析了字符错误率（CER）和词错误率（WER），以区分“嘈杂”的识别错误和“流畅”的幻觉。

2. 反事实扰动实验

为了隔离对语言先验的依赖，作者在渲染前对页面上的文本进行了损坏，生成合成刺激。真实标签为扰动后的字符串。

逻辑：一个基于视觉 grounding 的系统应转录损坏的字形，即使它们构成无意义内容；而依赖先验的系统应“修复”文本，使其趋向合理的古希腊语，从而增加相对于扰动后真实标签的错误率。
扰动：包括单词级重排（句法层面）和字符级打乱（词汇/正字法层面）。

3. 词元级图像增益分析

为了从机制上衡量 grounding，作者计算了每个词元的图像增益：
$\text{gain}(t) = \log p(t \mid \text{image}, \text{prompt}) - \log p(t \mid \text{prompt})$
该指标量化了与纯文本基线相比，图像在多大程度上提高了某个词元的概率。他们比较了不同词元类别的增益：正确词元、感知错误（字形混淆）、跨脚本错误和词汇错误（流畅的单词替换）。

4. 推理时干预措施

本研究测试了三类干预措施以恢复 grounding：

输出约束：脚本掩码（将输出限制为希腊字符）和长度抑制（抑制长度不正确的输出）。
对比解码：视觉对比解码（VCD）和无图像对比解码（M3ID），用于惩罚那些在没有视觉输入的情况下仍然概率较高的词元。
OCR 后修正：使用纯文本语言模型在生成后重写识别出的文本。

主要结果

1. 截然不同的失效模式

传统 OCR：错误主要是局部的识别噪声（如标点符号、页面装饰元素、字符混淆），并且与可见字形紧密相关。
VLM：错误主要由感知表面正字法错误（重音/变音符号）和流畅的词汇替换主导。VLM 经常用有效且词汇表内的古希腊语单词替换错误的单词，导致其 WER/CER 比率显著高于传统系统。

2. 先验依赖的证据

扰动响应：在字符级扰动下，VLM 的错误率急剧上升（偏离扰动后的真实标签），而传统 OCR 则相对忠实。
模型特定的 grounding：词元级分析显示，先验依赖并非普遍存在：
- OlmOCR（OCR 专用模型）：在流畅的词汇错误上表现出“低图像增益”特征（中位增益 0.17），表明这些错误是在极少依赖图像的情况下产生的（先验覆盖）。
- Qwen3-VL（通用模型）：即使出错时仍保持图像参与。其词汇错误具有高图像增益（例如 Qwen3-VL-8B 为 1.97），表明它们是基于视觉输入进行条件生成的，但误解了输入，而非忽略图像去猜测。
- 跨脚本错误：在所有模型中，脚本混合错误（希腊语 $\to$ 拉丁语）显示出最高的图像增益，证实它们是由视觉触发的。

3. 干预措施的低效性

输出约束：脚本掩码导致性能灾难性下降（CER 增加 7–10 倍），长度抑制未带来增益反而降低了覆盖率。
对比解码：VCD 无显著效果。M3ID 改善了通用 VLM（Qwen）的表现，但未能帮助 OCR 专用模型（OlmOCR），表明不存在模型无关的解决方案。
OCR 后修正：这带来了最广泛的增益，显著降低了七个系统中五个的错误率。然而，这种改进发生在生成之后，修复了文本，而非防止解码过程中视觉 grounding 的丧失。

意义与主张

本文主张，流畅的 OCR 输出并不能保证视觉 grounding。VLM 生成语法和词汇正确的古希腊语的能力，可能会掩盖其与视觉证据之间的根本脱节，特别是在低资源、复杂的历史环境中。

主要贡献包括：

扩展先前工作：证明语言先验依赖不仅存在于高资源环境，还延伸至低资源历史文档及更广泛的模型集合。
细致的 grounding 分析：表明“先验覆盖”是模型特定的。它是 OCR 专用模型的一种独特失效模式（忽略图像去猜测），但不一定是通用 VLM 的失效模式（它们可能仍关注图像，但未能正确解读）。
当前修复方案的局限性：确立简单的解码约束和对比方法不足以恢复 grounding，表明这些架构中视觉证据与生成式解码之间存在更深层的不匹配。

作者总结道，对历史领域中多模态模型的评估必须超越聚合准确率指标（CER/WER），转向可解释性驱动的评估，以测试模型输出是否真正基于相关输入证据。他们警告，在没有人工验证的情况下，不要将 VLM 部署于资源匮乏的文化遗产材料上，因为流畅但未 grounding 的错误可能会悄无声息地破坏数字化语料库。