A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents

这是一份关于论文《A Survey of OCR Evaluation Methods and Metrics and the Invisibility of Historical Documents》（OCR 评估方法与指标综述及历史文献的不可见性）的详细技术总结。

1. 研究问题 (Problem)

当前光学字符识别（OCR）和文档理解系统主要依赖大型视觉模型（VLM）和多模态架构，但其评估体系存在严重的偏差和盲区，导致历史文献（特别是边缘化群体的档案，如黑人历史报纸）在数字化过程中变得“不可见”。

具体技术问题包括：

• 评估指标单一化：过度依赖字符错误率（CER）和词错误率（WER）等基于编辑距离的指标。这些指标仅衡量字符串的准确性，无法捕捉布局错误（如列顺序错乱、列坍塌）和语义结构破坏。
• 基准数据集偏差：主流基准（如 OCRBench, DocVQA）和训练数据（如 IIT-CDIP）主要由现代、西方、机构化的文档（科学论文、商业表格、现代 PDF）组成。
• 历史文献的特殊性被忽视：历史文献（特别是 19 世纪黑人报纸）具有独特的排版（多栏、复杂网格）、字体（哥特体、黑体）、物理退化（微缩胶片扫描、墨迹渗透、光照不均）以及社会文化语境。现有模型在这些场景下表现不佳，但评估系统并未要求模型在这些场景下取得成功。
• 结构性幻觉与不可见性：模型可能在字符级准确率上表现良好，但会错误地重组文本顺序，甚至“幻觉”出符合历史语境但实际不存在的文本（Over-historicization），导致历史记录的扭曲。

2. 方法论 (Methodology)

作者采用 PRISMA 2020 框架进行系统性综述，时间跨度为 2006 年至 2025 年。

• 数据收集：从 ACM、IEEE Xplore、arXiv、ACL 等六个数据库中检索了 80 篇论文，经过筛选保留 78 篇独特的记录。
• 筛选标准：纳入那些以定量指标评估 OCR 系统、引入/分析评估基准、或概述 OCR 评估流程的论文。
• 分析维度：
  • 训练数据：分析模型使用的数据来源、规模、透明度及是否包含历史文档。
  • 基准设计：考察基准是否包含历史文档、退化测试（如模糊、水印）以及对边缘化社区档案的覆盖情况。
  • 评估指标：检查是否使用了除 CER/WER 之外的结构感知指标。
• 案例研究：选取 1837 年的黑人报纸《The Weekly Advocate》作为具体案例，测试三种代表性模型（Tesseract v5, Surya, olmOCR 2），对比它们在历史排版和字体下的表现，并分析其失败模式。

3. 关键贡献 (Key Contributions)

1. 系统性分析：首次系统性地梳理了 OCR 和文档理解评估体系，揭示了训练数据、基准和指标在呈现和实施上的局限性，特别是针对黑人历史档案的缺失。
2. 论证评估盲区：论证了当前的评估系统虽然报告了高字符级准确率，但无法检测历史报纸中常见的结构性错误（如列坍塌、排版错误、幻觉文本），导致模型在文化相关文档上的失效被掩盖。
3. 案例实证：通过黑人历史报纸的案例研究，展示了评估盲点如何导致具有结构性意义的错误（如编辑逻辑的丧失），并指出这些错误在常规评估下未被报告。
4. 提出结构性归因：指出这些差距并非单纯的技术限制，而是源于组织（中观）和制度（宏观）层面的行为，包括基准激励、数据治理决策以及资源分配不均。

4. 主要结果 (Results)

• 训练数据偏差：
  • surveyed 的 13 个主要 OCR 系统中，6 个依赖 IIT-CDIP（基于烟草诉讼的现代商业文档）。
  • 大多数模型（如 LayoutLMv3, DocFormer, Nougat）的训练数据中完全没有或仅有极少量的历史文档覆盖。
  • 即使是较新的模型（如 olmOCR 2），虽然包含部分互联网档案馆数据，但缺乏针对黑人社区档案的专门策展。
• 评估指标失效：
  • 主流基准（如 OCRBench v2, OmniDocBench）主要针对现代文档或科学符号，缺乏历史文档类别。
  • 现有指标（CER/WER）无法惩罚布局错误。例如，模型若将多栏文本按错误的顺序（Z 字形）转录，CER 可能依然很低，但语义完全混乱。
• 案例研究失败模式：
  • Tesseract v5：将垂直列线误读为文本，默认从左到右的"Z 字形”阅读顺序，导致不同栏目内容（如诗歌与市政报告）语义合并。
  • Surya：高对比度的 19 世纪字体触发令牌崩溃，产生生成性重复和“垃圾令牌”。
  • olmOCR 2 (SOTA VLM)：出现纠正性幻觉，用高概率令牌覆盖视觉证据，将实体替换为虚构文本（“知识渗漏”），导致历史事实被篡改。
• 合成数据 vs. 真实退化：模型在合成噪声（如高斯噪声）下表现良好，但在真实的微缩胶片退化（光照梯度、物理变形、不可逆二值化损失）下表现崩溃。

5. 意义与影响 (Significance)

• 认识论层面的危害：评估选择反映了“哪些文档重要”的假设。忽视黑人历史档案的评估标准，实际上是在进行一种认识论上的抹除，使得这些档案对计算系统不可见。
• 社会正义与代表性：黑人报纸不仅是历史记录，更是美国政治、社会和文化史的核心档案。评估系统的缺陷导致这些档案在数字化过程中失去其编辑逻辑、修辞意图和政治身份。
• 对 AI 伦理的补充：文章指出，除了宏观的 AI 伦理讨论，评估环节是迭代改进的关键。当前的挑战不是技术能力，而是资源分配、数据集多样性和对文化价值的认可。
• 未来方向：呼吁建立包含布局感知、保真度导向的评估指标，将黑人数字档案视为核心测试集而非边缘案例，并推动数据治理决策向包容性转变，以防止生成式 AI 制造“看似合理但虚假”的历史记录（Over-historicization）。

总结：该论文揭示了 OCR 领域的一个核心矛盾——技术上的“高精度”（字符级）与历史档案的“低保真”（结构与语义级）并存。它呼吁学术界和工业界重新审视评估标准，将文化相关性和历史真实性纳入核心指标，以避免算法加剧历史文献的不可见性和扭曲。