🤖 machine learning

A Benchmark of State-Space Models vs. Transformers and BiLSTM-based Models for Historical Newspaper OCR

该论文首次提出了基于状态空间模型（Mamba）的端到端历史报纸 OCR 架构，并通过大规模基准测试证明，相较于 Transformer 和 BiLSTM 模型，Mamba 在保持高精度（CER 约 2%）的同时，显著降低了推理时间并优化了长序列处理时的内存扩展性，为文化遗产的大规模数字化提供了高效解决方案。

原作者： Merveilles Agbeti-messan, Thierry Paquet, Clément Chatelain, Pierrick Tranouez, Stéphane Nicolas

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Merveilles Agbeti-messan, Thierry Paquet, Clément Chatelain, Pierrick Tranouez, Stéphane Nicolas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一场**“古老报纸 OCR（文字识别）界的超级马拉松比赛”**。

想象一下，你手里有一堆几百年前的旧报纸，纸张发黄、字迹模糊，有的还是哥特体（像花体字一样难认），排版也乱七八糟。你的任务是把上面的字全部变成电脑能读懂的文本。

以前的“冠军选手”是Transformer 模型（比如 DAN、TrOCR），它们像是一个超级博学的教授，读文章时会把每一个字都和其他所有字联系起来思考，所以认字非常准。但是，这个教授有个大毛病：太慢、太费脑子。如果文章太长（比如一整段），他需要把整篇文章都记在脑子里反复比对，随着文章变长，他的“脑力消耗”（内存）会呈爆炸式增长，甚至累到崩溃。

这篇论文 introduce 了一位新选手：Mamba（基于状态空间模型 SSM）。

1. 核心比喻：教授 vs. 高效流水线工人

旧选手（Transformer/教授）：
- 工作方式： 读到一个字，就要回头看看前面所有的字，再想想后面所有的字，确保上下文完美衔接。
- 优点： 认字极准，尤其是长文章。
- 缺点： 就像让教授去搬砖，搬得越多，需要的桌子（内存）越大。文章越长，他越慢，甚至因为桌子不够大而直接死机。
新选手（Mamba/高效流水线工人）：
- 工作方式： 他像是一个聪明的流水线工人。他不需要把整篇文章都背下来。他手里有一个**“智能记事本”**，只记住当前最需要的信息，读过一个字就把它“压缩”进记事本，然后继续读下一个。
- 优点： 速度极快，内存占用几乎不随文章长度增加而暴涨。不管文章多长，他都能保持稳定的节奏。
- 缺点： 在极短的文章里，可能和教授差不多快；但在超长文章里，优势巨大。

2. 比赛现场：卢森堡国家图书馆的旧报纸

作者们找来了卢森堡国家图书馆（BnL）的珍贵历史报纸作为“考场”。这些报纸有两个特点：

字很难认： 有法文、德文、卢森堡语，还有两种字体（Antiqua 和 Fraktur，后者像乱码一样难认）。
质量很差： 纸张破损、墨迹晕染。

他们不仅测试了单行文字（像一行字），还测试了整段文字（像一整段新闻），因为整段文字对模型的“记忆力”要求更高。

3. 比赛结果：谁赢了？

作者们把 Mamba 和以前的老选手（Transformer、BiLSTM）以及市面上的现成软件（如 Tesseract、Google Gemini）放在一起 PK。

准确率（谁认得最准？）：
- 大家其实都挺准的！在单行文字测试中，大家的错误率都降到了 2% 左右（相当于 100 个字错 2 个）。
- 在整段文字测试中，传统的“教授”（DAN）稍微领先一点点（错误率 5.24%），但新选手 Mamba 紧随其后（错误率 6.07%），差距非常小。
速度与效率（谁跑得快、省内存？）：
- 这是 Mamba 的碾压局！
- 速度： Mamba 比传统的“教授”快 2 倍 以上。
- 内存（脑力）： 这是最关键的。当文章变长（比如从 100 个字变成 1000 个字）：
  - 教授（DAN）： 需要的内存翻了 2.3 倍，像气球一样越吹越大，容易爆炸。
  - Mamba： 需要的内存只增加了 1.26 倍，像一条直线一样平稳增长。
- 结论： 如果你要处理成千上万页的报纸，用 Mamba 就像开一辆省油的小轿车，而用 Transformer 就像开一辆耗油的大卡车，还没跑多远油就没了。

4. 其他有趣的发现

现成软件不行： 像 Tesseract 或 Google Gemini 这种“通用型”软件，虽然很强大，但在面对这种几百年前的破旧报纸时，表现不如专门训练过的模型。它们就像让一个现代英语专家去读古拉丁文，虽然聪明，但没受过专门训练，容易出错。
分词策略： 有些模型试图把单词拆成更小的“词块”（BPE）来加速，但在面对古德语（Fraktur）时，这种策略反而让模型“水土不服”，认字准确率大跌。这说明对于古文字，按“字”认反而更稳妥。

5. 总结：这对我们意味着什么？

这篇论文告诉我们，在数字化历史文献（如旧报纸、古籍）时，我们不需要再死磕那些“慢吞吞但聪明”的旧模型了。

Mamba 模型提供了一个完美的平衡点：

够准： 认字准确率几乎和最好的模型一样。
够快： 处理速度翻倍。
够省： 能处理超长段落而不崩溃，让大规模数字化项目变得可行且便宜。

一句话总结：
如果把数字化旧报纸比作**“在迷宫里找路”，以前的模型是“拿着整张地图反复比对”，虽然准但累死人；现在的 Mamba 模型是“手里拿着指南针，边走边看”**，既准又快，还能轻松走完长长的迷宫。这对于保护人类文化遗产来说，是一个巨大的进步。

这是一份关于论文《A Benchmark of State-Space Models vs. Transformers and BiLSTM-based Models for Historical Newspaper OCR》（状态空间模型与基于 Transformer 和 BiLSTM 的模型在历史报纸 OCR 中的基准测试）的详细技术总结。

1. 研究背景与问题 (Problem)

核心挑战：历史报纸的端到端光学字符识别（OCR）极具挑战性。主要难点包括：
- 长文本序列：需要处理段落级甚至整页的文本，而不仅仅是单行。
- 图像质量退化：存在模糊、透印、污渍等历史文档特有的退化现象。
- 复杂布局：多栏排版、非标准化字体（如 Fraktur 哥特体与 Antiqua 拉丁体混排）以及多种语言（卢森堡语、法语、德语）。
现有技术的局限性：
- Transformer 架构：虽然目前占据主导地位（如 TrOCR, DAN），但其自注意力机制具有 $O(n^2)$ 的复杂度。在处理长序列（如段落）时，会导致显存占用急剧增加（Key-Value 缓存）和推理延迟过高，难以满足大规模数字化部署的效率需求。
- BiLSTM/CTC：虽然推理较快，但在长距离依赖建模和语言建模能力上通常弱于 Transformer。
- 缺乏系统性评估：新兴的状态空间模型（SSMs）（特别是 Mamba 架构）在 NLP 和 CV 领域表现出色，具有 $O(n)$ 的线性复杂度，但在历史文档 OCR 领域尚未被系统性地探索或与传统模型进行公平对比。此外，自回归（AR）与非自回归（Non-AR/CTC）解码策略在 SSM 上的表现也未见统一评估。

2. 方法论 (Methodology)

作者提出了基于 Mamba 的 OCR 架构，并构建了一个大规模的基准测试框架。

2.1 模型架构设计

视觉编码器：所有模型共享相同的 CNN 编码器（源自 DAN 模型），包含 5 层卷积、批归一化和最大池化，将图像特征展平为序列。
上下文建模：使用**双向 Mamba（Bidirectional Mamba）**连接器处理视觉序列，捕捉全局上下文信息。
三种解码变体：为了全面评估，作者设计了三种基于 Mamba 的解码策略：
1. Mamba-AR (自回归)：逐字生成，利用 Mamba 的因果掩码进行序列建模。
2. Mamba-CTC：基于连接主义时间分类（CTC），假设时间步条件独立，支持并行解码。
3. Mamba-NAR (非自回归)：使用静态查询（Static Queries）并行预测所有位置，结合交叉熵损失。

2.2 基准对比系统

为了验证 Mamba 的有效性，研究将其与以下模型进行了严格对比：

Transformer 基线：DAN（自回归）、DANIEL（使用 BPE 子词 Tokenization 的自回归）、VAN（CTC 模式）。
BiLSTM 基线：PERO-OCR（工业级 CTC 系统）。
现成 OCR 引擎：Tesseract v5, TrOCR（零样本及微调版）, Gemini（作为基础模型代表）。

2.3 数据集与实验设置

数据来源：卢森堡国家图书馆（BnL）的历史报纸集合。
- 行级数据集：33,000 行文本（Fraktur 和 Antiqua 字体），经过双重人工校对，准确率>99.95%。
- 段落级数据集：从 304 期报纸中提取的 23,939 个文本区域。重点评估严重退化、包含 1-10 行（<1000 字符）的段落。
训练策略：
- 使用合成数据（法语维基百科）进行预训练以缓解过拟合。
- 采用课程学习（Curriculum Learning），逐步增加段落长度。
- 统一训练条件，确保公平比较。

3. 主要贡献 (Key Contributions)

首次应用：首次将状态空间模型（SSM/Mamba）应用于历史文档 OCR，提出了结合 CNN 视觉编码器与双向/自回归 Mamba 序列建模的新架构。
系统性基准测试：在相同实验条件下，首次对比了 SSM、Transformer 和 BiLSTM 三种架构家族，并涵盖了 CTC、自回归和非自回归三种解码范式。
双粒度评估：不仅评估了行级识别，还深入评估了段落级识别，揭示了不同架构在处理长序列时的扩展性差异。
效率与鲁棒性分析：除了准确率，还详细报告了推理延迟、吞吐量、显存占用及长序列下的内存扩展性（Scaling）。
开源资源：发布了标准化的训练/验证/测试集划分（含>99% 准确率的黄金标准标注）、训练好的模型权重及评估代码，为可复现研究奠定基础。

4. 实验结果 (Results)

4.1 行级识别 (Line-Level)

准确率：所有神经模型在 Antiqua 字体上均达到约 1.83% - 2.66% CER（字符错误率）。
- Mamba-AR 与 DAN 并列最佳（1.83% CER）。
- VAN 在 Fraktur 字体上表现最佳（3.01% CER）。
效率：
- VAN 吞吐量最高（161.5 img/s），延迟最低（6.19 ms）。
- Mamba-AR 比 DAN 快 2.9 倍（53.3 ms vs 156.5 ms），且保持了相同的准确率。
- 现成引擎（如零样本 TrOCR）在历史字体上表现灾难性（CER > 15%）。

4.2 段落级识别 (Paragraph-Level)

这是本文的核心发现区域，长序列处理成为瓶颈。

准确率：
- DAN 准确率最高（5.24% CER）。
- Mamba-AR 紧随其后（6.07% CER），仅高出 0.83%。
- VAN 表现稳健（6.42% CER）。
效率与扩展性：
- 速度：Mamba-AR 比 DAN 快 2.05 倍（195.6 ms vs 401.2 ms）。
- 显存扩展性（关键发现）：
  - 当序列长度从 100 增加到 1000 字符时，DAN (Transformer) 的显存增长因子为 2.30 倍（ $O(n^2)$ 行为）。
  - Mamba-AR 的显存增长因子仅为 1.26 倍（接近 $O(n)$ 线性增长）。
  - 这证明了 Mamba 在处理长文本段落时具有显著的内存优势，更适合大规模批处理。

4.3 其他发现

Tokenization：基于字符的 Tokenization 对历史文本足够有效。DANIEL 使用 BPE 子词在 Fraktur 字体上表现大幅下降（CER 从 2.37% 升至 6.18%），表明子词 Tokenizer 在处理古体拼写和罕见字符时存在词汇表不匹配风险。
基础模型：TrOCR 和 Gemini 尽管参数量巨大，但在未经特定领域微调或提示工程的情况下，无法超越专门训练的小型神经模型。

5. 意义与结论 (Significance)

技术突破：证明了 Mamba (SSM) 是历史文档 OCR 中 Transformer 的有力替代方案。它在保持竞争力的准确率的同时，显著降低了推理延迟，并解决了长序列处理中的显存爆炸问题。
实践指导：
- 对于大规模数字化项目（如处理数百万页报纸），Mamba-AR 或 VAN 是更优的选择，因为它们在保证精度的同时提供了极高的吞吐量和更好的内存扩展性。
- 研究揭示了在历史文档中，简单的字符级模型往往优于复杂的子词模型，且专用模型优于通用基础模型。
未来方向：该工作为文化遗产数字化提供了新的架构选择，并鼓励进一步探索高效序列建模在长文档理解中的应用。

总结：这篇论文通过严谨的基准测试，确立了 Mamba 架构在历史报纸 OCR 领域的地位，特别是在段落级长文本识别任务中，它成功平衡了精度与计算效率，解决了 Transformer 在大规模部署中的瓶颈问题。