💬 NLP

Unlimited OCR Works

本文介绍了 Unlimited OCR，该模型通过使用一种新颖的参考滑动窗口注意力（Reference Sliding Window Attention, R-SWA）机制取代标准的解码器注意力，从而维持恒定的 KV 缓存，进而实现对数十页内容的单次高效转录，避免了基于大语言模型的 OCR 系统在处理长输出序列时通常会出现的内存和速度退化问题。

原作者： Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du, Lei Jia

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du, Lei Jia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：当前 AI 的“记忆过载”

想象一下，你正在尝试手工抄写一本 100 页的书。

人类的做法： 你看着书，写下一个句子，然后瞥一眼刚刚写的最后几个字，确保自己没有跑题，接着继续写。你不需要记住从第一页开始写的每一个字；你只需要知道现在进行到哪里了。你的大脑会自然地让遥远的过去“淡出”，同时保持对近期上下文的敏锐感知。
当前 AI 的做法： 现在的 AI 模型就像一个拒绝忘记任何事情的学生。每当它们写下一个新词时，它们都会试图重新阅读从第一页到当前页面的整本书，以决定下一步该写什么。
- 结果： 随着书的内容变长，这个学生会变得越来越慢，因为他们背负着巨大的心理负担。最终，他们会耗尽内存（RAM），不得不停止、重置，并从新的一页重新开始。这就是为什么当前的 AI 在处理整本书时会遇到困难；它必须像一个陷入循环的机器人一样，一页一页地进行。

解决方案：“Unlimited OCR”与“滑动窗口”

百度研究人员提出了一种名为 Unlimited OCR 的新模型。他们想要构建一个思考方式更像人类抄写员的 AI。为此，他们发明了一种新的注意力机制，称为 参考滑动窗口注意力机制 (Reference Sliding Window Attention, R-SWA)。

以下是其工作原理，使用了几个类比：

1. “参考书” vs. “滑动窗口”

想象 AI 正坐在书桌前，桌上有两样东西：

参考书（图像）： 这是正在被扫描的文档。AI 在整个过程中都一直开着这本书。它永远不会忘记原始图像。
滑动窗口（近期过去）： AI 不再去记忆它写下的全部历史，而是只保留一个关于它最近生成的 128 个词的小型“便利贴”。当它写下一个新词时，便利贴上最旧的一个词就会掉落，而新的词会被添加进去。

神奇之处在于： AI 会观察 参考书（以了解要抄写的内容）和 滑动窗口（以了解自己处于什么进度）。它忽略了其余的历史记录。这使得无论是在抄写 1 页还是 100 页内容时，它的“心理负担”（内存占用）都保持恒定。

2. “深度挤压”（高压缩编码器）

在 AI 开始写作之前，它必须先观察图像。

旧方法： 如果你有一张高分辨率的书籍照片，就像试图描述每一个像素一样，这会占用巨大的空间。
Unlimited OCR 的方法： 他们使用了“深度挤压”（DeepEncoder）。想象一下将一张高分辨率照片压缩成一个微小且高效的摘要，且不丢失重要细节。这意味着“参考书”在桌面上占用的空间非常小，为 AI 留出了充足的工作空间。

他们取得了什么成就？

通过将“深度挤压”与“滑动窗口”相结合，研究人员实现了三个主要目标：

单次长程解析（One-Shot Long-Horizon Parsing）： 该模型可以一次性处理数十页的文档。它不需要停止或重置。它可以从头到尾连续不断地读完一整本书。
恒定速度： 因为 AI 并不试图记住整个历史，所以它不会随着文档变长而变慢。无论是在第 1 页还是第 50 页，它的写作速度都保持一致。
更高的准确度： 出人意料的是，通过仅关注相关的近期上下文和原始图像，该 AI 实际上比之前的顶尖模型犯的错误更少。它不会被自己冗长的历史记录所干扰。

“现实世界”测试

研究人员在名为 OmniDocBench 的基准测试中对其进行了测试。

结果： Unlimited OCR 的得分高于几乎所有其他模型，包括它所基于的模型（DeepSeek OCR）。
长文本测试： 他们向它输入了超过 40 页的书籍。该模型保持了极高的准确度，证明它在书的中间部分并没有“迷失方向”。

这对未来意味着什么？

论文指出，这不仅仅是为了阅读书籍。由于“滑动窗口”逻辑非常高效，它可以应用于其他需要长时间听取或翻译而不感到疲劳或变慢的任务，例如：

ASR（自动语音识别）： 在转录数小时音频时，系统不会变慢。
翻译： 一次性完成长篇文档的翻译。

总结

可以将 Unlimited OCR 视为将 AI 从一个会被长任务压垮的“摄影式记忆”升级为一名“聪明的抄写员”，它知道什么需要记住（原始图像和最后几个词），以及什么可以安全地忘记。这使得它能够工作得更快、占用更少的内存，并能处理以往 AI 无法一次性处理的海量文档。

技术摘要：Unlimited OCR (无限 OCR)

1. 问题陈述

当前的端到端光学字符识别 (OCR) 模型，即使是那些利用大语言模型 (LLM) 作为解码器的模型，在长程解析任务（例如在单次前向传播中转录数十页文档）方面仍面临显著局限。

内存与效率瓶颈： 标准的注意力机制要求键值 (KV) 缓存随输出序列长度线性增长。随着序列变长，这会导致内存消耗无限制增加，并由于注意力计算成本的上升导致生成速度逐渐变慢。
“循环 (For-Loop)”权宜之计： 现有模型通常通过循环逐页处理文档，并在每一步重置内存。这将被任务碎片化为由外部调度器管理的孤立短程问题，无法模拟人类在转录长文本时表现出的连续认知状态。
视觉保真度与状态转换： 虽然线性注意力机制可以降低复杂度，但它们通常会对视觉标记进行递归状态更新。这会导致视觉特征出现“渐进式模糊”，从而降低识别精度。

2. 方法论

本文提出了 Unlimited OCR，该模型旨在模拟人类在长程复制任务中的工作记忆。它基于 DeepSeek OCR 基线构建，保留了其高压缩率编码器，但从根本上改变了其解码器的注意力机制。

核心架构

基线： 使用 DeepSeek OCR 的 DeepEncoder，该编码器采用级联 ViT 架构（SAM-ViT + CLIP-ViT）实现了 16 倍的标记压缩率。这确保了视觉标记被编码一次后保持静态，避免了在输入侧进行状态转换的需求。
解码器： 一个总参数量为 3B、激活参数量为 500M 的混合专家 (MoE) 大语言模型。
核心创新： 将解码器中所有的标准多头注意力 (MHA) 层替换为 参考滑动窗口注意力 (Reference Sliding Window Attention, R-SWA)。

参考滑动窗口注意力 (R-SWA)

R-SWA 是一种通用的解析注意力机制，它将注意力约束在一个大小为 $m + n$ 的两段式窗口内：

参考段 ( $P$ )： 包括所有前缀标记（视觉标记和提示词）。该段具有固定大小 ( $L_m$ )，且对后续所有标记全局可见。至关重要的是，这些标记不进行状态转换，从而保留了视觉保真度。
解码段 ( $D_n$ )： 一个针对先前生成的输出标记的固定宽度为 $n$ （默认为 128）的因果滑动窗口。

机制：

每个生成的标记都会关注所有参考标记（视觉内容 + 提示词）以及前序 $n$ 个输出标记。
KV 缓存管理： 不同于标准 MHA 中缓存大小为 $L_m + T$ （随序列长度 $T$ 增长），R-SWA 维持恒定的缓存大小 $L_m + n$ 。缓存作为一个队列，当新标记加入时，最旧的生成标记的 KV 对会被剔除。
结果： 这种设计将内存使用和计算成本与总输出长度解耦，使得无论处理多少页面，都能实现恒定的延迟和内存占用。

3. 核心贡献

R-SWA 算法： 引入了一种新型注意力机制，它结合了对参考（视觉）标记的全可见性与对生成标记的有界因果窗口。这实现了线性复杂度的注意力，且不会模糊视觉特征。
Unlimited OCR 模型： 基于 DeepSeek OCR 的一种实用实现，能够在标准的 32K 最大长度限制下，在单次前向传播中成功解析数十页文档。
性能提升： 研究表明，使用 R-SWA 替换标准注意力不仅带来了效率提升，还提高了在标准基准测试中的准确度，这表明其“软遗忘”机制与 OCR 任务高度契合。
泛化性： 本文认为 R-SWA 不仅适用于 OCR，也适用于其他基于参考的长程任务，如自动语音识别 (ASR) 和翻译。

4. 实验结果

基准测试与指标

模型在 OmniDocBench (v1.5 和 v1.6) 以及一个内部长程测试集上进行了评估。评估指标包括文本编辑距离 (Text Edit Distance)、公式 CDM、表格 TEDS 和阅读顺序编辑距离 (Reading Order Edit Distance)。

主要发现

OmniDocBench v1.5： Unlimited OCR 取得了 93.23% 的综合得分，相比 DeepSeek OCR 基线 (87.01%) 提升了 6.22 个百分点。它也超越了 DeepSeek OCR 2 基线。
OmniDocBench v1.6： 取得了 93.92% 的综合得分，创下了新的 SOTA（最高水平），超越了 FireRed-OCR 和 Qianfan-OCR 等其他端到端模型。
子类别分析： 该模型在所有九种文档类型（PPT、学术论文、书籍等）中均表现出一致的改进，没有任何指标在与基线对比时出现劣势。
长程解析：
- 模型成功实现了在单次处理中解析 40+ 页 的输入。
- 在 40+ 页的情况下，编辑距离仍保持在 0.11 以下，Distinct-35 为 96.90%。
- 极端长度下的错误主要归因于“基础 (Base)”编码器模式 (1024×1024) 的分辨率限制，而非注意力机制迷失了方向。

效率分析

吞吐量 (TPS)： 虽然两个模型在短长度（256 个标记）下的表现相似，但 Unlimited OCR 随着序列长度的增加能保持恒定的吞吐量（约 7,800 TPS）。相比之下，由于 KV 缓存的增长，DeepSeek OCR 的吞吐量在 6,000 个标记处显著下降（下降了约 35%）。
延迟： 对于 Unlimited OCR，Flash Attention 内核的单次调用时长保持不变，而对于基线模型，该时长随长度线性增长。

5. 意义与主张

本文声称 Unlimited OCR 代表了向单次（one-shot）长程解析的转变，脱离了工程上的权宜之计（如逐页循环），转向了一种更符合 AGI（通用人工智能）理念的认知架构。

类人效率： 通过模拟人类的工作记忆——保留源信息（视觉内容）和近期上下文，同时“软性遗忘”远端输出——该模型实现了不随任务长度增加而退化的效率。
无损优化： 作者断言 R-SWA 对 OCR 而言是“免费的午餐”，它在大幅降低内存和计算成本的同时还提升了准确度。
未来潜力： 这项工作表明，注意力计算和内存占用不再是长程解析的主要瓶颈。作者计划将 R-SWA 扩展到 ASR 和翻译领域，并探索通过“预填充池 (prefill pools)”来模拟人类“翻页”的行为，从而实现真正意义上的无限上下文长度。

承认的局限性：
目前的实现仍受限于预填充长度（受限于 32K 上下文窗口和 DeepEncoder 的压缩率）。实现真正的“无限”解析（例如无需上下文限制地处理整本书）需要未来的研究方向，包括更长上下文（128K+）的训练以及动态预填充获取机制。