✨ 要点🔬 技术摘要
想象一下你拥有一个海量的文档库：有些是清晰现代的 PDF；有些则是从旧书中扫描出来的、带有褪色墨迹、歪斜文本和复杂数学公式的陈旧扫描页。几十年来，试图将这些图像转化为可编辑文本的过程，就像是试图通过先制造一台寻找边缘的机器、另一台对颜色进行分类的机器、以及第三台将碎片粘合在一起的机器，来组装一个拼图。这种旧方法（被称为“流水线”）非常脆弱、昂贵，并且经常在文档发生变化时失效。
LightOnOCR 是一个全新的、全能型的机器人，它跳过了组装流水线。它直接观察页面的图像，并瞬间“阅读”文本、理解布局并完美地将其打出来，全程一气呵成。
以下是该论文声称内容的简单拆解：
1. “小巨人”（模型）
团队构建了一个名为 LightOnOCR-2 的模型。尽管它极其微小（仅有 10 亿参数 ，而通常需要 80 亿或 90 亿参数的模型才能达到这种水平），但它是目前世界上最强大的阅读器。
类比： 将其他顶级模型想象成庞大、耗油的卡车，虽然载重量大但运行缓慢且昂贵。LightOnOCR 则像是一辆灵巧、高速的跑车，它能承载同样的负荷，但消耗的燃料极少，且速度更快。结果： 它在标准测试（OlmOCR-Bench）中击败了最大的竞争对手，同时体积比对方小 9 倍 ，且速度显著提升。
2. 它是如何学习的（训练）
为了教会这个机器人阅读，团队并没有仅仅喂给它随机的书籍。他们创造了一个“超级大厨”配方：
老师： 他们使用了一个规模巨大、极其聪明的 AI（“老师”）来阅读数百万份文档并写下完美的文本。LightOn-OCR 通过模仿这位老师来进行学习。食谱： 他们为模型提供了极其多样化的饮食，包含 4300 万页内容。其中包括：
扫描件： 为了学习如何阅读凌乱、陈旧或模糊的页面。法语文档： 为了在欧洲语言方面表现出色。科学 PDF： 以处理复杂的数学公式和密集的文本。高分辨率： 他们让模型能够观察宽度达 1,540 像素的页面，这样它就不会错过微小的字母或符号。
“空白页”技巧： 他们专门教导模型在看到空白页时该做什么（即只说“无”），以免它开始产生幻觉或重复胡言乱语。
3. “第二大脑”（强化学习）
在初始训练之后，模型仍然会犯一些愚蠢的错误，比如陷入重复同一句子的循环，或者搞错数学符号。
解决方法： 团队使用了一种名为 RLVR （带有可验证奖励的强化学习）的技术。想象一位严厉的教练，他不仅说“做得好”，还会进行特定的测试：“你把数学写对了吗？你在句子结束时停止说话了吗？”如果模型通过了测试，它就会获得奖励。如果失败了（例如出现循环或使用了错误的格式），它就会受到惩罚。这种“教练”机制无需人类手动纠正每一个错误，就能修正模型的坏习惯。
4. “鹰眼”（寻找图像）
通常情况下，OCR 模型只能阅读文本。但 LightOnOCR-2 还能用手指指向文档中的图片。
功能： 它可以指出：“这里是文本，而这里是位于坐标 X, Y 的图片。”挑战： 通常，教一个模型做两件事（阅读文本 + 寻找图片）会使其在第一件事上的表现变差。解决方案： 他们在教模型阅读的同时（在预训练期间）教授它寻找图片，并再次使用“教练”（RLVR）来磨练它的瞄准精度。他们还使用了“混合”技巧（对不同版本的模型进行平均），从而创造出一个既擅长阅读又擅长寻找图片的最终版本，且不会牺牲质量。
5. 它能做什么，不能做什么
论文非常明确地说明了模型的局限性：
擅长领域： 印刷文档、科学论文、复杂的表格、多栏布局以及使用拉丁字母的语言（如英语、法语、西班牙语）。吃力领域：
手写体： 它并非为阅读草书或凌乱的手写体而设计。非拉丁语系： 它目前尚未针对中文、日语或阿拉伯语等语言进行优化。
总结
LightOnOCR-2 是一个紧凑、快速且极其聪明 的工具，它能将文档图像转化为干净的文本，且表现优于任何同等规模的模型。它通过从大规模、高质量的数据集中学习，利用自动化的测试进行教练式纠错，并使用巧妙的数学技巧来融合不同的技能。该团队已经发布了模型、数据以及一套用于在文档中寻找图像的新测试，供任何人使用。
技术摘要：LightOnOCR-2-1B
问题陈述
尽管光学字符识别（OCR）技术已取得了数十年的进展，但现实世界的文档处理仍然具有挑战性，原因在于多栏布局中模糊的阅读顺序、复杂的表格结构，以及科学 PDF 文档中密集的排版与数学符号混合。传统的生产策略依赖于脆弱的多阶段流水线（布局分析、文本检测、识别、表格提取），这些流水线难以适应新的文档分布，且需要对多个组件进行协调变更。虽然端到端视觉语言模型（VLM）提供了一种统一的替代方案，但现有的最先进模型通常规模庞大（例如 9B 参数）、速度慢，并且在科学文档或法语处理等特定领域缺乏鲁棒性。
方法论
作者提出了 LightOnOCR-2-1B ，这是一个紧凑的 1B 参数端到端多语言 VLM，旨在将文档图像直接转换为干净、自然排序的文本，而无需脆弱的流水线。
架构
该模型由三个部分组成：
视觉编码器（Vision Encoder）： 一个从预训练的 Mistral-Small-3.1 权重初始化的原生分辨率 Vision Transformer，能够处理可变图像大小并保留空间结构。多模态投影器（Multimodal Projector）： 一个带有 GELU 激活函数的两层 MLP，用于将视觉特征投影到语言模型的嵌入空间。它采用空间合并（2×2 patch）技术将视觉 token 减少 4 倍，从而在保持高分辨率输入的同时确保计算的可行性。语言模型解码器（Language Decoder）： 从预训练的 Qwen3 初始化，用于生成页面的线性化表示，并为非文本元素发射结构化 token（例如 ）。
训练策略
LightOnOCR-2 的训练配方代表了对其前身（LightOnOCR-1）的大规模扩展与精炼：
数据策展（Data Curation）： 预训练混合数据集从 17M 扩展到了 43M 页（扩大了 2.5 倍）。它包含了更强的扫描文档、法语文本和科学内容的覆盖率。监督信号是通过使用更强大的教师模型（Qwen3-VL-235B-A22B-Instruct）进行蒸馏生成的。归一化流水线（Normalization Pipeline）： 一个统一的流水线用于清洗异构来源（PDFA、扫描件、arXiv），通过移除伪影（水印、杂乱的 Markdown）、同化特殊情况（空白页、嵌入图像）并强制执行格式不变性（KaTeX 兼容性、标准化的表格）。arXiv 策展： 一个使用 nvpdftex （NVIDIA 工具链）的新流水线，通过编译 TEX 源来生成像素对齐的注释，为科学文档和边界框（bounding boxes）提供高质量的监督。分辨率与增强： 训练是在更高的最大分辨率下进行的（长边 1540px，此前为 1024px），并包含了显式的空白页示例以防止循环行为。数据增强包括位图损坏、仿射剪切和旋转。基于可验证奖励的强化学习（RLVR）： 模型通过使用 GRPO 进行 RLVR，以解决仅靠监督学习难以修复的失效模式。
OCR 配方： 扩展了 OlmOCR 单元测试，以惩罚重复循环、通过 KaTeX 渲染验证数学正确性，并强制执行干净的格式。定位配方： 引入了一个预测嵌入图像归一化边界框的变体。坐标监督在预训练恢复阶段引入，随后使用基于 IoU 的奖励进行精炼。
权重空间技术： 作者采用了检查点平均化（对最后 5 个检查点进行“汤制”/souping）和任务算术合并（task-arithmetic merging），以结合互补的增益，并在不进行额外训练的情况下控制 OCR 质量与边界框准确性之间的权衡。
核心贡献
最先进的性能： LightOnOCR-2-1B 在 OlmOCR-Bench 上实现了新的 SOTA 结果，在比其规模大得多的模型（如 9B 规模的基准模型）面前表现优异，同时体积缩小并提速了 9 倍。增强的预训练混合集： 一个 2.5 倍更大、更干净的数据集，具有更好的法语文档、科学 PDF 和高分辨率训练覆盖率。定位能力： 引入了在专用变体中预测图像边界框的功能，通过坐标监督和 RLVR 进行训练，且不会降低核心 OCR 性能。新基准测试： 发布了 LightOnOCR-bbox-bench ，这是一个用于文档图像定位的新基准测试，包含人工审核和自动标注的子集。效率与鲁棒性： 证明了轻量级的权重空间技术（平均化与合并）可以提高性能，并能显式管理文本提取与定位准确性之间的权衡。开源发布： 公开发布模型检查点（Apache 2.0 协议）、数据集（LightOnOCR-mix-0126）以及各自许可协议下的基准测试。
结果
OCR 准确度： 在 OlmOCR-Bench 上，LightOnOCR-2-1B 实现了 83.2 ± 0.9 的总分，超越了更大的端到端模型（如 olmOCR-2-8B 为 80.4，Chandra-9B 为 81.7）。它在 ArXiv 文档、带有数学符号的老旧扫描件以及多表格布局方面表现尤为出色。定位能力： 在 LightOnOCR-bbox-bench 上，该模型在 OlmOCR 子集上的 F1@0.5 达到 0.78 ，在 arXiv 子集上达到 0.83 ，尽管规模显著减小，但在计数准确度和 F1 值方面仍优于 9B 的 Chandra 基准模型。效率： LightOnOCR-2 在单张 NVIDIA H100 上的吞吐量达到 5.71 页/秒 ，大幅领先于较大的基准模型（olmOCR-2 为 3.28 页/秒，Chandra 为 1.70 页/秒）。
重要性与主张
本文将 LightOnOCR-2-1B 定位为一种实用的、高保真度的文档理解解决方案，消除了多阶段流水线的工程负担。作者声称，一个紧凑的、全微分的端到端模型可以比更大、更脆弱的系统更有效地处理复杂布局（表格、表单、科学记数法）并提高效率。
这项工作强调了简洁性与数据质量 是性能的关键驱动力。通过利用更干净、更大的预训练混合集、更高分辨率的训练以及针对性的 RLVR，作者证明了 1B 参数的模型可以超越 9B 参数的系统。此外，论文断言，通过精心的训练策略（恢复预训练和 RLVR 精炼），可以将定位功能集成到 OCR 模型中，而不损害文本提取质量。发布模型、数据和基准测试旨在支持高保真文档提取与定位的可复现研究。
局限性： 作者指出，该模型针对印刷文档及拉丁/欧洲文字进行了优化；对于非拉丁文字（如中日韩 CJK、阿拉伯语）及手写文本的支持尚不完全，可能会出现保真度下降的情况。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。