💻 computer science

TRivia: Self-supervised Fine-tuning of Vision-Language Models for Table Recognition

该论文提出了名为 TRivia 的自监督微调方法，利用基于组相对策略优化的闭环问答机制，使预训练视觉语言模型无需人工标注即可从海量无标签表格图像中学习，并推出了在多项基准测试中超越现有先进系统的开源模型 TRivia-3B。

原作者： Junyuan Zhang, Bin Wang, Qintong Zhang, Fan Wu, Zichen Wen, Jialin Lu, Junjie Shan, Ziqi Zhao, Shuya Yang, Ziling Wang, Ziyang Miao, Huaping Zhong, Yuhang Zang, Xiaoyi Dong, Ka-Ho Chow, Conghui He

发布于 2026-03-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Junyuan Zhang, Bin Wang, Qintong Zhang, Fan Wu, Zichen Wen, Jialin Lu, Junjie Shan, Ziqi Zhao, Shuya Yang, Ziling Wang, Ziyang Miao, Huaping Zhong, Yuhang Zang, Xiaoyi Dong, Ka-Ho Chow, Conghui He

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 TRivia 的新方法，它的目标是让电脑更聪明地“读懂”图片里的表格（比如财务报表、课程表、菜单等），并把它转换成电脑能处理的格式（如 HTML 或 Markdown）。

为了让你更容易理解，我们可以把这项技术想象成教一个学生如何“自学”表格识别。

1. 以前的困境：只有“优等生”能考高分，但学费太贵

现状：以前，想要训练电脑识别表格，必须给它看成千上万张已经标好答案的表格图片（比如老师已经用红笔圈出了哪里是表头，哪里是数据）。这就像请了一位昂贵的私人教练，手把手教学生。
问题：
- 太贵了：人工标注这些表格非常耗时耗力，只有大公司（如 Google、OpenAI）玩得起。
- 开源模型落后：很多开源的模型因为没钱买这些“标注数据”，只能看着那些大公司的模型遥遥领先，自己却只能停留在“及格线”以下。
- 隐私问题：很多敏感文件（如医院病历、银行报表）不能上传到云端让大公司处理，必须在本地运行，但本地的小模型又不够聪明。

2. TRivia 的解决方案：让模型在“题海”中自学

TRivia 的核心思想是：既然没有现成的答案，那就让模型自己出题、自己做题、自己检查，从而学会识别表格。

这就好比一个学生（AI 模型）面对一堆没有答案的试卷（无标签的表格图片），他不再需要老师批改，而是通过以下三个步骤“自我进化”：

第一步：挑出“好题”（自适应数据引擎）

并不是所有表格图片都适合用来学习。有些太简单（一眼就能看出），有些太乱（根本看不清）。

比喻：就像学生刷题，如果题目太简单，刷了没进步；如果题目太乱，看了会崩溃。
做法：TRivia 会让模型先试着做几遍。如果模型对同一张图给出了多种不同的答案（说明它很犹豫、不确定），这张图就是“好题”，因为它能暴露模型的弱点，最值得学习。如果模型每次都给出同样的答案，说明这张图太简单，直接跳过。

第二步：自己出题（注意力引导的问答生成）

既然没有标准答案，怎么知道模型做对没做对呢？

比喻：这就好比学生做完题后，自己给自己出几个小测验。比如，看着这张财务报表，问自己：“2023 年的利润是多少？”
做法：TRivia 利用一种“注意力机制”（就像人的眼睛聚焦在某个区域），确保问的问题能覆盖表格的不同部分，而不是只盯着一个角落问。它会生成很多不同的问题，比如“第一行的数字是多少？”“哪一列是日期？”。

第三步：自我批改与奖励（强化学习）

比喻：学生做完题，把答案填进去，然后问另一个更聪明的“助教”（另一个大语言模型）：“根据我填的答案，这个‘利润’是多少？”如果助教能根据模型生成的表格结构，正确回答出这些问题，说明模型把表格“看对”了。
做法：
- 如果模型生成的表格结构清晰，助教就能答对问题 -> 给奖励（模型变强）。
- 如果模型生成的表格乱七八糟，助教答不上来 -> 没奖励（模型知道错了，下次改）。
- 通过这种“出题 - 做题 - 检查”的循环，模型在没有人类老师的情况下，自己学会了如何精准地识别表格结构。

3. 成果：小模型也能逆袭

TRivia-3B：作者用这个方法训练出了一个名为"TRivia-3B"的模型。它只有 30 亿参数（相对较小，运行成本低），但它的表现却超越了那些拥有数千亿参数、由大公司花费巨资训练出来的“超级模型”（如 Gemini 2.5 Pro, GPT-5 等）。
开源与隐私：因为它是开源的，而且不需要昂贵的标注数据，任何公司或个人都可以在本地部署它，安全地处理自己的敏感表格文件，不用担心数据泄露。

总结

TRivia 就像是一个“自学成才”的学霸。 它不需要昂贵的“标准答案”（人工标注），而是通过自己找难题、自己出题考自己、自己检查对错的方式，从海量的无标签表格图片中汲取营养，最终练就了一身识别表格的“绝世武功”。

这不仅打破了“只有大公司才能训练顶级模型”的魔咒，也为保护隐私、低成本处理文档提供了全新的解决方案。

论文技术总结：TRivia - 基于自监督微调的表格识别视觉语言模型

1. 研究背景与问题 (Problem)

表格识别 (Table Recognition, TR) 旨在将表格图像转换为半结构化格式（如 HTML 或 Markdown），是文档解析的核心任务。

现有挑战：
- 数据依赖：当前的主流方法依赖于监督学习，需要大量高质量的人工标注数据。然而，获取大规模标注数据成本高昂且耗时。
- 开源模型瓶颈：虽然闭源模型（如 Gemini 2.5 Pro）通过海量资源训练达到了高性能，但开源模型受限于标注数据规模，性能远不及闭源模型，且难以满足隐私敏感场景的离线部署需求。
- 现有数据获取范式局限：
  1. 合成数据：缺乏真实世界的视觉多样性。
  2. 真实标注数据：标注成本极高。
  3. 蒸馏伪标签：性能上限受限于教师模型，且可能违反服务条款。
核心问题：能否利用无标签的野生表格图像（unlabeled table images in the wild）来提升表格识别性能，打破对人工标注数据的依赖？

2. 方法论 (Methodology)

论文提出了 TRivia，一种基于自监督微调的框架，利用无标签数据训练视觉语言模型（VLM）。该方法分为两个主要阶段：

2.1 核心框架：基于问答的自监督微调 (Table QA-driven Self-supervised Fine-tuning)

代理任务 (Proxy Task)：将表格识别转化为表格问答 (Table QA) 任务。如果模型能正确识别表格结构并回答基于该表格的问题，说明其识别质量高。
强化学习框架 (GRPO)：采用 Group Relative Policy Optimization (GRPO) 进行微调。
- 流程：对于一张表格图像，模型生成多个识别结果（Response），每个结果被转化为 HTML/OTSL 格式，然后由一个大型语言模型 (LLM) 根据该结果回答预先生成的问题。
- 奖励机制：奖励分数基于 LLM 生成的答案与标准答案之间的 F1 分数 计算。
- 优势：无需人工标注，通过“识别 -> 问答 -> 验证”的闭环自动获取监督信号。
非法样本过滤：如果模型生成的表格结构非法（无法解析），LLM 无法回答，则给予零奖励。通过过滤这些无效样本，避免奖励分布被压缩，稳定训练过程。

2.2 自适应数据引擎 (Adaptive Data Engine)

为了从海量无标签数据中筛选出最有价值的样本并生成高质量的监督信号，TRivia 设计了两个关键模块：

响应一致性采样 (Response-Consistency Sampling)：
- 原理：基于 GRPO 原理，模型对同一张图产生多样化（不一致）的响应通常意味着该样本具有更高的学习价值（不确定性高）。
- 实现：对每张无标签表格图采样 $K$ 次识别结果，计算它们之间的 TEDS (Tree Edit Distance-based Similarity) 相似度。一致性越低（TEDS 越低），样本越有价值，被选中用于训练。
- 作用：自动筛选出具有挑战性和信息量的样本，避免随机采样的低效。
基于注意力的多样化问答生成 (Attention-guided Diverse QA Generation)：
- 问题：传统的单次生成 QA 往往覆盖不全，多次生成则容易产生重复或重叠的问题。
- 解决方案：利用 VLM 的注意力机制 (Attention Mechanism)。
  - 分析生成答案时模型对图像视觉 Token 的注意力分布。
  - 定义 QA 对的“视觉来源 (Visual Source)"。
  - 过滤与选择：通过计算 QA 对视觉来源的 IoU (交并比)，剔除重叠度过高的问题，确保生成的 QA 对覆盖表格的不同区域，提供丰富且多样化的监督信号。
- 有效性交叉检查：使用外部 VLM 验证 QA 对是否必须依赖图像才能回答（排除仅凭常识可回答的问题），确保监督信号的有效性。

3. 模型训练流程 (Training Pipeline)

论文构建了 TRivia-3B 模型，基于 Qwen2.5-VL-3B，分为三个阶段：

阶段一 (OTSL 预热)：在大规模开源合成数据集（PubTabNet 等）上微调，仅训练语言模型部分，学习 OTSL (Optimized Table Tokenization) 语法，建立基础结构理解。
阶段二 (监督微调 SFT)：在真实世界表格数据集上进行全参数微调，提升对真实布局的鲁棒性，达到监督学习的性能上限。
阶段三 (TRivia 自监督微调)：
- 收集约 10 万张无标签 PDF 表格图。
- 利用阶段二模型进行响应一致性采样，筛选出约 5 万张高价值样本。
- 利用 Qwen2.5-VL-72B 生成基于注意力的多样化 QA 对。
- 使用 GRPO 进行强化学习微调，利用 QA 奖励优化模型。

4. 主要贡献 (Key Contributions)

提出 TRivia 框架：首个利用无标签野生表格图像进行自监督微调的 VLM 表格识别框架，打破了数据标注瓶颈。
响应一致性采样策略：提出了一种基于 GRPO 原理的自动筛选机制，无需人工干预即可识别出最能促进模型学习的样本。
基于注意力的 QA 生成机制：利用视觉注意力分布生成多样化、可验证的 QA 对，解决了监督信号稀疏和重复的问题。
开源高性能模型 TRivia-3B：发布了一个仅 3B 参数的开源模型，在性能上超越了多个闭源大模型和现有的专家级表格识别模型。

5. 实验结果 (Results)

在三个主流基准测试（OmniDocBench, CC-OCR, OCRBench v2）上，TRivia-3B 取得了 State-of-the-Art (SOTA) 性能：

超越闭源模型：在多数基准上超越了 Gemini 2.5 Pro 和 GPT-5（例如在 OmniDocBench 上 TEDS 达到 91.60 vs Gemini 2.5 Pro 的 90.90）。
超越专家模型：显著优于 MinerU2.5、PaddleOCR-VL 和 UniTable。例如在 CC-OCR 上，比 UniTable 高出 27+ 的 TEDS 分数。
小参数优势：仅 3B 参数，却击败了参数量大得多的模型（如 241B 的 InternVL3.5 或 235B 的 Qwen3-VL）。
鲁棒性：在复杂表格（旋转、合并单元格、无边框、公式）场景下表现尤为出色。
数据标注能力：TRivia-3B 生成的伪标签用于蒸馏其他模型时，效果几乎等同于 TRivia-3B 本身，证明了其作为自动化数据标注工具的可靠性。

6. 意义与影响 (Significance)

打破数据依赖：证明了利用无标签数据通过自监督学习可以突破现有标注数据的性能天花板，为文档解析领域提供了新的范式。
开源与隐私：提供了一个高性能、可离线部署的开源模型，解决了闭源 API 在隐私敏感场景（如金融、医疗文档）中的合规性问题。
可扩展性：TRivia 框架不仅适用于表格识别，其“自监督 + 代理任务奖励”的思路可推广至其他多模态 OCR 和文档理解任务（如关键信息提取 KIE）。
资源效率：展示了通过精心设计的自监督策略，小参数模型也能在特定任务上超越超大规模模型，降低了部署成本。

总结：TRivia 通过创新的自监督微调策略，成功利用无标签数据将开源 VLM 的表格识别能力提升至超越顶级闭源模型的水平，为构建低成本、高隐私、高性能的文档解析系统开辟了新路径。