From PDF to RAG-Ready: Evaluating Document Conversion Frameworks for Domain-Specific Question Answering

该研究通过基于葡萄牙语行政文档的基准测试，系统评估了四种开源 PDF 转换框架对检索增强生成（RAG）问答性能的影响，发现数据预处理质量（特别是元数据增强和层级分块策略）比转换工具本身更为关键，且自动化工具（如 Docling）在结合图像描述和层级分割后能达到接近人工标注的准确率，而缺乏本体引导的 GraphRAG 实现则表现不佳。

要点

这篇文章其实是在讲一个关于**“如何教 AI 读懂文件”**的有趣故事。

想象一下，你是一位大厨师（AI 大模型），你的任务是回答关于“葡萄牙军队人事规定”的复杂问题。但是，你面前堆满了PDF 格式的旧文件（就像一堆印在纸上的菜单、合同和说明书）。

这些 PDF 文件对电脑来说，就像是一堆**“乱码”**。它们是为了给人眼看的（排版好看、有表格、有图片），而不是给电脑读的。如果直接把这些乱码扔给厨师，他做出来的菜（回答）就会很难吃，甚至全是错的。

这篇文章的研究团队就像一群**“厨房改造专家”**，他们想搞清楚：到底用哪种方法把 PDF 文件“翻译”成厨师能读懂的“干净食材”（Markdown 文本），做出来的菜最好吃？

他们测试了四种不同的“翻译工具”（Docling, MinerU, Marker, DeepSeek OCR），并尝试了不同的“切菜”和“摆盘”策略。

以下是这篇论文的通俗解读：

1. 核心发现：食材处理比厨师更重要

以前大家都觉得，只要找个最厉害的厨师（比如最先进的 AI 模型），或者用最好的切菜刀（检索算法），就能做出美味佳肴。
但这篇论文发现了一个惊人的事实：如果食材本身处理得不好（PDF 转换质量差），再厉害的厨师也做不出好菜。

• 比喻： 就像给你一堆发霉的面粉和烂掉的鸡蛋，就算你是米其林三星大厨，也做不出蛋糕。
• 数据： 他们发现，处理得最差的方案，正确率只有 71%；而处理得最好的方案，正确率高达 94%。这 23% 的巨大差距，完全取决于“食材处理”这一步，而不是厨师本身。

2. 谁是最好的“翻译工具”？

他们测试了几个开源工具，结果如下：

• Docling（冠军）： 它像是一个细心的图书管理员。它不仅能把字认出来，还能看懂哪里是标题、哪里是表格，甚至能描述图片内容。它把 PDF 转换成了结构清晰的“干净文本”。
• MinerU（表现不稳定）： 它有时候很厉害，但经常把表格弄乱，或者把葡萄牙语里的特殊符号（比如 ç）认错。
  • 有趣的小插曲： 葡萄牙语里的 caça（打猎/野味）如果被认成 caca（便便），意思就完全变了！Docling 没犯这个错，但其他工具可能会。
• DeepSeek OCR（垫底）： 虽然它是个强大的视觉模型，但在这个任务里，它把文件结构搞得太乱了，导致 AI 找不到答案。

3. 比“翻译”更重要的是“切菜”和“贴标签”

研究发现，仅仅把字认对还不够，怎么把文章切块（Chunking）和怎么加标签（Metadata） 才是关键。

• 切菜策略（Splitting）：

  • 乱切（Recursive）： 就像把书撕成碎片，不管它是标题还是正文。这样厨师拿到碎片，不知道这段话是在讲“工资”还是“休假”。
  • 按章节切（Hierarchical）： 就像按目录把书切成块，并且每一块都贴上标签：“这是《第 3 章：休假规定》里的第 2 段”。
  • 结果： 加上“章节标签”后，AI 的回答准确率直接飙升。这就像给厨师提供了导航地图，让他知道每句话的上下文在哪里。

• 重建标题（Hierarchy）：

  • 他们发现，根据字体大小自动判断标题（比如大字号是标题，小字号是正文），比让 AI 去“猜”哪里是标题要准确得多。AI 有时候会“想太多”反而猜错，而看字体大小这种“死规则”反而更靠谱。

4. 那个很火的“知识图谱”（GraphRAG）没用？

最近很流行一种叫 GraphRAG 的技术，它的想法是：给 AI 画一张**“关系网”**（比如：A 是 B 的上级，B 在 C 部门工作），让 AI 通过关系网来找答案。

• 实验结果： 团队尝试了这种方法，结果翻车了。准确率只有 82%，反而不如直接读“干净文本”的 94%。
• 原因： 就像你想画一张城市地图，结果画得太乱，全是杂乱的线条，反而让司机（AI）迷路了。如果没有专业的“地图绘制指南”（领域本体），自动生成的关系网充满了噪音，不仅没帮助，还增加了计算成本。
• 结论： 在把基础工作（把 PDF 变干净）做好之前，搞复杂的“关系网”是画蛇添足。

5. 总结：给普通人的启示

这篇文章给所有想用 AI 处理文档的人（无论是律师、HR 还是研究人员）一个非常重要的建议：

不要只盯着 AI 模型本身，先花时间去把数据“洗干净”。

• 垃圾进，垃圾出（Garbage In, Garbage Out）： 如果你给 AI 一堆乱糟糟的 PDF，它给出的答案就是垃圾。
• 最好的策略： 选一个靠谱的转换工具（如 Docling），把 PDF 变成结构清晰的文本，给每一段话加上“章节标签”，然后再喂给 AI。
• 性价比： 这样做，甚至能达到人工手动整理文件 97% 的效果，而且不需要人工花几个月去整理。

一句话总结：
在 AI 的世界里，把文件整理得井井有条，比找一个更聪明的 AI 更重要。 就像做饭一样，好食材和干净的厨房，才是美味的前提。

技术摘要

论文技术总结：从 PDF 到 RAG 就绪：评估面向领域问答的文档转换框架

1. 研究背景与问题 (Problem)

检索增强生成（RAG）系统已成为将大语言模型（LLM）与特定领域知识结合的主流范式。然而，现有的 RAG 研究大多集中在检索算法、嵌入模型或生成模型本身的优化上，往往忽视了上游的文档预处理阶段。

PDF 是法律、行政和技术文档最常见的格式，但其设计初衷是视觉呈现而非机器可读，导致从中提取结构化、语义清晰的文本极具挑战性（如表格错位、层级丢失、特殊字符识别错误等）。

• 核心问题：目前缺乏系统性研究来评估不同的 PDF 转换框架（PDF-to-Markdown）如何具体影响下游 RAG 问答的准确性。现有的基准测试多关注文本编辑距离或表格结构相似度，而非实际的问答性能。
• 研究动机：如果预处理阶段引入错误（如表格解析错误、层级丢失、特殊字符如葡萄牙语"ç"识别错误），这些错误会直接传播到检索和生成阶段，导致系统性能下降甚至产生幻觉。

2. 方法论 (Methodology)

2.1 实验设置与数据

• 语料库：36 份葡萄牙语行政文档（来自葡萄牙陆军人事部门），共 1,706 页，约 49.2 万词。文档类型多样（法律汇编、手册、程序指南等），包含大量表格（94.4%）、表单字段和图像。
• 评估基准：人工构建的 50 道问答测试集，涵盖表格数据提取、层级依赖问题、图像内容依赖等场景。
• 评估指标：使用 LLM-as-judge（gpt-4o-mini）对 RAG 回答与标准答案进行比对，平均 10 次运行结果。
• 固定参数：为隔离数据预处理的影响，固定了 LLM、嵌入模型、分块大小（1000 字符）、重叠量（200 字符）及检索深度（默认 K=50）。

2.2 系统架构

研究构建了一个基于Medallion Architecture（金银铜层）的模块化管道：

• Bronze 层：原始 PDF。
• Silver 层：中间处理产物（转换后的 Markdown）。
• Gold 层：清洗后的 Markdown、提取的图像资产及元数据，准备用于索引。
• 核心组件：ETL 管道（提取、转换、加载）、索引管道（分块、嵌入、存储）、知识图谱探索（GraphRAG）。

2.3 评估对象

对比了四种开源 PDF 转换框架及其变体（共 19 种配置）：

1. Docling：模块化流水线，使用专用模型进行布局分析和表格识别。
2. MinerU：基于 OCR 的工具（含本地 Pipeline 和云端 VLM 版本）。
3. DeepSeek OCR：基于视觉语言模型（VLM）的 OCR 方法。
4. PDFLoader (LangChain)：作为下限基线（无预处理）。
5. 人工修正 Markdown：作为上限基线（代表理想情况）。

变量维度：

• 转换框架：上述工具。
• 清洗变换：HTML 表格清洗、LaTeX 公式清洗、基于字体的层级重建 (HR-F)、基于 LLM 的层级重建 (HR-LLM)、图像描述生成。
• 分块策略：递归 (Recursive)、Markdown 递归、层级递归 (Hierarchical Recursive，带面包屑元数据)。
• 元数据：是否添加文档结构面包屑。

2.4 知识图谱探索 (GraphRAG)

尝试在基础 RAG 之上构建知识图谱（使用 LangChain 的 LLMGraphTransformer 提取实体关系，存储于 Neo4j），并进行了实体去重实验，以验证 GraphRAG 是否能提升性能。

3. 关键发现与结果 (Key Results)

3.1 总体性能对比

• 最佳配置：Docling + 层级递归分块 + 图像描述，准确率达到 94.1%，仅比人工修正的上限基线（97.1%）低 3 个百分点。
• 最差配置：DeepSeek OCR，准确率仅为 71.2%。
• 基线对比：
  • 下限基线 (PDFLoader)：86.9%。
  • 上限基线 (人工修正)：97.1%。
  • 自动化方案与人工方案的差距（约 3%）远小于不同自动化方案之间的差距（最大跨度达 23%）。

3.2 影响准确性的关键因素

1. 数据准备质量是主导因素：预处理策略的差异导致的准确率波动（23 个百分点）远大于更换 LLM 带来的影响。
2. 分块策略与元数据 > 转换框架：
   • 在 Docling 基础上，从普通递归分块切换到层级递归分块（Hierarchical Recursive）并添加面包屑元数据，准确率提升了 3.8%（89.4% → 93.2%）。
   • 相比之下，仅更换转换框架（如 Docling vs PDFLoader）带来的提升较小（2.5%）。
   • 结论：一旦文本提取达到一定质量，文档逻辑结构的保留（分块策略）成为瓶颈。
3. 层级重建方法：基于字体的层级重建 (HR-F) 在所有测试中均优于 基于 LLM 的层级重建 (HR-LLM)。在结构化行政文档中，确定性分析比 LLM 推断更可靠。
4. 特定变换的影响：
   • HTML 表格清洗：对 MinerU 输出提升最大（+5.4%），因为 MinerU 默认输出 HTML 表格，而 Markdown 分块器处理不佳。
   • 图像描述：添加 VLM 生成的图像描述带来小幅提升（+0.9%），但成本极低。
5. 检索深度 (K) 的交互：高质量的数据准备（人工修正）在 K=5 时能达到 86.9% 的准确率，与低质量数据（PDFLoader）在 K=50 时的表现持平。说明高质量预处理可以减少对大量检索片段的依赖。

3.3 知识图谱 (GraphRAG) 的负面结果

• 表现：GraphRAG 实现仅得 82%，远低于基础 RAG 的 94.1%。
• 原因分析：
  • 图谱过于稀疏和浅层，缺乏足够的连接密度。
  • 缺乏领域本体（Ontology）指导，导致实体提取通用化，引入噪声。
  • 基于相似度的实体去重（85% 阈值）可能错误合并了语义不同的概念。
• 结论：在没有精心设计的本体和图稠密化技术的情况下，简单的自动化 GraphRAG 无法超越高质量的基础 RAG。

3.4 非英语文档的特殊挑战

• 葡萄牙语特殊字符（如"ç"）在部分工具（如 MinerU VLM 版）中被错误识别（如变为"caca"），导致检索失败。
• Docling 因集成了强大的 OCR 模型（EasyOCR），在处理葡萄牙语字符方面表现优异。

4. 主要贡献 (Key Contributions)

1. 填补研究空白：首次系统性地从下游问答准确性的角度评估 PDF 转换框架，而非仅关注解析层面的指标（如编辑距离）。
2. 实证数据：提供了包含 19 种配置、36 份真实行政文档、50 道测试题的详细基准测试数据。
3. 架构设计：提出了一种基于 Medallion 架构的模块化 RAG 管道，支持快速切换转换框架和变换策略，便于可复现的实验。
4. 负面结果报告：诚实报告了 GraphRAG 在特定场景下不如基础 RAG 的负面结果，为社区提供了关于“盲目构建知识图谱”的警示。

5. 意义与启示 (Significance)

• 对从业者的建议：在优化检索算法或更换 LLM 之前，优先投资数据准备管道。选择合适的转换框架（如 Docling）并配合层级感知的分块策略和元数据增强，是提升 RAG 性能性价比最高的手段。
• 技术路线修正：对于结构化文档，基于字体的层级重建比 LLM 推断更可靠；简单的知识图谱构建若无本体指导，可能适得其反。
• 多语言处理：在处理非英语（特别是含特殊字符）文档时，转换框架的 OCR 能力至关重要，现有的英文主导基准测试可能无法反映真实情况。

总结：该研究有力地证明了"Garbage In, Garbage Out"在 RAG 系统中的适用性。数据预处理的质量是决定 RAG 系统性能的上限，而不仅仅是工程细节。