From Pixels to Pairs: A Comprehensive Benchmark of LLM-Driven Key–Value Extraction in Noisy Document Settings
本文引入了一个全面的基准测试框架，用于评估大语言模型在从含有噪声的 OCR 生成文档中提取键值对方面的鲁棒性，揭示了干净文本的表现是衡量现实世界可靠性的不可靠指标，并挑战了关于模型排名一致性以及少样本提示具有单调收益的假设。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界中，海量的信息被困在纸质文档中：发票、医疗记录和政府表格。为了让这些数据对计算机变得有用，我们必须首先将这些页面的图像转化为文本，这个过程被称为光学字符识别（OCR）。一旦图像变成了文本，第二层智能——即大语言模型——就会阅读这些文本，以寻找特定的信息片段，例如应付总额或客户姓名。这个两步走的流程是许多自动化系统的支柱，然而它依赖于一条脆弱的链条。如果第一步产生了混乱或不准确的文本版本，第二步就必须处理这些噪声，这往往会导致难以追踪的错误。多年来，研究人员一直在使用完美、干净的文本来测试这些智能模型，假设如果一个模型在完美的页面上表现良好，那么它在真实的扫描件上也表现良好。这一假设让我们对这些系统在面对物理世界中模糊、污损或扭曲的现实时究竟如何表现，缺乏理解。
西威克利克大学（Westcliff University）的扎赫拉·安瓦里（Zahra Anvari）的一项新研究填补了这一空白，旨在观察当这些数字工具遇到不完美的现实时究竟发生了什么。研究人员设置了一个大规模、受控的实验，来测试五种不同类型的智能语言模型。这些模型被要求从三种不同类型的文档中提取特定的键值对——例如，将标签“日期”与数字“12/05/2023”进行匹配——这三种类型分别是复杂的表格、简单的收据和密集的发票。为了模拟真实世界，该研究不仅向模型输入完美的文本，而是将原始文档图像通过三种不同的光学字符识别引擎运行，这些引擎是负责将图像转换为文本的软件工具。这些引擎已知会犯错，例如将数字“0”误认为字母“O”、将单词拆分、或者打乱行的顺序。随后，研究通过对比模型在处理完美原始文本与处理由机器生成的混乱文本时的表现来进行评估。
结果表明，人们对这些模型的普遍看法在很大程度上是不正确的。研究发现，一个模型在处理干净、完美文本时表现良好的能力，并不能可靠地预测它处理带有噪声的扫描文本时的表现。事实上，关于哪个模型是“最佳”的排名，完全取决于文本是干净的还是带有噪声的。一个在完美文档上表现顶尖的模型，在文本被光学字符识别错误破坏后，往往会在竞争对手面前落后。这表明，阅读完美页面所需的技能与解读混乱页面所需的技能是不同的。此外，研究显示，这些模型非常擅长找到信息的正确类别，例如知道“总计”字段位于何处，但当该字段中的实际数字或字母出现轻微偏差时，它们就会表现得非常吃力。模型可能正确识别出文档中包含一个总计项，但如果光学字符识别引擎读错了某个数字，模型往往无法恢复正确的数值，或者更糟的是，它会自信地编造出一个看似合理但错误的数字来填补空白。
另一个令人惊讶的发现涉及利用示例来帮助模型学习。在要求计算机模型执行任务之前，先给它展示几个任务示例是一种常见的做法，这种技术被称为少样本提示（few-shot prompting）。研究测试了提供一个、两个或三个示例是否能一致地提高模型的准确性。研究结果显示，这并不是一个保证有效的修复手段。增加示例并不总是能带来更好的结果；有时，给模型提供更多的示例反而会降低其性能。这种方法的成功高度取决于所使用的特定模型、文档类型，甚至是展示给模型的特定示例。在某些情况下，模型在没有任何示例时表现最好；而在另一些情况下，一个示例就足够了，更多示例反而成了阻碍。这种不稳定性意味着，仅仅增加训练示例并不是让这些系统能够抵御现实世界错误的万能方案。
研究还强调了文档本身的结构起着至关重要的作用。当研究人员在测试那些“问题”与“答案”之间的关系取决于其在页面上物理位置的表格时，一旦文本被压平为简单的列表，模型的表现就会大幅下降。由于失去了可以引导它们的视觉布局，模型难以将正确的信息片段连接起来。这在像收据这样拥有许多行项目的密集文档中尤为明显，因为阅读文本顺序的一个小错误就会导致连锁反应，使价格与错误的项目发生错位。研究证明，虽然这些智能模型功能强大，但它们无法免于输入质量退化的影响。它们无法凭空重建那些在它们看到之前就已经丢失或损坏的信息。
最终，这项工作为文档自动化领域提供了一次严厉的现实检验。它证明了仅在完美数据上测试这些系统会给人一种虚假的安全感。该研究绘制了一份详细的地图，展示了这些系统在哪里失效，表明从扫描图像到生成可用数字记录的过程充满了特定的、可预测的陷阱。通过将文本读取软件产生的错误与智能模型产生的错误区分开来，这项研究提供了一种更清晰的方法来评估和改进这些工具。研究结果表明，要构建真正可靠的系统，我们不能仅仅依赖模型本身去修复上游的错误。相反，我们必须将整个过程视为一个相互连接的链条，其中最终结果的质量取决于每一个环节的质量，从最初的扫描到最终的数据提取。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。