💬 NLP

Information Extraction from Electricity Invoices with General-Purpose Large Language Models

本研究证明，对于未经微调的通用大语言模型从西班牙语电力发票中提取信息而言，提示工程的质量是决定性能的关键因素，其中少样本策略显著优于零样本基线，实现了超过 96% 的 F1 分数。

原作者： Javier Gómez, Javier Sánchez

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Javier Gómez, Javier Sánchez

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你面前有一大堆来自不同公司的电费账单。有些整齐划一，有些杂乱无章，而且它们的外观都略有不同。你的目标是从每一份账单中提取特定的数字和名称（例如“总费用”或“客户姓名”），并将它们填入一张整洁的电子表格中。

多年来，计算机一直难以应对这一任务。老式程序就像僵化的机器人：如果账单的外观与它们训练时所见哪怕有一丁点不同，它们就会困惑并失败。

本文讲述的是如何教导一种新型的“超级智能机器人”（称为大语言模型，或 LLM）来阅读这些账单，而无需针对每一种新设计重新训练。研究者们提出了一个问题：我们是否只需给这些智能机器人提供正确的指令，它们就能自行搞定？

以下是他们研究发现的拆解，并辅以一些日常类比：

1. “食谱”比“厨师帽”更重要

研究者们测试了两位不同的“厨师”（AI 模型）：Gemini 1.5 Pro（一位庞大且复杂的厨师）和 Mistral-small（一位更小、更快、更高效的厨师）。

他们还尝试调整“烹饪设置”（如温度和随机性等技术参数）。他们原本以为，也许是更大的厨师或完美的烹饪设置会带来最大的差异。

令人惊讶的是： 使用哪位厨师或如何调整设置，结果差异并不大。结果的差别微乎其微——就像一块 99% 完美的蛋糕和一块 99.5% 完美的蛋糕之间的区别。

真正的赢家： 提示词（Prompt），即给 AI 的指令。
把提示词想象成食谱。

零样本（无食谱）： 仅仅说“阅读这份账单并给我数字”，就像让厨师在没有食谱的情况下烹饪。结果尚可（准确率约 78%），但不够出色。
少样本（带示例）： 给 AI 提供几个“这是一份账单，这是我要的数据”的示例，就像给厨师一道样板菜让其模仿。准确率跃升至 96% 以上。

启示： 关键不在于拥有最昂贵的厨师或最华丽的烤箱，而在于编写一份真正出色的食谱。

2. “模仿者”策略效果最佳

研究者们尝试了不同的示例提供方式：

“单样本”方法： 展示一个示例。效果不错，但并非最佳。
“交叉验证”方法： 这是冠军。他们向 AI 展示了三种不同类型的账单（例如表格型、列表型和复杂型），然后让它阅读一种它从未见过的第四种类型。
- 结果： AI 成为了模仿大师。它学会了电费账单的概念，而不仅仅是某一种特定账单的外观。使用 Gemini 时，它达到了 97.6% 的准确率，使用 Mistral 时达到了 96.1%。

3. “翻译”问题

在 AI 能够阅读账单之前，研究者们必须将 PDF 文件转换为文本（Markdown）。

类比： 想象试图透过脏窗户复印来阅读一张手写便条。如果便条排列在整洁的表格中，出来的文本就很清晰。如果便条被挤在杂乱的多栏布局中，文本就会变得混乱。
发现： AI 的表现取决于它接收到的文本质量。当账单具有干净、类似表格的布局时，AI 的表现近乎完美。当账单是杂乱、密集的设计时，AI 就会挣扎，因为从 PDF 到文本的“翻译”丢失了重要线索。

4. “幻觉”陷阱

他们注意到了两位“厨师”之间的性格差异：

Gemini（谨慎的厨师）： 如果不确定数字在哪里，它会说“我没看到”。它非常准确，但有时会遗漏内容。
Mistral（自信的厨师）： 如果不确定，它仍会猜测一个数字。它几乎找到了所有内容（高“召回率”），但它编造了一些不存在的数字（低“精确率”）。
结论： 如果你需要 100% 确定数字是真实的，你需要那位谨慎的厨师。如果你想找到所有内容并稍后检查答案，那位自信的厨师也可以接受。

5. 击败旧式机器人

本文将这些新型 AI 厨师与老式“机器人”（传统机器学习）进行了比较。

旧式机器人： 如果你用 A 类账单训练它，它可以完美地阅读 A 类账单（91% 的准确率）。但如果你给它 B 类账单，它就会彻底崩溃（准确率降至 67%）。它记住了纸张的外观，而非含义。
新型 AI： 它不需要针对 B 类账单进行训练。因为它理解了电费账单的含义，它以 95% 以上的准确率阅读了新型账单。它泛化了这项技能，而不是死记硬背模式。

总结

该论文得出结论：要让计算机完美地阅读商业文档，你无需为每一种文档类型构建一个定制的大脑。相反，你只需要编写更好的指令，并向它展示几个好的示例。

“秘密配方”不在于 AI 模型的规模或复杂的数学设置，而在于提示词（指令）的质量，以及文档转换为 AI 可读文本的效果。

以下是论文《利用通用大语言模型从电力发票中提取信息》的详细技术总结。

1. 问题陈述

从半结构化商业文档（如电力发票）中自动提取结构化信息，仍然是企业管理的关键瓶颈。传统方法面临显著局限：

基于规则/模板的系统： 在遇到布局变化或不同供应商时失效。
经典机器学习（ML）： 支持向量机（SVM）或随机森林等方法需要为每种新文档类型提供大量人工标注数据集，导致可扩展性问题，并严重过拟合特定的训练布局。
当前差距： 虽然大语言模型（LLM）提供了无需微调即可灵活提取的潜力，但缺乏严谨的实证研究来量化其在特定商业文档上的表现，并与经典基线进行比较。具体而言，尚不清楚是提示工程（prompt engineering）还是推理参数调整（如温度、Top-p）是提取质量的主要驱动因素。

2. 方法论

数据集：IDSEM

本研究利用了**西班牙电力市场发票数据库（IDSEM）**的一个子集。

规模： 75,000 份合成生成的 PDF 发票，涵盖 6 个训练模板和 9 个测试模板。
标注： 107 个语义标签（如客户名称、总金额、电价），分为 12 个类别。
挑战： 测试集包含未见过的模板，以评估泛化能力。
预处理： PDF 被转换为Markdown格式，以保留语义结构（表格、标题）供 LLM 输入。通过地面真值（ground-truth）细化过程，将 107 个可能标签映射到每个模板中实际存在的特定子集，避免模型因缺失字段而受到惩罚。

评估模型

测试了两种架构不同、无需特定任务微调的通用大语言模型：

Gemini 1.5 Pro： 具有超大上下文窗口的大规模混合专家（MoE）模型。
Mistral-small： 经过滑动窗口和分组查询注意力优化的 240 亿参数稠密模型，注重效率。

实验框架

研究隔离了两个主要变量：

推理参数： 对 Gemini 1.5 Pro 进行了 19 种配置（温度、Top-K、Top-P）的网格搜索，以测试敏感性。
提示工程策略： 在确定性设置（温度=0）下，比较了两种模型的六种不同策略：
- 零样本（Zero-shot）： 仅包含任务指令和模式。
- 少样本_v1（Few-shot_v1）： 一个带有显式标签标记的标注示例。
- 少样本_v2（Few-shot_v2）： 一个未标注的示例（纯文本）。
- 交叉验证_v1（Cross-valid_v1）： 三个来自连续模板（T1-T3）的示例，在 T4-T6 上进行测试。
- 交叉验证_v2（Cross-valid_v2）： 三个来自结构相似模板（T1, T2, T4）的示例，在结构不同的模板（T3, T5, T6）上进行测试。
- 迭代式（Iterative）： 逐字段顺序提取。

评估指标

性能使用精确率、召回率和 F1 分数在字段级别进行衡量，将模型 JSON 输出与归一化后的地面真值进行比较。

3. 主要结果

A. 推理参数与提示工程

参数敏感性： 所有 19 种参数配置下的 F1 分数变化微乎其微（0.58 个百分点）。确定性解码（Temp=0）与随机采样之间的差异可忽略不计。
结论： 超参数调整对提取保真度的影响微乎其微。从业者可以使用确定性设置以确保可重复性，而不会牺牲性能。

B. 提示工程的影响

零样本基线： Gemini 和 Mistral 的 F1 分数分别约为 78% 和 83%。
少样本改进： 引入上下文示例带来了巨大的提升（>11 个百分点）。
最佳表现： 交叉验证_v2策略（按视觉相似性分组）取得了最高分数：
- Gemini 1.5 Pro： 97.61% F1 分数。
- Mistral-small： 96.11% F1 分数。
关键发现： 提示质量是性能的主导杠杆，其重要性远超模型架构差异或参数调整。

C. 模型比较（Gemini 与 Mistral）

Gemini 1.5 Pro： 表现出更高的精确率（交叉验证中为 95.24%），意味着它更擅长识别字段是否缺失（避免幻觉）。
Mistral-small： 表现出更高的召回率（通常达到 100%），但精确率较低，表明其倾向于为文档中不存在的字段“幻觉”出数值。
泛化能力： 尽管 Mistral 规模较小，但其结果与 Gemini 相差仅 1-2%，证明在配合适当的提示策略时，更小、更高效的模型可以非常有效。

D. 与经典机器学习的比较

经典基线（SVM）： 在已见模板上达到 91.86%，但在未见模板（T7）上降至67.20%，显示出严重的过拟合。
LLM 表现： 在结构不同的未见模板上，Gemini 和 Mistral 分别保持了**95.24%和91.50%**的精确率。
结论： LLM 通过语义理解泛化提取任务，而经典机器学习则记忆布局模式。

E. 结构影响

文档模板结构被确定为难度的主要决定因素。具有清晰表格布局的模板（T1）表现显著优于密集的多列设计（T5），后者在 PDF 转 Markdown 过程中性能下降。

4. 主要贡献

提示工程的实证验证： 证明了提示设计是基于 LLM 的文档处理的关键因素，对于高保真提取而言，广泛的超参数调整变得不必要。
泛化能力： 证明了通用大语言模型可以在无需微调的情况下，在未见文档布局上实现最先进的结果，在泛化场景下比经典机器学习高出约 24 个百分点。
架构效率： 表明当配合最佳提示策略时，高效的稠密模型（Mistral-small）可以媲美庞大的混合专家模型（Gemini）。
实用框架： 建立了一个可复现的管道（PDF $\to$ Markdown $\to$ LLM），实现了近乎完美的提取（97.61% F1），适用于业务自动化。

5. 意义与启示

运营转型： 本研究为企业自动化发票处理提供了一条可行路径，无需承担训练自定义模型的高昂成本和数据需求。
战略转变： 文档自动化的重点从“模型构建”（训练/微调）转向“模型编排”（提示工程和管道设计）。
局限性与未来工作： 本研究依赖合成数据和仅文本处理（Markdown）。未来的工作应解决现实世界的噪声、转换过程中的视觉信息丢失，以及集成视觉 - 语言模型（VLMs）以直接从图像中捕捉布局特征。

总之，该论文确立了提示工程是基于 LLM 的文档提取成功的主要驱动因素，实现了强大且与模板无关的自动化，其表现显著优于传统的机器学习方法。