技术摘要：MADP——一种带有人类在环的可持续文档处理多智能体流水线

1. 问题陈述

企业环境中的文档处理自动化仍然是一个关键瓶颈。依赖人工验证的传统方法既劳动密集又容易出错，而标准的光学字符识别（OCR）系统在处理复杂布局、多页结构和特定领域术语时往往力不从心。尽管大语言模型（LLM）在从未结构化文档中提取结构化信息方面展现了卓越能力，但其直接部署于生产环境仍面临三大显著障碍：

1. 可靠性：在关键任务应用中，关于幻觉和非确定性准确性的担忧。
2. 成本与可持续性：大规模推理相关的高计算成本和环境影响。
3. 可审计性：受监管行业缺乏所需的可解释性和可审计性。

此外，现有的人类在环（HITL）系统通常缺乏从人类反馈中持续学习的机制，且先前的工作尚未全面分析 AI 辅助处理与人工基线相比的全方位可持续性影响。

2. 方法论：MADP 架构

作者提出了MADP，这是一种在人类监督下协调专用 AI 智能体以实现端到端文档处理的多智能体架构。该系统将基于深度学习的分类与解析同基于 LLM 的提取相结合，并由一种新颖的**带反馈继承的提示微调（PFTFI）**机制进行管控。

2.1 系统组件

该流水线由五个顺序执行的专用智能体组成：

• 分类智能体：利用 ResNet-18 卷积神经网络（CNN）识别文档类型和供应商类别。它通过冻结前三个卷积块并在文档标题上微调第四个块，针对低延迟进行了优化。输入图像被裁剪至顶部 40%，以聚焦于供应商识别标记。
• 分割智能体：利用视觉特征（分页符、标题）和语义分析，将多页文档分割为逻辑单元（例如，单独发票），以防止上下文混淆。
• 解析智能体：将原始文档格式转换为针对 LLM 处理优化的结构化 Markdown 表示。使用Docling库，它分析布局、识别表格并确定阅读顺序。与原始 OCR 相比，此步骤在保留语义信息的同时将 token 数量减少了 35%。
• 提取智能体：利用 LLM 基于精心设计的提示推断结构化信息（JSON），这些提示包含约束条件、数据类型和示例说明，以最大限度地减少幻觉。系统支持使用多个 LLM 后端（例如 Granite、Mistral、DeepSeek）进行并行提取策略，并通过共识投票提高置信度。
• 验证智能体：充当哨兵，通过原子一致性检查（例如，验证小计 + 税 = 总计，检查日期逻辑，验证增值税率）来执行数据质量。它将置信度评分低或验证失败的文档路由给人工审核员。

2.2 PFTFI 机制

核心创新是**带反馈继承的提示微调（PFTFI）**循环。当人工审核员纠正提取错误时，系统会：

1. 捕获原始数据和修正内容。
2. 生成描述错误模式的结构化反馈。
3. 通过纳入新示例和细化指令，更新提取和解析提示。
4. 将这些更新双向传播给队列中具有相似特征的待处理文档。
   这使得系统行为能够持续改进，而无需重新训练底层神经模型。

2.3 人类在环（HITL）接口

验证界面将文档与提取的元数据并排展示。它突出显示低置信度字段，并提供快速修正机制。至关重要的是，人工操作员修正的是提取的元数据，而不是直接标注源文档，从而为 PFTFI 机制生成丰富的结构化反馈。

3. 主要贡献

• 多智能体编排：一个模块化流水线，结合 CNN 进行分类、专用解析以理解布局，以及 LLM 进行语义提取，所有操作均在验证框架下协调进行。
• PFTFI 机制：一种持续学习的新方法，它基于人类反馈细化提示和规则，而无需重新训练模型，从而能够快速适应新供应商和文档变体。
• 可持续性分析：本文提出了据称是首个关于 AI 辅助文档处理的详细可持续性分析，量化了相对于完全人工和完全自动化基线在二氧化碳排放、能源消耗和用水量方面的减少。
• 综合基准测试：在类生产条件下，对多个 LLM 后端（Granite-Docling、Mistral-Small、DeepSeek-OCR）在准确性、延迟和资源占用方面进行了比较评估。

4. 实验结果

该系统在截至 2026 年 1 月处理的955 份真实世界文档的生产数据集上进行了评估，涵盖 50 多个供应商和多种语言（意大利语、英语、德语、法语和阿拉伯语）。

• 自动化率：系统实现了97.0% 的全流水线自动化率，仅有 3% 的文档需要非 AI 回退（传统 OCR 或人工门户）。
• 准确性：
  • 在分层消融子集（20 个类别，每类 5 份文档，共 100 份文档）上，带有 HITL 监督的完整 MADP 配置达到了98.5% 的文档级准确率。
  • 解析智能体相较于基线直接 LLM 方法贡献了最大的单项提升（+17.5 个百分点），验证了布局感知预处理的重要性。
  • Mistral-Small-3.2被确定为生产部署的最佳 LLM 后端，实现了最高的 F1 分数（92.9%）和召回率（98.2%）。
• 运营效率：在每年 10 万张发票的预测场景中，混合 AI+HITL 方法相较于人工处理将全职当量（FTE）需求减少了约70%（7 个 FTE 对比 23 个 FTE），同时保持了 98.5% 的准确率（而“纯 AI"方法为 85%）。
• 可持续性影响：与人工基线相比，AI+HITL 方法带来了以下成果：
  • 二氧化碳排放减少 69%（每年 12.3 吨）。
  • 能源消耗减少 69%。
  • 用水量减少 63%。
    作者将这些收益主要归因于办公相关开销（FTE）的减少，而不仅仅是 AI 推理本身的效率提升。

5. 意义与主张

本文声称，MADP 证明了AI 智能体的智能编排与战略性人工干预相结合，相较于完全人工或完全自动化的方法，实现了准确性、成本和环境影响的更优平衡。

关键意义点包括：

• 实际可行性：在多样化真实世界数据集上 97% 的自动化率，验证了该架构在运营环境中的稳健性。
• 无需重训练的适应性：PFTFI 机制证明，系统可以通过更新提示和规则来快速适应新文档类型和供应商，避免了模型重训练的高成本和延迟。
• 可持续性领导力：该研究挑战了"AI 本质上不如人工工作可持续”的观念，表明混合模型可以通过大幅减少人工劳动时间，显著降低文档处理的碳足迹和资源足迹。
• 模块化设计：该架构允许优雅降级；如果文档在分类或解析阶段失败，它将被路由到人工检查，而不是产生不可靠的提取结果，从而确保数据完整性。

作者总结道，虽然该系统目前针对发票进行了优化，但这种模块化多智能体模式可转移至其他业务文档，前提是调整特定的分类和提取逻辑。