HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries
HIRA 是一个无需训练、本地部署的检索增强级联系统，用于受监管文档分类，它通过结合多模态检索与本地托管的大语言模型验证器以及人机回环反馈，在实现高准确度的同时，最大限度地减少人工审查并消除昂贵模型重训的需求。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在银行、医疗和法律这些高风险领域，文档是信任的主要货币。每一份贷款申请、医疗记录和法律合同都必须被准确分类，以确保合规、安全和效率。几十年来，解决这一分类问题的标准方法是通过向计算机展示数千个已标记的示例来教导它，这个过程被称为“训练”。然而，这种方法在受监管的行业中遇到了瓶方。游戏的规则非常严格：敏感文档不能离开其创建的安全环境，这意味着它们不能被发送到云端，由强大的远程人工智能进行处理。此外，银行内部文件所需的特定类别往往是独特的且变化频繁，这使得收集大规模、预先存在的数据集来从头开始训练新模型变得不再可能。当一家银行试图更新其分类系统时，该过程既缓慢又昂贵，以至于往往变得不切实际，导致机构要么停留在使用过时的工具，要么被迫依赖昂贵的人力进行逐一阅读。
研究人员尚选田（Shangxuan Tian）、陈艳辉（Yanhui Chen）和卡洛斯·奎罗斯（Carlos Queiroz）提出了一种不同的前进方式，一种名为 HIRA 的系统，专门设计用于应对这些严苛的约束。HIRA 不再试图在每出现一种新文档类型或规则发生变化时都重新训练一个复杂的模型，而是像一位通过实践学习的高组织性图书管理员一样运作。该系统分为两个阶段。首先，它扫描一份新文档，并立即在其内部记忆中搜索以前见过的类似示例。它观察文本、布局，甚至页面的视觉形状，以寻找最佳匹配。如果系统找到了明确的匹配，它会立即对文档进行分类。如果文档令人困惑，或者看起来太像几种不同的类别，系统不会进行猜测；相反，它会将文件传递给第二个更谨慎的阶段。这个阶段使用一个功能强大的本地托管人工智能，在查看文档的同时结合系统找到的最佳示例进行审查，并要求其做出最终决定。即使这个第二阶段仍不确定，文档也会被发送给人类专家进行纠正。
真正的创新在于人类纠正之后发生的事情。在传统系统中，人类修复错误只是一个一次性的动作。而在 HIRA 中，每一次纠正都成为了一次永久性的教训。当人类纠正一份文档时，系统会将该示例连同特殊的权重一起保存在其记忆中，使其在下次有类似文档到达时更有可能被识别。它还会更新一张“困惑图”，学习哪些类别容易混淆，以及哪些特定的词汇或视觉特征可以将它们区分开来。这使得系统能够在不重新训练其核心软件或更新其底层数学权重的情况下，通过不断提高准确性来提升自身能力。系统通过记住其错误以及解决这些错误的具体细节而变得更加聪明。
研究人员在两组截然不同的数据上测试了这种方法。第一组是包含 2,737 份文档（从信件到科学报告）的公开基准测试集。在这个数据集上，系统从少量示例开始，处理一系列新文档。通过请求人类仅纠正约四分之一的输入文件，系统的准确率上升到了与一个从一开始就见过所有带正确标签文档的假设性“先知”（oracle）相匹配的水平。这是一个显著的飞跃，其表现大幅超越了试图在没有任何帮助下进行猜测的标准人工智能，同时消耗了更少的计算资源。该系统成功地仅将约 40% 的文档发送到第二个、更昂贵的人工智能阶段，发送给人类审核者的比例甚至更低，证明了它能够高效地过滤掉简单的案例。
第二个测试涉及一个来自大型银行的真实世界挑战，即一个包含 30,233 份贸易融资文档的私人收藏。这个环境要困难得多，拥有 80 个不同的类别，其中许多类别几乎完全相同，例如不同类型的发票或证书。数据呈现严重偏斜，某些类别拥有数千个示例，而其他类别则极少。尽管面临这些困难，系统处理了整个文档流，并仅请求人类员工纠正了 1,945 份文档，这仅占总数的 6.4%。如此小规模的人力投入足以将系统的准确率从一个适中的水平提升到高度可靠的水平。研究人员发现，随着系统从这些纠正中学习，需要人类审核的文档数量急剧下降，并随着系统记忆的日益丰富而趋于稳定。
这项工作表明，在受监管的行业中，实现高准确性的路径并不一定需要海量的数据集或不断的软件重训。通过结合智能搜索机制、本地人工智能以及从人类纠正中学习的反馈循环，构建一个能够自主适应新文档和变化规则的系统是可能的。该系统尊重数据绝不出于安全环境的严格要求，同时实现了媲美使用大量数据进行训练的系统的性能水平。结果表明，对于数据隐私和合规性至关重要的行业而言，一个能够选择性学习并记住其纠正结果的系统，是传统人工智能训练方法的一个实用且强大的替代方案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。