From Regulation to Implementation: A Critical Evaluation of LLM-Assisted Regulatory Compliance in Industry

在现代工业世界中，企业面临着日益增长的规则大山，这些规则旨在保护地球和人们的隐私。为了证明自己遵守了这些规则，企业必须创建特定的文档，通常被称为合规人工制品（compliance artifacts）。可以将这些文档想象成详细的报告，它们充当了产品的护照或计算机系统的安全审计。其中一项主要的欧洲规则要求为销售的每一块电池都配备一份数字护照，列出其内部包含的确切材料以及如何回收利用。另一项规则则要求对任何处理个人数据的系统进行风险评估，以确保人们的私人信息是安全的。手动创建这些文档非常困难，因为所需的数据散落在许多不同的计算机系统中，且格式混乱、不统一。随着企业在这些文书工作中挣扎，他们转向了人工智能，特别是大语言模型，来为他们撰写这些报告。这些计算机程序擅长阅读文本并生成新内容，但目前尚不清楚它们是否可以被信任去遵循严格的法律指令，而不编造事实或遗漏关键细节。

一个研究小组着手测试这些人工智能工具在被要求撰写这些强制性报告时的表现究竟如何。他们专注于两种截然不同的文档类型，以观察指令的性质是否会改变结果。第一种是数字电池护照（Digital Battery Passport），这是一种由监管机构定义的具有非常清晰、僵化结构的文档。第二种是数据保护影响评估（Data Protection Impact Assessment），这是针对隐私法要求的文档，其指令更加开放且模糊。研究人员向五种不同的人工智能模型提供了一系列任务。在某些情况下，他们给模型一个简单的、简短的指令来撰写报告。在另一些情况下，他们提供了一份长篇、详细的指南，解释了具体需要哪些信息以及如何进行格式化。他们多次运行这些测试，以观察模型是否每次都能产生相同的结果，然后检查生成的报告是否包含了所有法律要求的相关信息。

结果揭示了模型处理这两类文档方式之间的巨大差异。当被要求创建数字电池护照时，人工智能系统表现得非常一致。由于该文档的规则非常具体，无论指令是长是短，模型产生的输出几乎都是相同的。它们几乎每次都能成功提取必要的电池材料数据并进行正确的格式化。然而，当模型处理数据保护影响评估时，情况却完全不同。由于缺乏僵化的结构，模型难以保持一致性。当仅提供基础的法规文本而没有额外指导时，模型生成的报告往往会遗漏关键章节，或者在多次尝试之间产生巨大的差异。研究人员发现，对于这些模糊的任务，提供更多的上下文和具体示例对于获得可靠结果至关重要。如果没有这些额外的帮助，模型往往会遗漏重要的细节，例如如何处理数据存储限制或如何评估对个人的风险。

最引人注目的发现之一是模型对指令详细程度的反应。对于严格的电池护照，在提示词中增加更多细节并不会显著改变输出质量，但可能会导致输出中出现更多的“幻觉”。然而，对于隐私评估，情况恰恰相反。模型需要这些额外的上下文才能表现良好。当指令过于模糊时，模型经常无法包含要求的章节，这表明目前的法律语言对于这些工具独立可靠地解读来说过于宽泛。研究还强调，不同的人工智能模型表现各异；有些模型在所有任务中都表现得始终如一且可靠，而另一些模型在指令不够清晰时则容易遗漏重要信息。

最终，研究表明，使用人工智能进行法律合规的成功在很大程度上取决于所创建文档的类型。对于像电池护照这样高度结构化的任务，该技术已经准备好以极少的设置投入使用。但对于像隐私评估这样复杂、开放的任务，仅仅要求计算机遵循法律是不够的。研究人员得出结论，要使这些工具在处理模糊的法规部分时有效工作，公司必须投入时间来设计详细、具体的提示词，引导人工智能完成必要的步骤。在法规本身对这些文档必须包含的内容变得更加具体之前，或者在指导这些机器的方式得到改进之前，人工智能用于合规的工作将仍然处于某些任务高可靠性与某些任务高风险并存的状态。