Verifiable Provenance for AI Judicial Decision Support Using Transparency Logs and Citation Entailment
本文介绍了 VADP，一种用于人工智能司法决策支持的可审计架构，该架构集成了零信任访问控制、自然语言推理和透明日志，以创建确保证据监管和可解释性的可验证合约，同时通过实证展示了其在抵御提示词注入和篡改方面的高防御率，以及显著但取决于司法管辖区的性能提升，并承认了在跨司法管辖区泛化能力和未经验证的密码学完备性方面的局限性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在法律这一高风险领域，法官的判决依赖于事实、先例和法规的基础。当人工智能进入这一领域以协助研究案例或起草摘要时，一个新的问题出现了：人类如何确定机器所说的是事实？不同于仅仅进行数值计算的计算器，现代人工智能有时会虚构事实或引用并不存在的法律，这种现象被称为“幻觉”。在法庭上，此类错误不仅仅是失误，它们可能会破坏正义。因此，挑战不仅在于构建更智能的人工智能，还在于构建一种能为它提出的每一个主张都留下清晰、不可篡改的证据链的人工智能，从而允许人类精确地核实信息的来源以及该信息是否被授权使用。
研究人员 Aditya Mandloi 和 Anushka Yadav 提出了一种名为 VADP 的系统，旨在通过将每一项人工智能生成的法律建议封装在一个数字“验证合约”中来解决这个问题。可以将这个合约想象成一个密封的信封，它不仅包含人工智能给出的答案，还包含了得出该答案的证明过程。该系统的工作原理是首先检查提问者是否有权查看该信息，就像保安检查证件一样。随后，它从安全数据库中检索相关的法律文件，并使用第二个专门的人工智能来双重核查所检索的文件是否确实支持第一个人工智能所提出的主张。如果文件不支持这些主张，系统会立即标记错误。最后，从用户的身份到具体的法律文本，整个过程都被锁定在一个无法更改的数字记录中，且任何更改都会留下可见的痕迹，类似于信件上的火漆印证明信件未被拆开。
研究人员使用基于真实印度最高法院案例的 1,500 个法律问题基准测试了该系统。结果显示，该系统在寻找正确法律先例方面非常有效，在超过 93% 的案例中将最相关的文件排在首位。更重要的是，该系统成功拦截了几乎所有人工智能试图伪造引文或与原始资料相矛盾的情况，拦截了约 94% 的无依据主张和 98% 的直接矛盾。这个数字“信封”也被证明极其稳健；在研究人员尝试通过修改单个比特位数据或更改时间戳来篡改记录的测试中，系统 100% 地检测到了变化，证明了记录保持完好。
然而，研究人员谨慎地区分了其系统能够证明的内容与不能证明的内容。虽然该系统保证了证据已被正确检索且记录未被篡改，但它并不保证人工智能最终的法律推理是完美的，也不保证法官会同意其结果。该系统扮演的是过程的严格审计员角色，而非人类判断的替代品。事实上，研究发现，在当前设置下，该系统仍需人类法官审查约 68% 的案例以确保安全，仅允许剩余 32% 的案例在无需干预的情况下进行。这种高比例的人类审查是刻意设计的，旨在将错过关键错误的风险控制在 5% 以下。
该研究还探讨了这种方法在不同法律体系（如美国或欧洲）中的适用性。当在未经特定重新训练的情况下在这些外国法律数据集上进行测试时，系统的表现显著下降，正确识别首选先例的比例降至不到一半。这表明，虽然验证证据的底层技术是通用的，但寻找正确法律所需的具体工具必须针对特定国家的法律条文进行定制。研究人员还指出，目前的测试是在单台计算机上运行的，虽然系统在那里运行完美，但尚未在多法院环境（即许多用户从不同地点同时访问该系统）中进行过测试。
最终，这项工作为看待人工智能的信任提供了一种新思路。与其要求法院信任供应商关于其软件安全的承诺，VADP 为每一项决策提供了一个有形的、可检查的产物。它将负担从盲目的信任转向了独立的验证，确保如果使用了某项法律引文，它确实是从安全来源检索到的；并且如果记录被篡改，这种变化会立即显现。虽然该系统尚未成为准备好进入每个法庭的成熟产品，但它证明了构建既强大又透明且负责任的人工智能工具是可能的，为法官和律师提供了在做出改变命运的决策前验证真相所需的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。