LAAF: A Layered Accountability Architecture Framework for LLM Applications
本文提出了 LAAF，即一种用于大语言模型（LLM）应用的层级问责架构框架，该框架源自对 122 项研究及监管文件的系统性回顾，通过将技术、人类、组织和文档机制综合为一个与欧盟《人工智能法案》和 NIST 《人工智能风险管理框架》（AI RMF）等全球标准相一致的四层模型，旨在解决高风险人工智能部署中关键的问责差距问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界中，被称为大型语言模型的强大计算机程序已成为写作、规划和回答问题的常用工具。这些系统并非仅仅在数据库中搜索匹配的事实；相反，它们是根据从海量文本中学习到的模式来预测句子中的下一个词。这种能力使它们能够以一种具有人类感的流畅度进行表达，经常产生听起来自信且权威的段落。然而，这种流畅性伴随着一个隐藏的缺陷：系统可能会生成语法完美但完全错误的内容，研究人员将这种现象称为“幻觉”。在日常对话中，错误的答案仅仅是令人恼火，但在医院、银行或法院等关键场景中，一个自信的错误可能会造成真实的伤害。当此类错误发生时，一个困难的问题随之而来：谁该负责？是编写提示词的人，是开发该软件的公司，还是部署该软件的机构？多年来，答案一直不明朗，导致技术快速进步与管理技术所需的规则之间出现了脱节。
一个研究小组致力于通过对现有的关于如何追究这些系统责任的文献进行大规模综述来解决这一难题。他们审查了 2022 年初至 2026 年初期间发表的数千份文件，并将重点缩小到 122 项关键研究和 12 份官方监管文件。他们的目标不仅是列出问题，而是精确地绘制出当出现问题时，责任应如何被追踪、解释和执行。他们发现，目前的方法是碎片化的。技术专家关注如何检测代码中的错误，而政策专家则关注法律和伦理，但这两类人群很少使用同一种语言进行交流。此外，文献通常假设只要有人查看输出结果就足够了，却并未明确规定这个人类究竟应该做什么、需要哪些信息，或者拥有什么样的权力来阻止一个错误的决策。
为了理顺这种混乱，研究人员提出了一个名为 LAAF 的新框架，即“分层问责架构框架”（Layered Accountability Architecture Framework）。他们将使用这些人工智能系统的整个过程组织成四个不同的层级，由下而上进行构建。第一层处理软件本身的起源，要求有清晰的记录说明模型的来源及其训练数据。第二层侧重于软件在特定应用中的使用，确保系统会根据可信来源对其答案进行校验，并记录其采取的每一个步骤。第三层将人类置于回路之中，使其不仅是一个被动的观察者，而是一个主动的审查者，拥有在输出结果看起来不安全或不正确时否决机器决策的权力。最后一层是组织层面，即公司建立规则、为个人分配特定角色，并创建修复错误及补偿受损者的路径。
研究显示，虽然我们拥有许多检查错误的工具，但它们往往是孤立使用的。例如，一个系统可能具有卓越的日志记录能力，但缺乏一个明确的计划来规定当问题出现时由谁来审查这些日志。研究人员确定了阻碍我们实现真正问责的四个主要差距：我们对于人类应如何监督这些系统缺乏明确规则；我们缺乏衡量成功的统一方式；技术领域与法律领域仍然脱节；并且大多数拟议的解决方案仅在模拟环境中经过测试，而非在现实世界中。他们还强调了五个难以解决的深层矛盾，例如：在透明度足以证明问责制与保持足够的机密性以保护安全和商业利益之间存在冲突。
该团队构建的框架旨在与现有法律协同工作，例如欧盟的《人工智能法案》以及来自美国和国际机构的标准。它将网络安全视为问责制的核心部分，认识到如果一个系统可以被欺骗或操纵，那么没有人能真正对其输出负责。通过将技术控制与人类监督及组织治理相结合，该框架提供了一种方法，可以将单个错误通过各层级进行追溯，从而找到究竟是谁做出了决策以及原因。作者谨慎地指出，这是一个基于当前证据的蓝图，而非已在所有情况下得到验证的成熟产品。然而，通过将模糊的责任概念转化为结构化的四层系统，他们为应对强大的人工智能与必须为其承担责任的人类之间复杂关系提供了第一份全面的路线图。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。