Audit Trails for Accountability in Large Language Models
本文提出了一种社会技术框架和开源参考架构，用于在大语言模型中实现防篡改、富上下文的审计追踪，通过在整个模型生命周期内将技术溯源与治理记录相联系，以增强问责制。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是某家大型高速运转工厂的经理，这家工厂专门制造定制化的机器人（这些机器人就是大语言模型，简称 LLM）。现在，这些机器人正被雇佣去做非常重要的工作：提供财务建议、帮助医生编写病历、以及决定谁能获得贷款。
问题在于，根据这篇论文的说法，当出现问题时——比如机器人给出了错误的建议，或者医生遗漏了一个关键细节——人们往往无法准确查明究竟发生了什么。
为什么？因为工厂的“笔记本”一团糟。一位工程师把笔记写在便利贴上，另一位将文件保存在自己的笔记本电脑里，第三位通过电子邮件发送，第四位则在没有任何通知的情况下直接更改了计算机程序的设置。如果一个机器人犯了错，你无法回溯并说：“啊，在周二下午 2:00，我们修改了机器人的大脑，而批准这次更改的人是鲍勃。”证据是零散的、丢失的，或者极易被抹除的。
解决方案：“黑匣子”飞行记录仪
作者提出了一种名为 LLM 审计追踪（LLM Audit Trails） 的解决方案。你可以把它想象成为你的工厂制造的每一台机器人都安装一个飞行记录仪（就像飞机上的“黑匣子”一样）。
这不仅仅是记录机器人“说了什么”；它是一个永久性的、不可更改的日记，记录了机器人从诞生到退役期间发生的一切。
以下是该系统的运作方式，分为三个简单部分：
1. “什么”（生命周期框架）
论文指出，我们需要记录机器人生命中的特定时刻，而不是随机的数据。
- 诞生： 当机器人最初被训练时，它读了哪些书？是谁决定它已经准备好诞生了？
- 成长： 是否有人微调了它的脑部结构（微调/Fine-tuning）？我们是否更改了它的指令（提示词/Prompts）？谁签署批准了这些更改？
- 工作： 当机器人实际执行任务时，哪些设置是处于激活状态的？如果一名医生使用机器人编写病历，使用的是哪个版本的机器人？
- “为什么”： 至关重要的一点是，这个系统不仅记录了“改变了什么”，还记录了谁授权了这些改变以及为什么要改变。它将技术层面的变化与人类的决策联系了起来。
2. “如何”（系统架构）
为了实现这一目标，作者构建了一个三层系统：
- 采集层（传感器）： 想象一下，工厂里的每台机器都安装了小型的传感器。每当机器人进行训练、测试或部署时，这些传感器都会自动捕捉该事件的快照。它们不只是说“训练开始”；它们会说“训练开始，使用的是这个特定的数据集，由这个人操作，时间是这个时刻”。
- 存储层（不可破坏的账本）： 这是存放照片的地方。它就像一本可以书写但绝不能擦除或撕掉页面的数字日记。如果有人试图潜入并修改过去的条目，整个账本就会损坏，所有人都会察觉到有人篡改。这确保了记录的可信度。
- 使用层（侦探的放大镜）： 这是为审计人员准备的工具。如果一个机器人出了问题，审计人员可以使用这个工具翻阅那本不可破坏的日记。他们可以瞬间看到：“噢，看这里！就在这一天，机器人的设置被更改了，这是经理批准该更改的电子邮件。”
3. “证明”（Python 库）
作者不仅停留在理论层面，还开发了一个小型、免费的工具（一个 Python 库）来证明其可行性。他们展示了如何将这个“飞行记录仪”接入现有的机器人制造流程中，而无需重建整个工厂。它轻量化、易于安装，并创建了那条不可破坏的证据链。
为什么这很重要？（现实世界场景）
论文使用了两个案例来展示其必要性：
- 银行的机器人： 一家银行使用机器人来协助客户办理抵押贷款。一位客户因为机器人的建议而被拒绝了贷款，但那个建议是错误的。如果没有审计追踪，银行只能靠猜：“当时运行的是哪个版本的机器人？我们是不是上周修改了规则？谁说这样做是可以的？”有了审计追踪，他们可以立即调出那一刻机器人的大脑精确记录，并查看是谁授权了那些规则。
- 医院的机器人： 一家医院使用机器人来起草病历。由于机器人没有提示后续预约，导致医生错过了一次随访。医院需要知道：“那天的机器人训练数据是否不同？是医生覆盖了机器人的建议，还是机器人本身出了错？谁批准了这个版本的机器人？”审计追踪提供了回答这些问题的完整时间线。
核心结论
这篇论文认为，如果没有透明度（看到真相），就无法实现问责制（承担责任）。
目前，当人工智能系统失效时，我们往往无法证明到底哪里出了错，因为“纸质追踪”缺失了。作者提议，通过构建一个将技术变革与人类决策相联系的编年体式、防篡改的日记，我们最终可以实现对组织的问责。它将 AI 的“黑匣子”变成了一个透明的过程，让我们始终可以回溯并说：“这就是当时发生的精确情况，是谁做的，以及为什么要这么做。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。