Auditing LLM-mediated interpretation through source-to-claim documentation

在人文和社会科学领域，研究人员长期以来一直依赖一个简单而强大的理念：如果你想理解一个结论是如何得出的，你就必须能够追踪从原始证据到最终主张的路径。这条路径通常被称为“审计追踪”（audit trail）。它是一份关于决策过程、笔记记录和遵循步骤的记录，确保另一位学者在查看相同的材料时，能够看到解释是如何构建起来的。几十年来，这个过程一直是人与人之间的过程，即研究人员阅读文本、高亮段落并撰写分析。但现在，一个新工具进入了视野：生成式人工智能。这些系统可以阅读文本，并能瞬间写出一段流畅的段落来进行总结或解释。问题在于，这种速度伴随着隐藏的代价。人工智能生成了流畅、精美的句子，却掩盖了机器内部发生的那些混乱的转化过程。读者看到了最终的主张，却无法看到机器是如何将原始词汇转化为那个特定结论的。更糟糕的是，由于这些人工智能系统托管在公司拥有的服务器上，研究人员无法简单地在稍后“重新运行”完全相同的计算。软件可能会发生变化，或者同一个问题下次可能会得到略有不同的答案。这造成了审计追踪中的断裂，使得证据与主张之间的联系变得脆弱且难以验证。

为了解决这个问题，来自明尼苏达大学和佐治亚理工学院的研究团队提出了一种名为“从源到主张文档化”（source-to-claim documentation）的新工作方式。他们建议，不要仅仅说“我们使用了人工智能”，而是要保存一个完整的、链接式的记录链，展示每一件证据是如何变成一个分析性主张的。这一框架不仅仅是列出所使用的工具，它还保留了每一段生成文本的具体旅程。研究人员通过一项受控实验测试了这个想法，他们创建了十二个简单的句子作为源材料。他们要求两个不同版本的 AI 模型重写这些句子，并就它们撰写简短的解释性笔记。目标不是看哪个 AI 更聪明，而是看这种新的文档方法能否捕捉到那些否则会被忽略的错误。他们发现，人工智能经常做出细微但显著的变化，这些变化在表面上看起来似乎无伤大雅。例如，当源句说一位女性将她的笔记“借给”（lent）了一位朋友时，AI 反复将其改写为“给”（gave）了她的笔记。在现实世界中，“借”意味着物品将会归还，而“给”则意味着永久的所有权。“给”这个动作改变了原意。AI 每次都进行了这种替换，生成了听起来正确但实际上已经改变了原始证据含义的、一致且流畅的句子。

当研究人员深入观察最终文本时，新方法的威力显现了出来。他们引入了一个步骤，要求 AI 在编写重写文本的同时，创建一个关于该句子含义的结构化地图。这张地图就像是一个蓝图，展示了词与词之间的关系。当研究人员将蓝图与原始句子进行对比时，错误便显露了出来：地图仍然显示动作为“借”，尽管最终的段落却说是“给”。这表明 AI 犯了一个持续性的错误，而流畅的散文成功地掩盖了这个错误。研究人员还发现，当 AI 撰写解释性笔记时，它有时会加入原始文本中并不存在的想法，例如猜测一个人的动机，尽管它被要求直接引用来源。通过将原始句子、AI 的原始输出、结构化地图以及人工审核全部链接在一个单一的档案库中，研究人员可以清楚地看到意义是在哪里发生偏移的。他们发现，仅仅检查两次 AI 运行是否产生了相同的答案是不够的，因为 AI 可以与其自身达成一致，但两者都可能是错误的。

这项研究涉及八位人类读者对 AI 的工作进行审查。这些读者确认，虽然 AI 重写的句子通常看起来与原文非常相似，但它们经常以影响实质意义的方式改变含义。在一个涉及“借贷”的具体案例中，读者指出，从“借”到“给”的变化在超过一半的评估中被视为严重的扭曲。研究人员还测试了该方法是否能处理 AI 系统本身的变化。他们使用两个间隔数月之久的 AI 模型版本进行了实验。尽管模型不同，但文档方法使他们能够追踪主张的历史，并观察证据在每种情况下是如何被转化的。核心发现是，该框架成功地保留了“证据路径”。它允许后来的研究人员查看最终主张，追踪回原始 AI 输出，然后检查结构化地图以查看含义是否得到了保留。这个过程并不要求研究人员去信任人工智能，也不要求他们相信最终文本是完美的；它仅仅要求他们拥有关于文本是如何生成的完整记录。

这种方法为那些希望在使用人工智能的同时又不失去验证工作能力的研究人员提供了一条切实可行的道路。研究人员建议，文档化的程度应与主张的重要性相匹配。对于私人笔记或课堂练习，只需保留源材料和提示词的简单记录即可。但对于旨在供他人使用的发表文章或数据集，完整的证据链——包括原始输出、结构化检查以及人工审核——都应当被保存下来。这并不意味着每一句话都需要进行全面的审计，但它确实意味着，当一个主张依赖于人工智能的解释时，从原始词汇到该主张的路径必须保持可见。研究表明，如果没有这种可见性，流畅的散文很容易掩盖错误，而 AI 运行之间的重复一致性也会给人一种虚假的安全感。通过保持源材料、机器与人类审核者之间的链接完整，研究人员可以确保他们的结论建立在一个可以被后续研究者检查、质疑和理解的基础之上。