Make Mechanistic Interpretability Auditable: A Call to Develop Guidelines via Continuous Collaborative Reviewing
本立场文件认为，为了实现机械解释性在高度敏感应用中的安全且可靠的部署，业界必须建立一套标准化的审计体系，其特征在于包含一个协作评审平台、专家验证的指南以及基于溯源的追踪机制，以解决方法论上的不一致并验证研究结果。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大局观：为什么我们需要一份 AI 侦探工作的“规则手册”
想象一下，机械解释性（Mechanistic Interpretability, MI） 就像是一群侦探，正试图弄清楚一个巨大的、黑箱式的机器人（神经网络）是如何思考的。他们观察机器人内部的齿轮和电路，以解释它为什么会做出某些决策。
根据这篇论文的观点，问题在于：虽然这些侦探发现了许多酷炫的线索，但他们缺乏一种标准化的方式来验证他们的工作是否真正正确。目前，一位侦探可能会说：“机器人之所以这样思考，是因为齿轮 A”；而另一位侦达可能会说：“不，是因为齿轮 B。” 两者的论证看起来都做得很好，但它们却相互矛盾。如果没有一种审计（双重检查）其方法的方法，我们就无法在医疗诊断或自动驾驶汽车等关乎生死的场景中充分信任他们的发现。
作者们呼吁社区建立一套全新的实验审计系统，而且不仅是进行一次性的审计，而是要进行持续性的审计。
三部分解决方案
论文提出了一个修复此问题的三步计划，作者将其比作建立一个更好的图书馆和一套更好的规则。
1. “活的图书馆”（持续评审）
问题： 目前，如果研究人员尝试了一个实验但失败了，或者发现了一个改变结论的小细节，他们通常无法在正式论文中发表这些内容。这些宝贵的信息往往会丢失在私人邮件、Discord 聊天或 Twitter 线程中。这就像是因为拼图碎片暂时还不能拼入包装盒上的图案，就把吃了一半的拼图碎片扔掉了一样。
解决方案： 作者希望建立一个协作平台（类似于一个专门化、高度组织化的 AI 研究版维基百科或 GitHub）。
- 运作方式： 研究人员可以在这里上传任何内容：失败的实验、部分结果、负面发现或微小的修正。
- 类比： 将其想象为一个知识的“施工现场”。与其等到建筑完全完工后再向公众展示，不如让每个人都能看到蓝图、错误以及正在进行的维修。这允许社区进行“实时评审”，随时添加评论和修正，而不是仅仅等待最后的期末考试（同行评审）。
2. “社区规则手册”（指南）
问题： 由于缺乏检查这些实验的标准方式，专家们可能会使用不同的工具来测量同一事物，从而导致混乱的结果。这就像一位厨师用咖啡杯量面粉，而另一位用酒杯量，最后做出来的蛋糕截然不同，而且没人知道为什么。
解决方案： 作者建议，上述“活的图书馆”应被用于编写一本经社区完善的指南。
- 运作方式： 当人们在平台上讨论和评审实验时，他们会发现其中的规律。他们会就“最佳实践”达成一致（例如：“始终以这种特定方式进行测试”或“如果没有检查 X，永远不要相信这个结果”）。
- 类比： 想象一群厨师不断品尝彼此做的菜并辩论食谱。最终，他们会写出一本大家公认的“金标准食谱”。这并不是一种会扼杀创造力的僵化规则；它是一个清单，确保没有人会不小心把蛋糕烤焦。它确保当有人说“这个 AI 是安全的”时，他们遵循了与其他人相同的严谨步骤。
3. “可追溯的地图”（基于来源的审计）
问题： 有时，一个说法听起来很有道理，但它依赖于很久以前的一个不稳固的假设。如果那个旧假设错了，整个新说法就会崩塌。目前，很难追踪这些联系。
解决方案： 作者提出了一个绘制每个主张依赖关系图的系统。
- 运作方式： 该系统充当数字侦探，追踪主张的根源。它会询问：“这个结论是否依赖于实验 A？实验 A 是否依赖于假设 B？”
- 类比： 想象一座纸牌屋。如果你抽走底部的牌（假设），整座塔就会倒塌。这个系统会在每一张牌上安装传感器。如果底部的牌被证明是错误的，系统会立即向持有上方牌卡的所有人发送警报，说：“嘿，你的塔现在不稳定了！” 它利用 AI 智能体自动进行这种追踪，检查逻辑是否成立。
为什么要这样做？
论文认为，如果没有这些系统，AI 解释性将仍然是一个“西部荒野”——任何人都可以提出看似高明但未经妥善测试的主张。
- 为了安全： 如果我们想在医院或道路上使用 AI，我们就不能承受“解释性错觉”（看起来正确但实际上是错误的说法）。
- 为了信任： 通过使过程变得开放、持续且可审计，利益相关者（如医生或监管机构）才能真正信任 AI 的内部解释。
论文没有说的话
需要注意的是，这篇论文并没有做以下事情：
- 它还没有提供最终的规则手册；它是要求社区共同构建它。
- 它并没有声称 AI 目前是安全或不安全的；它是在说我们需要一种更好的检查它是否安全的方法。
- 它并没有暗示严格的规则会扼杀创造力。相反，它认为清晰、极简的指南实际上能帮助研究人员避免在糟糕的实验上浪费时间。
总结
作者要求 AI 研究界不要再把实验当作一次性的魔术表演，而是要将其视为工程项目。他们想要建立一个共享的工作空间，在这里，失败会被分享，规则会被实时讨论和更新，并且每一个主张都能追溯到其来源。这将使 AI 解释性从一项杂乱、非正式的爱好，转变为一门可靠、可审计的科学。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。