✨ 要点🔬 技术摘要
想象一下，你拥有一个极其聪明却神秘莫测的黑盒，它替你做出决策。也许它在诊断病人、批准贷款，或者撰写故事。你能看到输入和输出，却完全不知道它如何 做出决定。
多年来，研究人员一直试图打开这个盒子，看看内部齿轮是如何运转的。这个领域被称为可解释性 。人们希望，一旦我们理解了这些齿轮，这个盒子就会变得更安全、更公平、更可靠。
然而，这篇论文指出，尽管我们在描述齿轮方面做得非常出色，但在利用 这些描述来真正修复盒子或使其运行得更好方面，我们却做得远远不够。这就像拥有一份详尽的城市管道地图，却从未真正修复过任何泄漏。
以下是该论文的主要论点，辅以简单的类比进行拆解：
核心问题：“理解”并不足够
作者表示，该领域陷入了停滞。我们拥有大量解释人工智能如何运作的新方法，但这些解释很少能带来现实世界的改变。
类比 ：想象一位机械师，他能写出一份 50 页的报告，精确解释汽车发动机为何发出怪声。但这份报告从未告诉驾驶员该做什么 来消除噪音。驾驶员得到的是一个有趣的故事，却仍开着一辆坏掉的车。论文主张 ：我们需要停止仅仅“解释”，转而开始“行动”。论文将这一概念称为可行动的可解释性 。
什么是“可行动的可解释性”？
该论文将其定义为一种不仅能告诉你某事为何 发生，还能告诉你该如何应对 的解释。
类比 ：可行动的解释不会说“发动机噪音是因为第 3 缸的螺栓松动”，而是会说“拧紧第 3 缸的螺栓，以下是你所需的精确扳手尺寸”。两个关键要素 ：
具体性 ：建议必须具体。不能是“也许检查一下发动机”这样模糊的建议，而必须是“拧紧这颗特定的螺丝”。验证 ：你必须证明它有效。不能仅凭猜测；你必须尝试修复，并证明噪音确实消失了。
为什么这尚未发生？
该论文指出了三个主要障碍：
错误的激励 ：在学术界，研究人员因发明观察 发动机的新方法而闻名，而非因实际修复它而获得认可。修复工作常被视为“仅仅是工程”而非“科学”，因此无人因此获得赞誉。玩具问题 ：许多研究人员在微小、简单的模型（如玩具车）上测试他们的想法，而不是在现实世界中使用的庞大、复杂的引擎上测试。在玩具车上有效的方法，可能无法在半挂卡车上奏效。难以使用 ：修复这些模型的工具往往过于复杂，只有构建它们的人才能使用。如果医生或政策制定者无法使用这些工具，那么对他们而言就毫无用处。
我们究竟能在哪里产生实际影响？
作者确定了五个具体领域，在这些领域中，深入黑盒内部可以带来真正的修复：
解决规模无法解决的问题 ：让 AI 变得更大并不能阻止它撒谎（产生幻觉）或带有偏见。理解撒谎的内部 原因，使我们能够像外科手术一样精准地移除它，而不是仅仅指望更大的模型能自行解决。对齐（确保它想要我们想要的） ：我们需要知道 AI 是否暗中试图欺骗我们。仅通过观察其言论无法识破骗子；你必须查看其内部思维，以确认其是否在进行欺骗。手术式修复（无需重建） ：与其抛弃损坏的模型并重新训练一个新的（这既昂贵又缓慢），我们可以利用可解释性找到导致错误的具体“神经元”，并仅调整该部分。这就像更换一个坏掉的火花塞，而不是购买一辆新车。更好的设计 ：与其猜测新 AI 应包含哪些部分，我们可以观察当前 AI 的运作方式，看看什么真正有效。这将 AI 设计从“试错”转变为“基于原则的工程”。将“机器人语言”转化为“人类语言” ：AI 可能会说“第 7 层和第 9 层以奇怪的方式相互作用”。人类需要听到的是“系统正聚焦于 X 光片的错误部分”。我们需要将技术信号转化为人类实际可用的概念。
“可行动性检查清单”
论文最后为研究人员提供了一份简单的指南。如果你正在研究 AI，请问问自己：
目标是什么？ （你是在尝试修复特定的漏洞吗？）受众是谁？ （这是给开发者、医生还是政治家看的？）行动是什么？ （你的洞察能促成什么具体决策？）你测试了吗？ （你是否实际尝试了修复并观察其是否有效？）它在现实世界中有效吗？ （你是否在庞大、杂乱的数据上进行了测试，而不仅仅是玩具示例？）它比简单的方法更好吗？ （你的复杂方法是否真的比仅仅礼貌地询问 AI 或给它一个简单的示例更有效？）
结论
这篇论文并非主张我们应停止进行“好奇”的研究。它强调的是，为了让该领域真正产生意义，我们需要将行动 视为黄金标准。我们不应仅仅满足于齿轮的地图；我们需要成为那些转动扳手的人。
技术摘要：可解释性应具备可操作性
问题陈述
尽管深度神经网络的可解释性研究迅速发展，但该领域正面临日益增长的担忧，即其见解尚未转化为实际、现实世界的影响。当前的工作常因缺乏实用性而受到批评，无法为模型修改、训练实践、部署决策或政策制定提供指导。本文认为，核心缺失的要素并非缺乏新方法，而是缺乏严格的评估标准 。具体而言，该领域缺乏一个共享框架，以从实际、决策导向的角度确定可解释性研究何时取得成功。核心问题在于，可解释性往往仅针对“理解”本身进行评估，而非针对这些理解所促成的具体行动和干预措施进行评估。
方法论与框架
这篇立场论文提出将评估范式转向可操作的可解释性 （Actionable Interpretability）。作者并未提出新的算法方法，而是提出了一个概念框架和一套评估标准，旨在弥合理论见解与实际效用之间的差距。
可操作的可解释性定义
本文将面向可解释性的工作定义为可操作的 ，如果它能产生关于 AI 模型的见解，从而为针对非可解释性目标 的行动提供信息或指导。
见解 ：关于模型表征、内部机制或行为解释的发现。行动 ：人类（开发者、从业者、政策制定者）针对这些见解所做出的决策或干预，这些决策或干预若没有这些见解就不会被采取，并会带来具体的改进（例如，提升性能、安全性或信任度）。
可操作性的维度
作者沿两个连续维度刻画可操作性：
具体性 ：所阐述行动的精确度。范围从模糊的建议（低具体性）到包含实施细节的精确规范（高具体性）。验证 ：行动效用的实证支持。范围从未经测试的假设（低验证）到系统性的评估，即拥有超越可解释性研究本身的有意义结果的定量或定性证据（高验证）。
可操作性清单
为了使该框架具有可操作性，作者为研究人员提出了一份六步清单（在论文图 1 中可视化）：
明确目标 ：确定可解释性问题旨在解决的具体问题。识别受众 ：针对特定利益相关者（开发者、从业者、政策制定者）定制见解。提出具体行动 ：阐述由见解促成的具体决策或干预措施。实证验证 ：实施所提出的行动并展示其效果。在现实场景中评估 ：将方法应用于大规模模型和非合成数据集。使用可操作的指标 ：基于贡献是否超越标准基线（例如，提示工程、微调）、是否在不同场景中泛化、是否产生针对性效果而不损害其他能力、以及是否为目标受众提供有用的解释，来评估成功与否。
主要贡献
1. 障碍诊断
本文指出了阻碍当前可解释性研究实现现实世界影响的三大主要障碍：
激励错位 ：发表标准优先考虑方法的新颖性，而非实际应用。实际演示常被斥为“仅仅是工程”，且缺乏像标准机器学习中基准提升那样的强制机制来证明效用。方法局限 ：研究往往缺乏可操作的见解（未能阐明发现如何激发行动），依赖于过度简化的设置（例如，单 token 预测与多 token 生成），且缺乏与提示工程或微调等标准基线的充分对比分析。部署挑战 ：高技术复杂性以及对开放权重访问的要求（这将排除专有前沿模型），阻碍了研究社区之外的从业者的采用。
2. 识别五个具有独特优势的领域
作者确定了五个具体领域，在这些领域中，可解释性提供了超越扩展规模或黑盒测试的独特优势：
规模无法解决的问题 ：通过识别根本原因，解决随规模扩大而持续存在或恶化的根本性故障模式（如幻觉、偏见、对抗性脆弱性）。对齐 ：验证模型优化目标是否与人类意图一致，仅靠黑盒测试无法完全确立这一点。外科手术式干预 ：实现有针对性的修改（例如，模型编辑、运行时干预），以修复特定行为，而无需昂贵的重新训练。架构设计 ：通过将特定的设计选择与行为效应联系起来，将模型设计从试错法转变为原则性工程。转化为有意义的概念 ：弥合技术内部信号与领域相关的高层人类概念（例如，放射科医生的临床特征）之间的差距。
3. 可操作性的评估标准
本文针对三类行动提出了不同的评估指标：
修改模型输出的行动 ：必须展示相对于标准基线的比较效用 （例如，使用 SAE 进行引导是否优于 LoRA？）、机制忠实度 （对识别出的组件进行干预会产生预期的变化）、跨种子和架构的泛化性 ，以及特异性 （针对性效果而不损害无关能力）。关于部署和使用的行动 ：必须展示任务增强 （提高人类决策的速度或准确性）、可理解性 （与用户概念框架一致）以及可靠性 （在不同随机种子和扰动下的稳定性）。塑造未来实践的行动 ：必须使可行的人工智能治理成为可能，例如支持安全审计、可解释的代理模型，或验证危险机制的缺失，从而有效地降低监控成本，优于暂停部署等生硬手段。
结果与主张
作为一篇立场论文，这项工作并未提出新的实验结果或新颖的基准。相反，其“结果”是对现有文献的综合以及对差距的识别。
差距的证据 ：本文引用了 Mosbach 等人（2024）的研究，表明虽然可解释性论文被引用，但其影响主要是概念性的，很少有引用归功于训练、架构或评估的改变。潜力的证据 ：本文引用了可操作可解释性的成功案例，例如利用 MLP 键值视图的模型编辑方法（Meng 等人，2022）、基于电路的分析（Wang 等人，2023），以及使用概念向量将 AlphaZero 的国际象棋概念转移给人类玩家（Schut 等人，2025）。必要性的主张 ：作者认为，将可操作性确立为核心目标并不会贬低探索性研究，而是会为将发现扎根于现实提供更高的标准，确保见解反映真实的模型行为而非人为产物。
意义
本文的意义在于呼吁重新定义可解释性领域的成功标准。作者认为，为了使可解释性成熟并实现可衡量的现实世界影响，社区必须超越“为理解而理解”，并明确追踪这些见解能让我们做什么 。通过将可操作性采纳为核心评估标准，该领域可以：
通过关注可证明的成果来加速进展。
提供证据表明见解扎根于现实，而非仅仅是方法学的人为产物。
弥合学术研究与发展者、从业者及政策制定者需求之间的差距。
作者总结道，虽然好奇心驱动的研究仍然有价值，但该领域必须建立共享框架，以从实际角度确定可解释性研究何时取得成功，从而将可解释性从一种诊断工具转变为推动具体 AI 改进的杠杆。
每周获取最佳 machine learning 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。