Explainability and Interpretability Methods for Large Language Models: An Exploratory Systematic Mapping Study
这项系统性映射研究分析了 1,252 篇关于大语言模型可解释性方法的论文，揭示了大多数技术都需要无法获取的模型内部数据，且关于人类效用和实际部署的证据仍然极度匮乏。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在过去的几年里，一种新型的计算机程序重塑了我们与技术互动的方式。这些被称为“大语言模型”的系统可以写故事、解数学题，并进行感觉非常像人类的对话。它们通过逐层预测句子中的下一个词来工作，直到形成一个完整的思想。但由于这些程序是基于数十亿个可调节的设置构建的，它们的内部运作过程往往是一个谜。当这样一个系统给出一个答案时，很难知道这个答案是源于对事实的深度理解，还是仅仅基于它之前见过的模式进行的一次巧妙猜测。这种不确定性产生了一个迫切的需求——可解释性：即能够观察机器内部并理解它为何做出特定选择的能力。研究人员正试图构建能够将决策追溯到其源头的工具，从而揭示导致最终输出的逻辑、数据或计算机大脑的特定部分。
希腊皮雷埃夫斯大学的一个研究小组在澄清这一领域方面迈出了巨大的一步。他们对 2 到 2026 年 8 月期间发表的近 8,000 篇科学报告进行了全面的调查，并将其缩小到 1,252 项专门试图解释这些大语言模型如何工作的研究。他们的目标不是发明一种新方法，而是绘制现有方法的完整图景。他们想看看科学家们正在构建什么样的解释，他们被允许观察计算机的哪些部分，以及这些解释究竟是真正帮助人们理解机器，还是仅仅看起来很有说服力。为了管理这项庞大的任务，研究人员使用了一个设计精巧的人工智能系统来阅读并分类每一篇论文，并由人类专家进行检查以确保准确性。
他们绘制的这张图谱中最引人注目的发现是，科学家们正在构建的工具与当今这些模型的使用现状之间存在着根本性的错位。他们发现的大多数方法——接近 70%——都需要对计算机大脑进行深度的内部访问。要使用这些工具，研究人员需要看到流经系统的原始数字，甚至需要更改模型的设置。然而，人们日常使用的最强大的语言模型都是作为封闭服务由公司托管的。用户可以发送消息并获得回复，但无法看到内部数字或更改设置。这意味着，解释这些模型最复杂的方法，对于人们最需要解释的那些系统来说，实际上是毫无用处的。只有约 23% 的研究描述了可以在有限的公开访问权限下工作的方法，例如仅读取文本输出或下一个词的概率得分。
研究人员还观察了这些解释究竟证明了什么。他们发现，大多数研究都侧重于“忠实度”（faithfulness），这是询问解释是否真正符合计算机内部逻辑的一种技术性说法。大约 70% 的论文试图证明它们的方法正确识别了决策的原因。然而，研究发现，极少有研究人员测试这些解释是否对人类真正有用。只有约 3% 的研究涉及让真实的人类测试这些解释，以观察它们是否能帮助人们做出更好的决策、理解系统或信任输出。这就像工程师们花费多年时间完善了一张城市地下隧道的地图，却从未问过通勤者这张地图是否能帮助他们找到方向。
在研究人员测试其想法的方式上，也出现了另一个显著的差距。虽然许多研究声称其方法具有鲁棒性，但其中只有不到三分之一使用了严格的对照组来证明其结果并非仅仅是随机偶然的结果。此外，与现实世界规则和法规的联系几乎不存在。尽管关于人工智能透明度的法律被频繁提及，但实际上只有极少数研究将他们的技术方法与具体的法律要求联系起来。研究人员指出，虽然该领域正在迅速发展（包含的研究中近一半是在过去一年内发表的），但它仍然过度集中在任何人都可以下载的开源模型上，而非占据市场主导地位的封闭式专有系统。
该研究得出结论，解释大语言模型的领域正处于一个十字路口。目前可用的工具虽然强大，但往往难以获取，并且优先考虑技术上的正确性而非人类的实用性。研究人员建议，未来的工作必须专注于开发能够适应商业服务所提供的有限访问权限的方法，并致力于在真实的人群中测试这些解释。在此之前，最先进的解释仍将锁在那些拥有机器完全访问权限的研究人员实验室中，让公众面对的是日益强大却也日益难以理解的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。