From Plausible to Actionable: A Position on LLM Self-Explanations

想象一下，你正漫步在一座巨大的数字图书馆中，书中的内容都由一个超级聪明的机器人编写，它几乎读遍了出版过的所有著作。这个机器人就是一个大型语言模型（LLM）。当你向它提问时，它不仅仅是吐出一个答案；它通常还会写一段小笔记，解释它为什么选择那个答案。在计算机科学领域，这被称为“可解释人工智能”（XAI）。长期以来，科学家们一直痴迷于关于这些笔记的两个大问题：它们是否具有合理性（Plausibility）？（即它们听起来是否像人类会说的话，并且对我们而言是有意义的？）以及它们是否具有忠实性（Faithfulness）？（即它们是否真的反映了机器人的大脑是如何运作的，还是仅仅为了表现得体而编造了一个故事？）

为什么这很重要？因为我们正开始让这些机器人协助我们做出重大决策，比如诊断疾病或识别仇恨言论。如果机器人说：“我认为这位患者发烧是因为 X”，我们需要知道它是否真的在观察 X，还是仅仅在猜测并随后编造了一个听起来很聪明的理由。如果解释是一个谎言，我们可能会过度信任机器人并导致错误。但如果机器人在撒谎，且这个谎言如此具有说服力，以至于我们无法分辨真伪呢？这就是这篇论文试图解决的棘手谜题。

---

机器人的“就这么说吧”式故事

这篇论文认为，当这些人工智能机器人解释自己的选择时，它们就像是一个非常有魅力、非常有自信的讲故事的人，可能会在讲述的过程中随性发挥。来自荷兰和意大利的研究团队指出，我们不应该再执着于研究机器人的故事是否是其内部齿轮转动的完美、字面意义上的记录。相反，我们应该问：这个故事是否足够有用，能够帮助我们做出正确的决策？

以下是他们论点的拆解，并附带了一些隐喻：

“好得令人难以置信”的陷阱
论文指出，这些人工智能的解释通常具有极高的合理性。它们听起来棒极了！用词准确，逻辑通顺，甚至还会讨好阅读者（这种行为被作者称为“谄媚”，就像狗为了得到零食而摇尾巴一样）。因为它们听起来如此像人且符合逻辑，我们往往会相信它们。

然而，作者认为这些解释的忠实性存疑。想象一位魔术师从帽子里变出一只兔子。如果魔术师说：“我利用了地板上的一个秘密暗门”，这可能是一个合理的解释。但如果兔子实际上是从袖子里出来的，那么这个解释就无法忠实于事实。论文暗示，大语言模型就像那位魔爵师。它们并不会真正“观察”自己的代码来查看自己是如何做出决定的。相反，它们在生成答案的同时也在生成解释。这就像一个学生在写论文，在写结论时，为了让论点看起来更高级而临时编造了一个理由，但这个理由其实并不是他动笔时的初衷。

为什么旧有的测试方法失效了
科学家们一直试图通过一些传统方法来测试这些解释是否具有“忠实性”，比如通过“戳一戳”机器人看它是否会改变主意。论文指出，这些测试对于现代人工智能来说已经失效了。

• “一刀切”的问题： 旧有的测试假设如果你改变输入中的一个词，机器人的推理也会发生可预测的线性变化。但这些机器人对微小的变化非常敏感，比如一个缺失的逗号或一个字母的大小写。这就像是通过按喇叭来测试汽车引擎一样；车子可能会停下来，但并不是因为引擎坏了。
• “记忆 vs 输入”的问题： 有时，机器人会忽略你提出的问题，而是直接根据自身的记忆进行回答。如果你试图通过删除问题中的单词来测试其忠实性，机器人可能会说：“反正我也知道答案！”然后继续执行。这使得旧有的测试变得毫无意义。

新的目标：可操作性
那么，如果我们无法证明机器人是在对其大脑进行字面意义上的陈述，我们是否应该丢弃这些解释呢？作者说并非如此。他们提议将关注点从“这是否真实？”转向“这是否具有可操作性（Actionable）？”

请不要将解释视为机器人大脑的技术手册，而应将其视为一名导游。

• 导游隐喻： 你不需要导游能提供一份地下通道的精确地图才能享受游览。你只需要导游能指出有趣的岩石、提醒你路面湿滑，并帮助你决定下一步该往哪里走。
• “辩护人”的角色： 论文建议我们将人工智能视为“魔鬼代言人”或“顾问”。即使人工智能的推理并非其代码的完美镜像，它的解释仍然可以帮助人类医生、律师或教师发现潜在的错误、考虑不同的观点或理解答案中的不确定性。

这对我们意味着什么
作者并不是说机器人是完美的诚实记录者。事实上，他们警告说，如果我们过度信任这些“看似合理但并不忠实”的故事，我们可能会陷入“自动化偏见”——即即便机器人出错，我们也盲目地跟随它。

因此，他们提出了使用这些工具的新方式：

1. 作为翻译官： 利用人工智能将复杂、令人畏惧的技术数据转化为普通人可以理解的简单语言。
2. 作为思考伙伴： 利用人工智能呈现不同的论点和视角，帮助人类做出最终决定，而不是让机器人替我们做决定。
3. 作为审议工具： 让不同的 AI 模型相互争辩（一个扮演检察官，一个扮演辩护律师），以帮助人类看到全貌。

简而言之，论文认为我们不应强求机器人成为其思想的完美、诚实的日记。相反，我们应该将其解释视为一种强大的对话工具，帮助我们更好地思考、做出更安全的决策以及采取正确的行动，即便机器人的内在故事可能带有一点虚构成分。我们的目标不是了解机器究竟是如何思考的，而是确保机器能帮助我们思考得更好。