All Explanations are Wrong, But Many Are Useful: Exploring the Rashomon Explanation Set with Large Language Models
本文通过引入 Rashomon 解释范式和 RashomonLLM 框架，挑战了传统的准确性-可解释性权衡，该范式和框架利用一组忠实的自然语言解释，在多种现实世界任务中同时提升模型的预测准确性和解释质量。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图教一个超级聪明的机器人如何预测接下来会发生什么——比如，判断一位客户是否会注销银行账户，或者某人是否会点击一次直播。长期以来，专家们一直认为你必须做一个糟糕的选择：要么选择一个极其准确但却是“黑盒”的模型（你无法询问它为什么做出那样的决定），要么选择一个易于理解但预测能力较弱的模型。这就像是在想，你只能拥有美味的蛋糕或者健康的沙拉，但两者不能兼得。
这篇论文说：这个规则是错误的。
作者认为，如果你在教模型学习预测的同时，也教它如何解释自己的思考过程，它实际上会变得更擅长预测。这就像一个学生不仅是死记硬背考试答案，还必须写出其推理步骤；这种解释的过程迫使他们更深入地理解材料，从而取得更高的分数。
“单一真相”的问题
论文首先指出，我们通常尝试解释 AI 决策的方式存在一个重大缺陷。我们经常试图寻找一个解释来阐述模型为何做出某个决定（例如，说“年龄是最重要的因素”）。但作者表明，这样做是有风险的。
把它想象成一群侦探试图破解谜案。如果你只听取一名侦探的说法，你可能会得到一个听起来非常符合当前线索的故事，但如果情况发生轻微变化（即“分布偏移”），那名侦探的故事就会崩塌。论文从数学上证明了，没有任何单一的解释能够完美适用于所有可能的情况。 这就像是在赌一个特定的故事，而实际上存在许多同样合理的解释。
“罗生门”解决方案：解释的合唱
与其寻找一个完美的解释，作者建议构建一个解释的集合。他们称之为“罗生门解释集”（Rashomon Explanation Set）。
想象一个合唱团。与其要求一名歌手唱出完美的音符，不如要求整个合唱团一起演唱。就个体而言，每位歌手可能都有轻微的偏差，或者侧重于歌曲的不同部分，但当你将他们结合在一起时，你会得到一段丰富、稳健且准确的和声。论文表明，通过收集许多不同的、忠实的解释并将其结合起来，你得到的结果比任何单一解释都要可靠得多。
他们是如何做到的：“解释-预测-反思”循环
为了构建这个解释合唱团，他们创建了一个名为 RashomonLLM 的系统。它使用了一个大语言模型（LLM）——一种能够使用人类语言的高级 AI——并设置了一个三步走的团队：
- 解释者（The Explainer）： 这个智能体观察数据并编写一个用自然语言描述模式的故事（例如，“如果用户最近观看了很多视频，他们很可能会点击”）。
- 预测者（The Predictor）： 这个智能体获取该故事，并尝试仅基于该故事进行预测。
- 反思者（The Reflector）： 这是神奇的一步。如果预测者犯了错误，反思者会观察错误并说：“嘿，我们写的这个故事在这里错了。让我们重写解释以修复它。”
他们不断运行这个循环。模型会不断重写自己的解释，使其更好地匹配数据的现实情况。论文证明，在特定条件下，这个过程会收敛，这意味着一旦找到了最佳解释集，它就会停止变化。
结果：更好的解释，更好的预测
作者在三个不同的现实场景中测试了该方法：
- 银行流失： 预测银行客户是否会离开。
- 医疗生存： 预测患者在移植后的生存时间。
- 直播： 预测观众是否会点击直播（使用了来自快手超过 1760 万次交互的海量数据集）。
在所有这三个案例中，RashomonLLM 不仅给出了好的解释，而且在预测结果上击败了现有的最佳模型。
- 在银行数据上，它的准确率达到了 0.921，超过了之前最好的 0.902。
- 在流媒体数据上，它达到了 0.771 的准确率，击败了仅达到 0.761 的专业行业模型。
至关重要的是，他们证明了这种准确性的提升直接来自于解释的忠实度（faithfulness）。当他们用一个虚假的、随机的解释替换掉真实的解释时，性能就会下降。这证明了模型之所以变得更聪明，是因为它被强制要求进行诚实的自我解释。
这并不是在宣称什么
论文非常谨慎地界定了它没有声称的内容。
- 它并不声称找到了事物的“真实原因”（比如证明特定的年龄导致了某人离开）。它只是解释了模型所看到的模式。
- 它并不认为单一解释是毫无用处的。它认为单一解释是脆弱的，如果世界发生变化可能会失效，但一个解释的集合则是强大的。
- 它并不暗示这适用于所有情况。论文指出，这种方法最适用于结构化数据（如包含数字和类别的表格数据），并且在处理像原始图像或音频这样未经处理的杂乱非结构化数据时，可能需要额外的步骤。
核心结论
这篇论文表明，我们不必在聪明的、神秘的“黑盒”和简单的、愚笨的“白盒”之间做选择。通过使用一组不断批判并重写自身解释的 AI 智能体团队，我们可以构建出既具有高准确性又能诚实表达其思考方式的模型。它将“准确性 vs. 可解释性”的权衡转化为了双赢局面——即教导模型“开口说话”实际上有助于它更好地思考。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。