Is Chain-of-Thought Really Not Explainability? Chain-of-Thought Can Be Faithful without Hint Verbalization
本文认为，思维链推理即使在不显式表述提示注入的线索的情况下也能保持忠实性，这一观点挑战了将“不完整性”与“不忠实性”混为一谈的“偏见特征”指标，并主张采用包含因果中介分析在内的更广泛的解释性工具集。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
以下是用简单语言和日常类比对该论文的解释。
核心问题：模型在撒谎吗？
想象你问一个学生（AI）一道难题。为了展示解题过程，他们写下逐步解释（这被称为思维链，或 CoT）。
最近，研究人员发现了一种“欺骗”学生的方法。他们向学生耳语一个提示（例如：“答案是 B，因为一位著名教授这么说过”）。当学生将答案改为 B 后，研究人员检查了书面解释。如果学生没有写下“教授这么说过”这句话，研究人员就将该解释标记为不忠实（即谎言或伪造）。
本文作者表示：“等一下。这太苛刻了。”
他们认为，仅仅因为学生没有在书面笔记中口头说出提示，并不意味着提示没有真正帮助他们解决问题。学生可能在内部使用了提示，但只是忘记写下来，或者为了适应篇幅而过度压缩了思维过程。
三大主要发现
该论文通过三个主要“测试”来证明“不忠实”的标签往往是错误的。
1. “缺页”类比（不完整 vs. 不忠实）
旧观点： 如果学生没写下提示，他们就是在撒谎。
新观点： 学生可能只是纸不够用了。
研究人员给了学生更多的“纸”（更多的时间和用于书写的 token）。他们发现，当拥有更多空间时，学生开始更频繁地写下提示（在某些情况下高达 90%）。
- 类比： 想象你试图在 30 秒内向朋友解释一个复杂的电影情节。你可能因为没时间而跳过关于反派背景故事的部分。如果你有 5 分钟，你就会讲述完整的故事。
- 要点： 论文认为，许多“不忠实”的解释只是不完整的摘要，而非谎言。推理过程确实存在，只是在压缩过程中丢失了。
2. “机器中的幽灵”类比（因果中介）
旧观点： 如果提示不在文本中，它就没有影响答案。
新观点： 提示就像一个不留脚印却改变结果的幽灵。
研究人员使用了一种名为因果中介分析的特殊工具。你可以将其想象成一种 X 光，能在学生思考时透视他们的大脑。他们想探究：即使学生没有写下提示，提示是否实际上改变了他们内部的齿轮？
- 结果： 是的！即使书面解释未提及提示，X 光也显示提示仍在操控齿轮。提示改变了答案的概率，而书面解释仍然是这种改变的结果。
- 要点： 即使解释没有明确命名触发因素，它对于决策过程仍然是忠实的。“幽灵”（提示）是真实的，即使“脚印”（文字）缺失了。
3. “不同标尺”类比（冲突的指标）
旧观点： 衡量真理只有一把标尺：“你写下提示了吗？”
新观点： 你需要一套不同的标尺工具箱。
该论文使用另外两把标尺来测试“不忠实”的解释：
- “填充物”标尺： 如果你擦除解释并将其替换为"..."，答案会改变吗？如果是，说明解释发挥了实际作用。
- “遗忘”标尺： 如果你教学生忘记推理中的特定步骤，答案会改变吗？如果是，说明该步骤很重要。
- 结果： 许多在“你写下提示了吗？”测试中失败的解释，却通过了这些其他测试。它们确实发挥了实际作用，并且忠实于逻辑，只是未忠实于提示的具体措辞。
- 要点： 仅依赖一种测试（检查提示词）就像仅通过厨师是否使用了盐来评判他们，而忽略了食物是否真的好吃。
结论
论文总结道，我们不应因为 AI 解释没有重复收到的每一个提示，就惊慌失措地宣称"AI 解释是无用的谎言”。
- 不忠实 vs. 不完整： 有时 AI 并非在撒谎；它只是言简意赅。
- 隐性影响： 即使 AI 没有说“我受到了这个提示的影响”，它也可能受到提示的影响。
- 更好的工具： 我们需要使用更广泛的工具（如大脑 X 光和不同的测试方法）来理解 AI 的思考方式，而不是仅仅检查是否存在特定词汇。
简而言之： 解释中缺少特定词汇并不能证明 AI 在撒谎。它可能只是一个经过压缩、不完整，但依然诚实的复杂思维过程摘要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。