How Chain-of-Thought Works? Tracing Information Flow from Decoding, Projection, and Activation
本文通过追踪解码、投影和激活阶段的信息流，探究了思维链提示的内部机制，揭示其作为一种由答案模板引导的解码空间剪枝器发挥作用，并根据任务是开放域还是封闭域以不同方式调节神经元的参与。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位才华横溢但有时思维散漫的学生（即 AI 模型）。当你问他们一个难题时，他们可能会直接跳到答案并答错，因为缺乏深思熟虑。但如果你要求他们“展示解题过程”（即思维链，CoT），他们就会突然变得聪明许多。
这篇论文就像一部侦探故事，作者们窥探这位学生的“大脑”，以观察“展示解题过程”这一技巧究竟如何改变了他们的思考过程。他们不仅关注最终成绩，还追踪了从阅读问题到写下答案整个过程中的信息流动。
以下是他们的发现，通过简单的类比进行解释：
1. “模板”效应（解码）
类比：想象学生正在尝试写一个故事。如果没有指南，他们可能会偏离主题。但如果你给他们一个具体的大纲（即模板），他们就会紧扣情节。
发现：作者发现，CoT 之所以有效，部分原因是模型开始模仿提示的结构。它未必是在学习深层逻辑，而是在学习遵循某种模式。
- 如果提示说“首先做这个，然后做那个”，模型就会复制这些连接词（如“因此”、“然后”、“所以”）。
- 关键洞察：模型的回答越紧密地遵循这种“模板结构”，其得分就越高。这就像模型利用模板作为护栏，防止其思维坠入悬崖。
2. “手电筒”效应（投影）
类比：想象模型站在一个黑暗的房间里，房间里布满了成千上万扇门（即可能的词语）。
- 没有 CoT：模型打开一盏昏暗且宽泛的手电筒。它看到许多门都是可能的选项，因此不确定该选哪一扇。这就是“高不确定性”。
- 有 CoT：模型打开一束明亮且聚焦的激光笔。CoT 的步骤就像向导，收窄光束，使得只有少数几扇特定的门看起来是敞开的。
发现：当模型使用 CoT 时，它会变得更加自信。正确下一个词的“概率”变得更高，而“噪声”（对其他词的困惑）显著降低。模型不再那么频繁地猜测，而是坚定地选择一条路径。
3. “电灯开关”效应（激活）
类比：将模型的“大脑”想象成一座拥有数百万个电灯开关（即神经元）的巨大城市。
- 开放域任务（“探索”模式）：对于开放式问题（例如“解决这个数学题，答案可能是任意的”），CoT 充当修剪者。它关闭许多灯光，将城市的能量集中在少数几条特定的街道上。这让大脑更加高效和专注。
- 封闭域任务（“搜索”模式）：对于答案固定集合的问题（例如多项选择题），CoT 充当放大器。它实际上会点亮更多的灯。这似乎让模型更加努力地比较所有可能的选项（A、B、C、D、E），以找到正确答案。
全局视角
该论文得出结论：思维链并非魔法。它通过做三件具体的事情发挥作用：
- 收窄路径：它迫使模型遵循结构化的模板，防止其迷失方向。
- 提升信心：它减少了模型的困惑，使其对下一步更加确定。
- 调整大脑：它改变了点亮的“神经元”（脑细胞）数量，具体取决于任务是开放式的（减少聚焦）还是多项选择题（增加聚焦）。
简而言之，CoT 就像是给 AI 提供了一张地图和一支手电筒。它未必在人类意义上让 AI 变得“更聪明”，但它组织了其内部机制，使其能够更有效地解决问题。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。