Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control
本文介绍了 RAD（路由协议解码），这是一种新颖的推理策略，它利用相同标记（tokens）截然不同的混合专家（Mixture-of-Experts）路由模式来选择高质量的推理轨迹，而不依赖于答案字符串解析或投票，从而在传统多数投票失效的代码和智能体任务中实现有效的 pass@1 选择。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大问题：同一个“Token”是否代表同一种“状态”？
想象一下，你正在听一个由 100 位不同歌手组成的合唱团（大型 AI 模型内部的“专家”）。当合唱团唱出“Hello”这个词时，你可能会认为他们都在以完全相同的方式演唱，使用着相同的发声技巧和情感。
这篇论文探讨的问题是： 如果 AI 在两种不同的情况下输出了完全相同的单词（Token），这是否意味着产生该单词的内部“机制”也是相同的？
答案是：不是。
即使 AI 写下了完全相同的单词（比如“Hello”或“The answer is 42”），在不同语境下产生该词的具体“歌手”（专家）组合可能完全不同。一个“Hello”可能是由一群正在思考数学问题的专家唱出的，而另一个“Hello”则是由一群正在思考编程的专家唱出的。单词是一样的，但其内部状态是不同的。
问题所在：我们如何挑选出正确的答案？
通常，当我们希望 AI 解决一个难题（如数学谜题或代码漏洞）时，我们会让它尝试 64 次不同的路径（64 次“rollouts”）。然后，我们会观察最终答案。如果其中 50 个答案说“42”，而 14 个答案说“43”，我们会因为“42”占多数而选择它。
症结在于： 这种“对最终答案进行投票”的方法在处理数学问题（答案是一个明确的数字）时效果很好。但在以下场景中会失效：
- 代码： 两个程序可以实现完全相同的功能，但看起来却截然不同（变量名不同、格式不同）。你不能仅仅通过计算“print”这个词出现了多少次来判断。
- 智能体（Agents）： 有时 AI 正在尝试修复一个软件漏洞。其“答案”是一段代码补丁。这里不存在单一的“正确字符串”来供你投票；每一份尝试生成的代码都是独特的。
我们需要一种方法，能够在不阅读或比较最终答案的情况下，选出最好的那次尝试。
解决方案：RAD（路由一致性解码）
作者们发现了隐藏在 AI 内部的一个秘密信号：路由器（Router）。
把 AI 想象成一座拥有数千名专业工作人员（专家）的巨大办公大楼。在一名工作人员开始执行任何任务之前，路由器（经理）会决定由哪支团队来承担这项工作。
- 发现： 论文发现，当 AI 即将写出答案的开头（例如数学中的
\boxed{符号或代码中的三个反引号```）时，路由器的决策模式揭示了大量关于答案质量的信息。 - 类比： 想象你试图预测一场体育锦标赛中哪支球队会获胜。与其等待最终比分（你现在还看不见），不如观察教练选择了哪些球员来首发比赛。
- 如果教练在 50 场不同的比赛中都选择了同样的“梦之队”阵容，那么这些比赛很可能会产生相同的结果。
- 如果教练挑选的是随机且不匹配的阵容，那么结果将会千差万别。
RAD 的工作原理如下：
- 生成针对某个问题的 64 种不同尝试。
- 完全忽略最终答案。它并不阅读它们。
- 观察在回答开始的那一刻，路由器的阵容（选择了哪些专家）。
- 询问：“这 64 次尝试中，哪些尝试的阵容最为相似？”
- 选择属于那个“最相似阵容组”的尝试。
如果 50 次尝试在开始回答时都使用了相同的“专家团队”，RAD 就假设这组尝试是最有信心的，也最有可能是正确的，即便它甚至不知道答案究竟是什么。
为什么这很重要
- 它在投票失效的地方依然有效： 在处理代码任务时（即无法通过统计匹配单词来判断），RAD 依然有效。它通过观察编写代码的“内部团队”而非代码本身，来挑选出最好的代码补丁。
- 它快速且简单： 它不需要理解代码或数学的含义。它只是观察内部“开关”被拨动的模式。
- 它不是“真理探测器”： 论文对此保持诚实。如果 50 个人都对同一个错误答案达成了一致（即一个“稠密错误盆地”/dense wrong basin），RAD 也会选出那个错误的答案。它挑选的是最受欢迎的路径，而不是必然的真实路径。它是一个“共识信号”，而非“真理验证器”。
一句话总结
论文表明，即使 AI 两次说出了同一个词，其内部的“团队”也可能不同；通过挑选在回答开始阶段拥有最一致“团队阵容”的答案，我们无需阅读最终答案，就能选出最好的结果。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。