Verifier-Grounded Interference Search: Exact State Merging, Learned Inhibition, and Parallel Execution for Language-Model Reasoning
本文提出并评估了一种基于验证器引导的干扰搜索框架，该框架利用精确状态合并、学习抑制和并行执行，显著提高了语言模型的推理效率和解决率，这一点已通过在 Countdown 和 MBPP 基准测试上的实证结果得到证实。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当计算机试图解决复杂问题时，它经常会探索许多不同的路径，就像旅行者试图在广阔且分支众多的森林中寻找出路一样。在人工智能领域，这些“路径”是计算机为得出答案而采取的一系列步骤。一个常见的挑战在于，当两条不同的路径通向森林中完全相同的地点时，如果计算机没有意识到自己已经到达了一个熟悉的地点，它可能会浪费时间进行重复的探索，反复检查同样的死胡同，并进行同样的计算。这种冗余是那些需要进行复杂推理的任务（如解决数学谜题或编写计算机代码）中的主要瓶颈。研究人员的目标是构建能够识别何时返回已知状态、合并这些重复路径，并在不丢失重建最终解能力的前提下高效前进的系统。
一组研究人员开发了一种名为“干扰搜索”（Interference Search）的新框架来解决这个问题。他们的方法将推理视为一个动态的地图，而非单一的直线思维，其中不同的路线可以在到达相同目的地时进行合并。该系统依赖于四种不同的工具来管理这一过程。首先，它使用“精确状态合并”（exact state merging），这就像一位精准的制图师：如果两段不同的旅程抵达了一个未来可能性完全相同的地点，系统就会将它们合并为一个条目，从而避免计算机进行重复劳动。其次，它采用了“认证排除”（certified exclusion），这是一种利用验证器来证明地图中某些区域是死胡同的方法，从而允许系统永久地忽略这些区域。第三，它使用了“学习抑制”（learned inhibition），这是一种较温和的工具，通过从过去的错误中学习，降低类似路径的优先级，但不保证这些路径完全没用。最后，它通过“执行调度”（execution scheduling）来决定不同任务的执行顺序，以保持计算机平稳运行而不产生不必要的等待。
研究人员在一种经典的算术谜题——“倒数”（Countdown）上测试了这些想法。在这个游戏中，目标是利用一组数字并通过基本数学运算达到一个目标值。在一项涉及 200 个包含五个数字的谜题的实验中，他们发现使用精确状态合并显著提高了系统的成功率。在没有这种合并的情况下，系统的成功率仅为 16.5%；而使用合并后，成功率跃升至 27.0%。数据显示，在两种版本产生分歧的 23 个案例中，有 22 个案例是带有合并功能的版本找到了解，而另一个版本则未能找到。这表明，识别两条不同的推理线路何时汇聚到相同的数学状态，可以通过避免无效劳动来让系统解决更多问题。然而，研究人员也发现，这种益处并非普适的，它高度依赖于可用的计算资源。当他们在更庞大的 1,000 个谜题集上进行测试，并对计算机能做的工作量施加非常严格的限制时，传统的搜索方法实际上优于新系统。在这些严苛的约束下，新系统解决的问题比例为 0%，而传统的最佳优先搜索（best-first search）则达到了 决策 72.3%。这是因为新系统花费了过多时间来组织其地图并维护路径之间的连接，导致其剩余的能量不足以去探索深层的解。研究结论指出，虽然合并状态功能强大，但只有当避免重复工作的节省程度大于管理地图本身的成本时，它才是有效的。
团队还探讨了该系统如何处理代码生成任务，即计算机必须编写一段能够通过一系列测试的程序。在这里，重点转向了系统如何调度其工作。通过允许搜索的不同部分同时运行，并取消那些一旦找到解决方案就不再需要的任务，系统缩短了完成任务所需的时间。在 64 项编程挑战的测试中，新的调度方法解决的问题数量与标准方法相同，但完成速度更快，将平均完成时间从 2.265 秒缩减到了 2.064 秒。这种改进并非源于更好地解决了问题，而是源于阻止了计算机等待那些已被证明不再必要的任务。
研究的另一部分调查了系统是否能学会同时在内存中持有多个不同的想法，类似于人类在调查谜团时如何在脑中保留多种假设。研究人员训练系统在内存中维护一组“槽位”（slots），希望每个槽位都代表一个关于如何解决问题的不同理论。虽然系统确实学会了创建更多样化的内部模式，但它无法可靠地将这些模式解码回特定的、可用的想法。系统可以生成多样化的内部状态，但无法一致地将这些状态与不同的正确解联系起来。这表明，仅仅创造更多的内部多样性并不足以保证计算机确实是在追踪独立的推理线路。
研究还检查了系统如何处理失败。当一个提议的解被证明是错误的时，系统有时可以利用这种失败来排除一整块可能性区域，而不仅仅是单个错误的答案。在涉及二进制决策的测试中，系统成功利用了这些“经过认证的”失败来消除大组的错误选项，解决了它所接收的所有 90 个任务。然而，这之所以奏效，是因为该任务的性质允许进行逻辑证明，从而判定一整组答案是无效的。在更开放的任务（如编写代码）中，单次失败通常只能证明某一次尝试是错误的，而不能证明一整类想法都是糟糕的。
最终，这项研究为这些先进推理技术何时以及如何发挥作用提供了清晰的图景。精确状态合并是提高具有清晰、可重复状态的任务（如算术）性能的强大工具，但需要仔细管理以避免拖慢系统速度。学习优先化和内存追踪显示出了潜力，但尚未达到可以取代传统方法的可靠水平。最重要的发现是，并不存在一种单一的“最佳”推理方式。系统的有效性高度取决于具体的任务、可用的计算资源，以及区分“已证实的死胡同”与“仅仅是不太可能的路径”的能力。通过将这些不同的机制分离并分别测试，研究人员表明，构建更智能的推理系统需要一种模块化的方法，即只有在满足其特定成功条件的条件下才应用每种工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。