Adaptive Inference-Time Reasoning for Large Language Models via Cross-Task Sparse Policy Transfer
本文批判性地评估了一种使用稀疏引导查询的自适应推理时推理方法，发现尽管该方法显著减少了全标记注入并展现出区分信号的潜力，但最终未能比冻结的基座模型在生成准确性或校准方面提供具有统计学意义的改进。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
大语言模型是强大的工具，能够编写故事、求解方程并调试代码，但它们并不进行线性思考。它们逐词生成文本，有时会走错路，陷入混乱或荒谬之中。为了解决这个问题，研究人员尝试教导这些模型停下来检查自己的工作，这个过程通常被称为“推理”。然而，要求模型不断自我检查是昂贵的；它会减慢计算机的速度并消耗大量能量。科学家们面临的一个重大问题是，我们能否更聪明地决定何时进行检查。与其进行持续且笨重的审查，我们是否可以教导模型识别出它即将犯错的精确时刻，并仅在此时进行干预？这种被称为“稀疏引导”（sparse guidance）的方法承诺能以极低的成本实现同样的智能，但目前尚不清楚这种节省是真实的，还是模型仅仅错过了它需要修复的关键错误。
来自东北大学、卡内基梅隆大学和约翰斯·霍普金斯大学的一个研究小组决定通过一次严谨、务实的审计来测试这一想法。他们使用了一个规模较小但能力出众的语言模型，并为其配备了一个专门针对数学和编程问题进行过训练的“引导”模型。目标是观察这个引导模型是否能在必要时向主模型低声耳语纠正建议，而不是对每一个单词都大声叫嚷。为了确保结果可靠，他们不仅观察最终答案是否正确，还追踪了计算机采取的每一个步骤，精确测量了节省了多少工作量，以及引导模型究竟是在提供帮助还是在干扰。他们将这些模型视为受控实验，使用一组固定的问题和严格的核算方法来统计每次尝试所需的数字投入。
研究人员发现，引导模型确实掌握了一些主模型所不知道的信息。当他们将引导模型的建议与这些建议经过打乱后的无意义版本进行比较时，真实的引导模型提供了一个清晰的信号，有助于模型选择更好的词汇。然而，知道信号存在并不等同于知道如何有效地利用它。团队发现，虽然引导模型非常擅长识别模型何时可能出现局部错误，但它在预测修复该错误是否真的能改善最终答案方面表现得很糟糕。在许多情况下，引导模型介入以纠正一个小错误，却发现这种纠正对最终结果并不重要，或者更糟的是，这种干预破坏了一条原本可能正确的路径。
当团队在一组包含128个新问题的试点组上测试这个自适应系统时，结果令人清醒。该系统成功减少了调用引导模型的次数，降幅达83.6%，这是一个巨大的活动降幅。然而，实际节省的计算工作量要小得多，仅为25.5%左右。这是因为即使在没有调用引导模型时，计算机仍然需要处理提示词的开头以及通往潜在错误之前的单词。该系统节省了引导模型做额外工作的开销，但并没有节省主模型自身的工作量。最终，自适应方法在37.5%的情况下产生了正确答案，而没有任何引导的标准模型则在38.3%的情况下产生正确答案。两者的差异如此之小，完全可能是由随机偶然造成的，而非真正的改进。
研究结论指出，虽然智能、选择性引导的想法是合理的，但目前的技术尚未能兑现其效率承诺。引导模型可以识别模型何时感到困惑，但它无法可靠地判断这种困惑是否重要到需要停下来去修复。研究人员发现，该系统经常在那些不会改变结果的纠正上浪费有限的尝试机会，同时也错过了那些修复至关重要的罕见时刻。他们还注意到，该系统并未经过良好的校准：它经常误以为自己在提供帮助，实则是在造成干扰，反之亦然。这项工作为该方法目前所处的位置提供了一份详细的地图：这并非概念的失败，而是证明了衡量和应用这些纠正的工具尚不够精确，无法超越基准线。未来的道路需要寻找判断哪些错误值得修复的更好方法，而不仅仅是试图修复尽可能多的错误。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。