Novelty-based Tree-of-Thought Search for LLM Reasoning and Planning
本文提出了一种基于新颖性的思维树搜索方法，该方法利用大语言模型的预训练知识来衡量并剪枝冗余推理路径，从而提升语言规划与推理任务的效率并降低令牌成本。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在尝试解决一个极其复杂的谜题，比如在巨大的迷宫中导航，或者思考如何完美地堆叠积木。你有一位超级聪明的助手（人工智能），它具备思考能力，但有一个坏习惯：它很容易感到不知所措，并且会花费大量金钱（以“令牌”为单位，这是人工智能用于思考的货币）去尝试每一个可能的路径，即使是那些明显通向死胡同的路径。
这篇论文介绍了一种新方法，帮助这位人工智能更聪明地思考，而不仅仅是更努力地思考。作者将其称为“基于新颖性的思维树搜索”。
以下是使用简单类比进行的分解说明：
1. 问题所在：“无尽的走廊”
当前的人工智能方法（称为“思维树”）就像一个人在探索迷宫。它们尝试一条路径，撞墙后返回，再尝试另一条。
- 问题： 人工智能经常尝试那些只是它已经尝试过的路径的微小变体。这就像走在走廊里，向左转，撞墙，向右转，然后意识到你回到了五分钟前所在的同一个房间。
- 代价： 由于人工智能不断探索这些死胡同，它消耗了大量的时间和金钱（计算能力）。
2. 解决方案：“新颖性过滤器”
作者从旧式计算机规划（用于机器人导航等任务）中汲取了一个概念，并教会人工智能使用它。他们称之为“新颖性”。
将“新颖性”想象成一个新鲜度探测器。
- 旧方法： 人工智能会问：“我接下来能做什么？”然后尝试所有可能性。
- 新方法： 在人工智能尝试新路径之前，它会自问：“我以前见过类似的情况吗？”
- 如果答案是“是的，这基本上和以前一样”，人工智能会说：“跳过它！”并立即剪掉该分支。
- 如果答案是“不，这是新事物”，人工智能就会继续探索。
3. 他们如何教会人工智能做到这一点
棘手之处在于，人工智能不像旧式计算机那样天生理解“原子”或“变量”。它理解的是语言。
- 研究人员没有给人工智能一个复杂的数学公式。相反，他们给了它一个简单的问题：“这个新状态与我们已经访问过的状态列表不同吗？”
- 人工智能利用其通用知识来回答“是”或“否”。如果它回答“否”（这不是新的），该路径就会被剪除（切断）。
4. 结果：更聪明，而不仅仅是更快
该团队在三种不同类型的挑战上测试了这种方法：
- Blocksworld（积木世界）： 堆叠和移动积木（就像经典电子游戏）。
- 物流： 用卡车和飞机在城市间运送包裹。
- 数学： 解决困难的高中数学问题。
发生了什么？
- 在最佳情况下： 人工智能成为了效率大师。它找到正确解决方案的频率与以前一样，但由于停止在死胡同路径上浪费时间，它使用的金钱（令牌）最多减少了 20 倍。
- 局限性： 该系统有点脆弱。它就像一辆拥有非常敏感引擎的汽车。如果你完美地调整了指令（提示），它就会飞速运行。如果指令稍有偏差，人工智能就会感到困惑，停止工作，或者实际上花费更多的钱，因为它问了太多“这是新的吗？”的问题。
5. 主要启示
这篇论文证明，通过教会人工智能识别何时“老调重弹”，我们可以使人工智能的推理变得更便宜、更快速。
然而，作者诚实地指出了局限性：
- 当人工智能已经擅长特定任务时，效果最好。
- 它高度依赖于你如何提问（即“提示”）。
- 它不能保证每次都提供完美的解决方案，但当它起作用时，对效率来说是一个巨大的胜利。
简而言之： 他们教会了人工智能通过问“我以前见过这个吗？”来停止原地打转。如果答案是肯定的，它就转身离开，从而节省了一大笔钱。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。