🤖 AI

Framework of Thoughts: A Foundation Framework for Dynamic and Optimized Reasoning based on Chains, Trees, and Graphs

本文介绍了思维框架（Framework of Thoughts, FoT），这是一个通用的基础框架，通过内置超参数调优、并行处理和智能缓存等功能，实现了动态、自适应且具成本效益的执行，从而克服了现有推理方案中静态且未优化的局限性。

原作者： Felix Fricke, Simon Malberg, Georg Groh

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Felix Fricke, Simon Malberg, Georg Groh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图解决一个非常困难的谜题，比如一个复杂的数学问题或一个棘手的逻辑谜题。你有一个才华横溢但有点心不在焉的助手（一个人工智能），他可以帮你解决问题，但他需要清晰的指令来指导如何思考。

一段时间以来，研究人员一直在给这个助手提供不同的“思考策略”来帮助他们更好地解决问题。有些策略告诉助手要进行直线式思考（类似于链式思维 Chain）。另一些则告诉他们要像树状结构 Tree一样进行分支探索，在做出选择之前探索许多可能性。还有一些则使用图结构 Graph，让想法可以循环回溯并以复杂的方式相互连接。

这些现有策略的问题在于，它们就像是僵化的、预先绘制好的地图。

它们是静态的： 你必须在开始之前就画好地图。如果谜题发生了变化，或者你遇到了一种全新的问题类型，地图就不再适用，助手就会陷入困境。
它们是低效的： 助手经常重复走相同的路径，从而浪费时间、金钱（因为运行 AI 是需要成本的）。
它们没有经过优化： 没有人真正知道这些地图的“完美”指令或设置是什么，所以助手的表现往往达不到理想状态。

走进“思维框架”（Framework of Thoughts, FoT）

该论文的作者引入了 FoT，它本身并不是一种新的思考策略。相反，你可以把 FoT 想象成一个超级智能、动态的施工现场，在这里你可以构建任何你想要的思考策略。

以下是 FoT 的工作原理，我们使用简单的类比来解释：

1. 形态变化的蓝图（动态图 Dynamic Graphs）

在旧系统中，解决问题的蓝图是画在纸上的，无法更改。如果助手需要重新思考某个步骤，蓝图并不允许这样做。

FoT 的方法： 想象一份由磁性乐高积木组成的蓝图。随着助手的工作进行，他们可以将新积木吸附到板上，或者移除旧积木。解决方案的结构可以在工作进行时不断生长、缩小或改变形状。这使得 AI 能够适应它从未见过的难题。

2. 装配线（并行执行 Parallel Execution）

旧系统会让助手做完一步，等待其完成，然后再做下一步，就像一个人走过一条长长的走廊。

FoT 的方法： FoT 就像一个繁忙的厨房，里面有很多厨师。如果两个步骤互不依赖（比如切洋葱和烧开水），FoT 允许两个不同的“厨师”（或 AI 调用）同时进行这些工作。这让整个过程完成得更快。

3. 记忆库（智能缓存 Intelligent Caching）

有时，助手会被要求两次解决完全相同的微小子问题。在旧系统中，他们会做两次同样的工作，从而浪费时间和金钱。

FoT 的方法： FoT 在墙上贴了一张便利贴。如果助手已经解决了一个特定的谜题部分，FoT 会说：“嘿，我们昨天做过这个！答案就在这张便利贴上。”这节省了大量的金钱和时间。

4. 调节旋钮（自动优化 Automatic Optimization）

大多数思考策略都有需要微调的“旋钮”（设置）和“指令”（提示词）。通常情况下，研究人员只能靠猜测这些设置，这既缓慢又昂贵。

FoT 的方法： FoT 配备了一个内置的自动调优器。它会自动尝试数千种不同的指令和设置组合，以找到最完美的一个。由于使用了上述提到的“记忆库”（缓存）和“装配线”（并行性），FoT 可以进行极其快速且廉价的调优；而在旧系统中，进行这种调优的成本高昂到根本无法尝试。

他们证明了什么？

作者通过在 FoT 内部重建三种流行的思考策略（思维树 Tree of Thoughts、思维图 Graph of Thoughts 和 ProbTree）来测试这个新的“施工现场”。他们将这些旧的、僵化的版本与新的 FoT 版本在以下任务中进行了对比：

解决数学谜题（24点游戏）。
对数字列表进行排序。
合并文档。
回答复杂问题。

结果：

速度： FoT 使 AI 的速度平均提高了 10 倍。在某些情况下，速度提升了 35 倍。
成本： 通过记住过去的答案（缓存），FoT 在某些场景下将运行这些任务的成本降低了近一半。
更聪明： 通过使用自动调优器，FoT 找到了能让 AI 在提高准确性的同时，运行成本也更低的设置。

核心结论

该论文认为，我们不应该仅仅为 AI 绘制静态的地图供其遵循。相反，我们应该构建灵活、动态的系统，使其能够改变自身的结构、进行团队协作（并行）、记住过去的工作（缓存），并不断改进自身的指令（优化）。FoT 就是让这一切成为可能的工具包。

技术摘要：思维框架 (Framework of Thoughts, FoT)

问题陈述

当前的语言大模型（LLM）提示方案——如思维链（CoT）、思维树（ToT）和思维图（GoT）——已显著提升了推理能力。然而，作者指出这些现有方法存在三个关键局限性：

静态且人工化的结构： 大多数方案依赖于人工定义的静态图结构。用户必须预先指定特定任务的提示词和分解逻辑。这种缺乏适应性的现状阻碍了其向动态或未知问题类型的泛化，因为在这些场景下，理想的推理结构无法提前获知。
优化不足： 由于缺乏系统的超参数和提示词优化，现有方案往往面临性能潜力无法充分挖掘的问题。测试各种组合的高昂成本导致用户难以进行最优配置，使得人们难以判断性能差异是源于架构的优越性还是仅仅由于幸运的参数选择。
执行效率低下： 许多方案以顺序且冗余的方式执行 LLM 提示。它们未能利用并行执行或缓存机制，导致不必要的推理成本和显著的等待时间，尤其是在重复执行相同操作或输入时。

方法论：思维框架 (FoT)

为了解决这些局限性，作者引入了 思维框架 (Framework of Thoughts, FoT)，这是一个旨在实现和优化动态推理方案的通用基础框架。FoT 本身不是一种特定的提示方案，而是一个支持链（chains）、树（trees）和图（graphs）的模块化基础设施。

核心架构组件

动态图结构： FoT 区分了两种图类型：
- 执行图 ( $G_X$ )： 对操作序列、输入/输出以及完整的执行历史进行建模。与静态框架不同，该图可以在执行过程中根据操作输出进行修改和动态演变。
- 推理图 ( $G_R$ )： 对由已完成操作生成的思维（节点）之间的逻辑依赖关系进行更简化的表示。
- 操作 (Operations)： 框架的构建基块。一个操作是一个函数，它接收输入思维和执行图，并返回更新后的思维以及一个可能被修改的执行图。这实现了图结构的自动推导。
安全并行执行： 为了在动态演进的图中实现并发而不产生竞态条件，FoT 采用了控制器（Controller）和调度器（Scheduler）。它对图的修改实施严格约束：
- 操作只能查看其祖先节点、后代节点及自身。
- 操作不能修改祖先节点（已执行）或非排他性的后代节点（以防止冲突）。
- 操作只能修改其“排他性后代”并在该安全子图中添加连接。
高效缓存： FoT 实现了两种缓存策略以减少冗余的 LLM 调用：
- 过程缓存 (Process Cache)： 在单个问题实例执行期间临时存储结果。
- 持久化缓存 (Persistent Cache)： 跨多个问题实例存储结果，允许系统在后续任务中召回相同输入的输出。
优化工具： 该框架集成了用于超参数调优的 Optuna 和用于提示词优化的 DSPy。这些工具允许开发者针对准确率、运行时间或成本进行优化，而缓存机制使优化过程在计算上变得可行。

主要贡献

一个动态的基础框架： FoT 使得实现推理方案成为可能，在这种方案中，图结构不是预定义的，而是在执行过程中自动演进。这与 GoT 或 LangGraph 等主要设计用于静态流的框架形成了对比。
性能优化机制： 通过集成并行执行和持久化缓存，FoT 释放了潜在的性能潜力，显著降低了推理成本和运行时间。
系统化优化流水线： 内置的超参数和提示词优化工具解决了手动调优不佳的问题，使方案能够达到其真正的性能上限。
实证验证： 作者在 FoT 内部重新实现了三种流行的方案——思维树 (ToT)、思维图 (GoT) 和 ProbTree，以证明其通用性和效率增益。

实验结果

作者在五个任务上评估了 FoT：24 点游戏 (Go24)、排序 (Sorting)、文档合并 (DM)、HotpotQA 和 MuSiQue。

效率增益：
- 运行时间： 并行执行结合持久化缓存，使执行速度提升了 1.9 倍至 35.4 倍（取决于任务和方案）。在所有任务中，与基准顺序实现相比，平均加速了 10.7 倍。
- 成本： 在具有重复模式的任务（Go24, DM, MuSiQue）中，缓存将推理成本降低了 14% 至 46%。
优化影响：
- 通过使用 FoT 的优化工具，作者在提高所有评估方案的任务得分（准确率或 F1 值）的同时，降低了成本。
- 优化的可行性： 优化过程本身是资源密集型的。然而，借助缓存，优化成本降低到了不使用缓存时的 9%–36%，且持续时间缩短了 8.7 倍至 50.2 倍。这表明，只有在高效缓存和并行化的支持下，系统化优化通常才是可行的。

意义与主张

本文主张 FoT 代表了从静态、人工工程化的推理流向自适应、动态推理系统的转变。

适应性： 通过允许图结构演进，FoT 为开发能够处理此前未见或高度异构问题的推理方案铺平了道路，而无需人工重新设计。
效率是优化的前提条件： 作者强调，“默认高效”（并行化 + 缓存）的设置不仅是一个增量改进，更是使推理方案的系统化优化变得可行的前提条件。如果没有这些特性，调整提示词和超参数所需的时间和预算往往是令人望而却步的。
泛化性： 该框架设计为开放且模块化，支持任何可以用 Python 定义的操作（LLM 调用、工具使用、代码执行），从而促进了未来动态且高效推理方案的发展。

作者总结道，虽然他们实现了半自动和手动方案来演示该框架，但 FoT 的真正潜力在于实现能够为复杂现实世界问题动态推导推理结构的完全自动化方案。