💻 computer science

Reinforced Graph of Thoughts: RL-Driven Adaptive Prompting for LLMs

本文提出了强化思维图（RGoT），这是一个自动化框架，利用强化学习动态调整思维图提示中的操作图结构，从而克服人工定义结构的僵化性，以更好地处理复杂的问题解决任务。

原作者： Manuel Noah Riesen, Peter Alfred von Niederhäusern

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Manuel Noah Riesen, Peter Alfred von Niederhäusern

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明但有时有些散漫的助手（大型语言模型，或称 LLM），它擅长撰写故事，但在处理复杂数学或整理杂乱数据方面却力不从心。如果你只是让它“解决这个问题”，它可能会感到困惑或犯错，尤其是当问题非常庞大时。

为了帮助它们，研究人员通常会为它们提供一份“食谱”或分步计划：

思维链（Chain of Thought）： 就像一条直线指令：“先做 A，再做 B，然后做 C。”
思维树（Tree of Thoughts）： 就像家谱树，助手尝试不同的分支，观察哪一条看起来可行，如果遇到死胡同则回溯。
思维图（Graph of Thoughts, GoT）： 这是最先进版本。想象一张地铁线路图。助手可以将一个问题拆分成不同的线路，分别解决，然后将结果合并。这对大问题非常有效，但使用起来很困难。你，作为人类，必须在助手开始工作之前亲手画出整张地铁线路图。如果你画错了地图，助手就会失败。

问题所在：“静态地图”

最初的“思维图”就像一张僵硬的、预先画好的地铁线路图。如果问题完全符合你的预期，它能完美运行。但如果问题变得更大或更复杂（例如，数字列表的长度是你预期的两倍），你固定的地图就会失效。助手会迷路，因为地图没有考虑到新的规模。

解决方案：强化思维图（Reinforced Graph of Thoughts, RGoT）

这篇论文的作者 Manuel Noah Riesen 和 Peter Alfred von Niederhäusern 构建了一个名为RGoT的系统。与其由你来画地图，他们赋予助手一个在驾驶过程中学习的 GPS。

以下是其工作原理，使用一个简单的类比：

“求和”游戏
想象任务是加总一个非常长的数字列表。

旧方法： 你告诉助手：“把这些数字加起来。”如果列表有 5 个数字，它们能完成。如果有 50 个，它们就会困惑并给出错误答案。
RGoT 方法： 系统拥有一个基本动作的工具箱：
- 拆分（Split）： 将大列表切成两个小列表。
- 求和（Sum）： 加总一个小列表。
- 合并（Merge）： 将两个小结果合并为一个大结果。

与其由你决定何时拆分或合并，系统使用一个强化学习（RL）代理。把这个代理想象成一个试图通关的电子游戏角色。

游戏： “关卡”就是数字列表。
动作： 角色可以选择“拆分”、“求和”、“合并”或“停止”。
奖励： 如果最终答案正确，角色得分；如果失败，则扣分。

学习的魔力
起初，这个代理一无所知。它可能会尝试一次性加总 100 个数字的列表并失败。但因为它在玩一个“游戏”（使用强化学习），它能从错误中学习。

它意识到：“嘿，当列表巨大时，如果我尝试一次性加总，我会受到惩罚。但如果我先拆分，然后求和这些小部分，最后合并它们，我会获得巨额奖励！”
随着时间的推移，代理学会在运行时构建自己的“地铁线路图”（操作图），完美适配问题的规模。

他们实际做了什么

研究人员在几项任务上测试了这种方法：

列表求和： 加总数字。
列表排序： 将数字按顺序排列。
统计关键词： 找出某个词在文本中出现的次数。
合并文档： 将多篇文本合并为一篇，且不重复信息。

他们并没有直接使用真实的 AI 模型进行训练（因为这太昂贵且缓慢）。相反，他们创建了一个模拟环境。他们计算出 AI 在处理 10 项、20 项、50 项等列表时出错的可能性，并将这些概率编程到游戏中。代理在这个模拟环境中学习，然后他们在真实的 AI 上进行了测试。

结果

论文声称：

适应性： 代理学会了根据问题的难度自动调整策略。如果列表很短，它就执行简单的求和。如果列表巨大，它会自动决定先拆分。
优于基础方法： 与直接要求 AI“一次性完成”（即“输入 - 输出”方法）相比，该代理解决复杂问题的可靠性要高得多。
泛化能力： 即使他们给代理一个它在训练期间从未见过的列表规模（例如，它只在最多 30 项的列表上练习过，却给它一个 60 项的列表），它仍然能制定出良好的策略。

核心结论

这篇论文提出了一种使高级 AI 问题解决自动化的方法。不再需要人类专家确切知道如何构建复杂任务，系统利用“学习代理”为任何给定的问题规模找出最佳的分步计划（即图）。它将一个僵硬的、手动过程转变为一个灵活的、自我调整的过程。

注：该论文完全专注于这些特定任务（数学、排序、计数、合并），并未声称该方法适用于医疗诊断、法律建议或这些定义逻辑问题之外的其他现实世界应用。

技术摘要：强化思维图（RGoT）

问题陈述

大型语言模型（LLM）已通过思维链（CoT）、思维树（ToT）和思维图（GoT）等提示范式，在刻意解决问题方面展现出显著能力。虽然 GoT 提供了一个通用框架，将思维结构化为任意图以支持聚合与复杂推理，但其现有实现依赖于静态的、人工定义的操作图。

这种人工定义存在两个主要局限性：

可访问性：构建 GoT 图需要深入理解问题解决方案及操作的具体顺序，这为用户设置了极高的入门门槛。
适应性：静态图缺乏灵活性。它们无法适应输入实例的复杂度变化，也无法应对 LLM 输出的非确定性和熵增特性。因此，针对特定复杂度水平设计的图，在应用于具有不同属性的输入时可能会失效。

尽管 prior work（Ha et al., 2024）曾尝试自动化 GoT，但其依赖底层 LLM 的逻辑能力来构建图。本文旨在解决一种不依赖 LLM 规划能力来生成推理拓扑本身的方法需求。

方法论

作者提出了强化思维图（RGoT），这是一种自动化方法，利用强化学习（RL）从人类定义的可操作集合中自适应地生成操作图。

核心框架组件

该系统将**操作图（GoO）与思维图（GoT）**解耦：

操作图（GoO）：一个有向无环图（DAG），定义了操作的序列和结构。它受最大深度（ $d_{max}$ ）和最大广度（ $b_{max}$ ）的约束。为确保收敛，强制执行发散截止深度（ $d_{\neg div}$ ），在此深度之后，图必须收敛至单一汇点。
思维图（GoT）：实际的执行轨迹，其中生成 LLM 思维。每个思维都引用创建它的那个操作。
操作：定义为提示操作（LLM 调用）或执行操作（程序化函数）。评分操作用于评估思维的质量，返回一个数值分数。

强化学习公式

RGoT 代理在一个自定义的 RL 环境中运行，逐层构建 GoO。

状态空间（ $S$ ）：由离散空间组成，包括当前图深度、广度、任务复杂度、局部复杂度、当前图中的操作序列、先前动作以及先前分数。
动作空间（ $A$ ）：离散动作，包括 stop（结束图构建）、backtrack（移除汇点层）和 append(o)（添加带有操作 $o$ 的新层）。
奖励函数：通过奖励塑形设计，旨在惩罚过深的深度，奖励有效操作，并为成功完成任务（最终状态）提供显著的正面奖励。
模拟：为了降低使用真实 LLM 调用进行训练的高昂成本，对 LLM 的行为进行了模拟。在给定复杂度 $c$ 下，某操作的成功概率被建模为伯努利实验，其概率为 $P(c)$ ，该概率通过在每个复杂度级别上提示目标 LLM（例如 gpt-3.5-turbo-0125）100 次进行经验估计。

实验设置

作者在五个任务上评估了 RGoT：

列表求和：对整数列表求和（主要示例）。
列表排序：对整数进行排序。
集合交集：寻找集合交集。
关键词计数：统计文本中关键词的出现次数。
文档合并：合并文档，同时最大化保留内容并最小化冗余。

实验采用了**近端策略优化（PPO）**算法，使用 2 层网络架构（64 个单元）。代理在特定复杂度范围内进行训练，随后在分布内和分布外（更高复杂度）的实例上进行评估。

关键结果

自适应构建：RL 代理成功学会了构建能够适应任务复杂度的操作图。随着复杂度增加，代理自动增加了图的分支（发散）和深度以分解问题，这种行为并非显式编程，而是通过奖励信号学习到的。
性能与基线对比：RGoT 代理显著优于标准的输入 - 输出（IO）提示基线。当复杂度超过 LLM 的直接能力时，IO 策略会失效，而 RGoT 代理通过分解任务保持了高成功率。
泛化能力：代理展示了求解分布外复杂度（高于训练期间所见复杂度）的能力，实现了 $0.7512 \pm 0.1089$ 的总平均解决率。
方差：作者观察到代理在不同随机种子下的性能存在方差，特别是在分布外区域。这归因于高复杂度下的稀疏奖励信号，以及 PPO 的在线策略性质，这限制了代理从早期次优轨迹承诺中恢复的能力。

意义与主张

本文声称是第一项工作，提出了一种自动化构建思维图的方法，通过生成和遍历操作图来实现，而无需依赖语言模型规划或理解任务属性的能力。

主要贡献包括：

GoT 的自动化：消除了对人工定义图的需求，从而使 GoT 范式对仅需定义可用操作集合的用户更具可访问性。
适应性：证明了自动化代理可以根据输入复杂度动态调整推理拓扑，克服了静态图的僵化性。
模型无关性：该框架与所使用的特定 LLM 无关。通过模拟 LLM 的成功概率，系统可以以低成本进行训练，并应用于各种模型，包括具有不同能力范围的模型。
互补性：作者指出，RGoT（构建推理拓扑）与知识思维图（KGoT，构建外部检索知识）是互补的，这表明未来结合应用的潜力。

作者保持了谦逊的语气，承认虽然该方法在特定约束下针对定义的任务显示出前景，但性能方差以及训练中对模拟的依赖仍然是需要考量的领域。他们并未声称在所有提示方法中具有普遍优越性，而是强调了自适应、自动化图构建在处理复杂、可分解任务时的特定效用。