💬 NLP

DORA Explorer: Improving the Exploration Ability of LLMs Without Training

该论文提出了无需训练的 DORA Explorer 框架，通过生成多样化动作候选、利用 Token 对数概率评分并结合可调探索参数进行筛选，有效解决了大语言模型在序列决策中探索能力不足的问题，并在多臂老虎机和文本冒险环境中显著提升了性能。

原作者： Priya Gurjar, Md Farhan Ishmam, Kenneth Marino

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Priya Gurjar, Md Farhan Ishmam, Kenneth Marino

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DORA Explorer 的新方法，旨在解决大型语言模型（LLM）在“做决定”时容易犯的一个致命错误：它们太“懒”或太“固执”，不敢尝试新路子，结果总是原地打转，找不到最好的解决方案。

我们可以把大语言模型想象成一个超级聪明的探险家，但它有一个奇怪的毛病：它只敢走自己熟悉的路，或者只敢走“看起来最安全”的路。

🌟 核心问题：探险家的“思维定势”

想象一下，你派一个探险家去一个未知的迷宫找宝藏。

普通探险家（现在的 LLM）：走到一个岔路口，它会根据经验说：“左边那条路以前走过，好像没东西；右边那条路看起来最顺眼，我就走右边吧。”结果，它可能一直沿着右边那条死胡同走，永远发现不了左边其实藏着宝藏。
随机探险家（温度采样法）：为了打破僵局，人们试着让探险家“喝点酒”（提高随机性/温度），让它偶尔乱走。但这就像让探险家闭着眼睛乱撞，虽然可能撞见新东西，但更多时候是撞墙、迷路，或者说出一些毫无逻辑的胡话。

论文发现：现有的方法要么太保守（不敢探索），要么太随机（乱撞），无法在“探索未知”和“利用已知”之间找到完美的平衡。

🚀 DORA 的解决方案：聪明的“决策教练”

DORA（Diversity-Oriented Ranking of Actions，面向多样性的行动排序）就像给这位探险家配了一位聪明的“决策教练”。这个教练不需要重新训练探险家，而是在探险家做决定的瞬间，通过一套巧妙的流程来引导它。

DORA 的工作流程可以用三个步骤来比喻：

1. 头脑风暴（生成候选行动）

当探险家站在岔路口时，教练不会只让它选一条路。

普通做法：直接问：“下一步去哪？”探险家脱口而出：“去厨房。”
DORA 做法：教练说：“别急！先别急着走。请你一口气列出 5 个你可能去的不同的地方，比如厨房、地下室、花园、阁楼，甚至可能是去敲邻居的门。”
效果：强迫模型跳出“最熟悉”的那个答案，挖掘出它潜意识里知道但平时不敢说的其他可能性。

2. 打分与筛选（给行动评分）

现在探险家手里有 5 个选项。教练会帮它分析：

可行性：这个动作在逻辑上通顺吗？（比如“去厨房”比“飞到月球”更靠谱）。
一致性：这个动作的每一步都合理吗？
新颖性：这个动作是不是我们以前没试过的？
教练会给这 5 个选项打分，排除掉那些明显荒谬或重复的选项。

3. 动态选择（决定是“稳”还是“冲”）

这是 DORA 最厉害的地方。它有一个**“探索度旋钮”（参数 $\lambda$ ）**：

刚开始探险时（探索模式）：旋钮调低。教练会鼓励探险家：“别管哪个最安全，去试试那个看起来最奇怪但可能有大宝藏的选项！”（比如去地下室）。
快找到宝藏时（利用模式）：旋钮调高。教练会说：“现在我们知道地下室有宝藏了，别乱跑了，直接冲过去拿！”
自动调节：教练还能根据情况自动判断：如果探险家发现自己在原地打转（比如一直在“开门”、“关门”），它会自动切换到“探索模式”，强行让探险家换个思路。

🏆 实际效果：从“死循环”到“大赢家”

论文在两个主要场景测试了 DORA：

多臂老虎机（MAB）：
- 比喻：面前有 5 台老虎机，你不知道哪台中奖率高。
- 结果：普通模型会死盯着第一台机器猛拉，或者随机乱拉。DORA 则像老练的赌徒，先快速测试几台，发现哪台好就集中火力，最终获得的奖金比传统算法（如 UCB）还要好，甚至接近理论最优解。
文字冒险游戏（TALES）：
- 比喻：在一个复杂的文字游戏里找东西（比如“把铅加热融化”）。
- 结果：
  - 普通模型：经常卡在“开门 -> 关门 -> 开门”的死循环里，或者重复做无用功，最后任务失败。
  - DORA：它能主动去探索那些“看起来没用”的房间，发现隐藏的道具，成功完成任务。在测试中，它将某些模型的通关率从 29% 提升到了 45%，这是一个巨大的飞跃。

💡 总结

DORA Explorer 的核心思想是：不要指望模型自己“随机”变聪明，而是要给模型一套“结构化”的探索流程。

它不需要重新训练模型（省钱、省时），也不需要给模型灌输新知识。它只是改变了模型做决定的方式：

先发散思维（列出多种可能）；
再收敛评估（打分筛选）；
最后动态决策（根据情况决定是大胆尝试还是稳扎稳打）。

这就好比给一个只会走直线的机器人装上了一个“导航仪”，让它知道什么时候该拐弯，什么时候该冲刺，从而在复杂的世界里找到真正的宝藏。

论文技术总结：DORA Explorer

1. 研究背景与问题 (Problem)

尽管大型语言模型（LLM）在序列决策任务（如作为智能体）中表现出色，但它们在**探索（Exploration）**能力上存在显著缺陷。

核心痛点：LLM 智能体倾向于生成高概率、重复性的动作序列，导致陷入局部最优解或死循环（Loops），无法在需要主动收集信息的未知环境中有效探索。
现有方法的局限性：
- 采样方法（如温度缩放 Temperature Scaling）：虽然引入了 Token 级别的随机性，但往往无法在序列级别产生足够的多样性。研究表明，提高温度与生成内容的“新颖性”相关性很弱，且过高的温度会降低任务准确率。
- 提示工程（Prompting）：如思维链（CoT）或思维树（ToT）主要增强推理能力，但并未显式解决不确定性下的探索问题，LLM 仍倾向于选择熟悉的响应模式。
- 训练依赖：许多改进探索的方法需要额外的训练或特定环境的微调，缺乏通用性。

2. 方法论：DORA Explorer (Methodology)

作者提出了一种**无需训练（Training-free）**的推理时框架，称为 DORA Explorer（Diversity-Oriented Ranking of Actions，面向多样性的动作排序）。该方法将探索的控制权从底层的 Token 采样转移到了序列级的动作选择上。

核心流程（Algorithm 1）：

决策阶段（Greedy vs. Explore）：
- 智能体根据当前上下文 $c$ （历史交互 + 当前观察），决定是采取贪婪策略（直接选择最高概率动作）还是探索策略。
- 若选择探索，则引入一个可调节的探索参数 $\lambda$ 。
候选动作生成（Candidate Generation）：
- 利用列表级提示（List-level prompting），让 LLM 一次性生成 $n_C$ 个候选动作。
- 过滤掉在当前观察中已使用过的无效动作，确保候选集的多样性。
动作评分（Action Scoring）：
- 对每个候选动作序列 $a$ 进行评分，结合Token 的对数概率均值（Mean Log Prob）和方差（Variance of Log Prob）。
- 评分公式： $s = \alpha \cdot \tilde{\mu}(a) - (1-\alpha) \cdot \tilde{\sigma}^2(a)$ 。
- 逻辑：高均值表示动作整体可信度高，低方差表示序列内部一致性好。该评分机制旨在平衡“高概率”与“内部一致性”。
基于 $\lambda$ 的概率采样（Sampling）：
- 利用探索参数 $\lambda$ 对评分进行 Softmax 变换，生成动作选择概率： $P_\lambda(a) \propto \exp(\lambda \cdot s_a)$ 。
- $\lambda$ 的作用： $\lambda$ 类似于 Softmax 温度的倒数。低 $\lambda$ 导致分布更平坦（更多探索），高 $\lambda$ 导致分布更尖锐（更贪婪）。
- $\lambda$ 可以通过预定义的调度函数（如指数增长，模拟从探索到利用的转变）动态调整，也可以由策略网络根据上下文动态采样。
最终动作选择：
- 根据计算出的概率分布从候选集中采样最终动作。

3. 关键贡献 (Key Contributions)

无需训练的通用框架：DORA 是一个即插即用的推理时模块，无需对 LLM 进行微调，适用于任何预训练模型。
序列级探索控制：突破了传统 Token 级采样的局限，通过显式的“生成 - 评分 - 采样”流程，在动作序列层面实现可控的探索与利用（Exploration-Exploitation）权衡。
动态探索机制：提出了基于 $\lambda$ 参数的动态调度或策略采样，使智能体能够根据任务阶段（早期探索 vs. 后期利用）或环境状态自适应调整探索强度。
模块化设计：能够无缝集成到现有的 LLM 智能体流水线中，不依赖特定的环境结构或任务类型。

4. 实验结果 (Results)

论文在两个主要基准测试中验证了 DORA 的有效性：

A. 多臂老虎机 (Multi-Armed Bandit, MAB)

设置：经典的单状态马尔可夫决策过程，用于测试探索与利用的权衡。
结果：
- DORA 在 Llama-3.1 8B 和 Qwen-2.5 7B 上均取得了接近 UCB（置信度上界）算法的性能。
- 在累积遗憾（Cumulative Regret）和最优臂选择比例上，DORA 显著优于固定温度采样、自适应温度策略以及贪婪策略。
- 后缀失败频率（Suffix Failure Frequency）为 0，意味着 DORA 从未在任务后期陷入无法恢复的次优状态，而传统方法在此指标上表现极差。

B. 文本冒险学习环境套件 (TALES)

设置：包含 TextWorld, AlfWorld, ScienceWorld, Jericho 等五个复杂文本环境，测试长程规划、状态覆盖和死循环恢复能力。
结果：
- 任务成功率提升：在 TextWorld 中，Qwen-2.5-7B 的得分从 29.2% 提升至 45.5%；在 Llama-3.1-8B 上从 40.7% 提升至 50.2%。
- 状态覆盖：DORA 访问的独特状态数量是基线方法（如 Zero-shot, CoT, ToT）的 2 倍以上，证明其能发现更多隐藏信息。
- 死循环恢复：显著减少了陷入死循环的次数，并将循环恢复率提高了 5 到 20 倍（例如在 TextWorld 中恢复率从 <1% 提升至 19.5%）。
- 消融实验：证明了 DORA 的增益来自结构化探索而非单纯的随机性（温度采样在 TALES 中表现不佳，甚至随温度升高性能下降）。

5. 意义与影响 (Significance)

解决 LLM 智能体的根本缺陷：DORA 有效解决了 LLM 在决策任务中“过度自信”和“缺乏探索”的问题，使其能够在信息不完全的环境中主动获取知识。
低成本高效益：作为一种无需训练的方法，DORA 为现有 LLM 提供了即时的探索能力增强，降低了在复杂环境（如机器人控制、科学发现）中部署 LLM 智能体的门槛。
通用性：该方法在不同规模模型（7B 到 22B+）和不同难度任务中均表现出鲁棒性，证明了其作为通用智能体组件的潜力。
理论启示：研究表明，单纯增加 Token 采样的随机性（温度）不足以实现有效的探索，必须引入序列级的结构化和可控机制。

总结：DORA Explorer 通过引入一种受控的、基于多样性的动作排序机制，成功赋予了 LLM 智能体类似强化学习中的探索能力，显著提升了其在复杂、未知环境中的决策表现和任务完成率。