💬 NLP

Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity

该论文指出，当前基于大语言模型的智能体缺乏“环境好奇心”，即它们虽然能频繁发现环境中的意外关键信息（如任务解决方案），却往往无法识别并利用这些信息来调整策略或完成任务。

原作者： Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Leon Engländer, Sophia Althammer, Ahmet Üstün, Matthias Gallé, Tom Sherborne

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文揭示了一个关于人工智能（AI）代理（Agent）的有趣但令人担忧的现象：它们很擅长“发现”线索，却完全不懂得“利用”这些线索。

为了让你更容易理解，我们可以把现在的 AI 代理想象成一个刚入职、非常勤奋但有点死板的实习生。

1. 核心故事：实习生与“作弊小抄”

想象一下，老板（用户）给这个实习生布置了一个复杂的任务，比如“整理公司十年的财务数据并生成报告”。

通常情况： 实习生会一头扎进文件堆里，翻箱倒柜，试图自己找到所有需要的数据。
实验设置（论文中的“解决方案注入”）： 研究人员在这个实习生的办公桌上，明晃晃地放了一张纸条，上面写着：“嘿，别找了，答案就在这儿！直接看这个文件，里面就是你要的最终报告。”

结果发生了什么？

发现（Discovery）： 90% 以上的情况下，实习生确实看到了这张纸条。他甚至可能把纸条拿起来读了读。
利用（Interaction/Curiosity）： 但是，读完之后，他完全无视了纸条上的建议！他继续像没看见一样，埋头苦干，试图用自己的方法去重新整理那些数据。

结论： 现在的 AI 代理就像这个实习生。它们能“看见”环境里的重要信息（比如直接能解决问题的代码或文档），但它们缺乏一种叫"环境好奇心"（Environmental Curiosity）的能力。也就是说，它们不会因为看到了意外的重要线索而停下来思考：“咦？这好像能帮我省大事，我是不是该换个思路？”

2. 三个关键发现（用比喻解释）

研究人员在三个不同的“考场”（Terminal-Bench, SWE-Bench, AppWorld）做了这个实验，发现了三个关键点：

A. 工具越多，越“固执”

比喻： 如果只给实习生一支笔（只有基础命令），他可能会到处翻找线索。但如果给他一套超级工具箱（比如能自动编辑文件的专用工具），他反而更不愿意去观察环境了。
现象： 论文发现，给 AI 更多的专用工具，虽然让它完成任务的成功率提高了，但它忽略那些意外线索（比如那个“作弊小抄”）的概率也变大了。它太依赖自己熟悉的工具套路，懒得去“看”周围有什么新东西。

B. 思考时间越长，越容易“开窍”

比喻： 如果让实习生只有 1 分钟思考，他可能直接跳过纸条。但如果给他10 分钟慢慢想，他更有可能意识到：“等等，这张纸条好像很有用！”
现象： 增加 AI 的“推理预算”（让它多思考一会儿），确实能显著提高它利用意外线索的能力。但这还不够，即使思考了很久，它依然经常忽略线索。

C. 培训太“窄”，脑子就“僵”

比喻： 如果这个实习生只在“整理财务”这一种工作上受过训练（窄分布训练），当他遇到一个稍微不同的任务时，他就只会机械地重复以前的动作，完全不知道变通。
现象： 那些在特定领域（比如只练过写代码）经过大量微调的 AI，虽然在该领域表现很好，但它们失去了好奇心。它们变得只会执行死板的程序，而不会根据环境的新变化（比如突然出现的解决方案）来调整策略。

3. 为什么这很重要？

这就好比我们在开车。

现在的 AI： 就像是一个只会按导航路线开车的司机。如果导航显示前方堵车，它可能会继续往前冲（因为它只认导航），或者如果路边有个路牌写着“前方修路，请绕行”，它可能根本不看，继续按原计划开，直到撞墙。
理想的 AI： 应该像一个有经验的老司机。看到路牌（意外信息）或者发现导航错了，它能立刻意识到：“哦，情况变了，我得换个路线！”

论文的核心观点是：
目前的 AI 代理太“开环”了（Open-loop）。它们只是机械地执行“行动 -> 观察 -> 行动”的循环，观察只是为了确认自己之前的想法对不对，而不是为了修正自己的计划。

4. 总结与启示

这篇论文告诉我们，虽然 AI 在解决复杂任务上进步巨大（比如写代码、修 Bug），但它们缺乏一种人类本能般的“好奇心”。

它们能看见，但不会“想”。 它们把环境当作一个用来获取预期信息的仓库，而不是一个充满惊喜、需要随时调整策略的动态世界。
未来的方向： 我们需要训练 AI，让它们学会停下来思考：“我刚刚看到了什么？这是否意味着我之前的计划是错的？我是不是该利用这个新发现？”

简单来说，现在的 AI 是超级执行者，但还不是聪明的探索者。要让它们真正像人类一样智能，不仅要让它们“手”更勤快（工具更多），更要让它们“心”更灵活（学会对意外保持好奇）。

论文技术总结：《Agents Explore but Agents Ignore: LLMs Lack Environmental Curiosity》

1. 研究背景与问题定义

核心问题：
基于大语言模型（LLM）的智能体（Agents）被假设能够整合环境观察进行推理，即当发现意外但高度相关的信息（如直接包含任务解决方案的文件）时，模型应自然地利用这些信息。然而，本文指出这一假设在当前 LLM 智能体中并不成立。

环境好奇心（Environmental Curiosity）的缺失：
作者定义“环境好奇心”为智能体响应环境刺激，识别并调查意外但相关观察结果的能力。研究发现，尽管智能体经常发现（Discover）意外信息，但它们系统性地忽略（Ignore）这些信息，未能将其整合到推理或后续行动中。这种“发现 - 交互”的差距表明，当前智能体仅将环境视为获取预期信息的工具，而非用于修正策略或充分利用有用刺激的动态空间。

2. 方法论：解决方案注入（Solution Injection）

为了量化这种差距，作者提出了一种名为**解决方案注入（Solution Injection）**的新评估方法，并引入了两个新指标。

2.1 实验设计

注入机制：将任务的“黄金标准”解决方案（Gold Solution）直接注入到智能体的运行环境中。
- 在 Terminal-Bench 和 SWE-Bench 中，注入为可执行文件（如 solution.sh）。
- 在 AppWorld 中，注入为 CLI 帮助文档中明确说明的 API 端点（如 cli solution）。
设计意图：注入的信息是意外的（不在标准工作流中）但高度相关的（直接包含完整解法）。如果智能体忽略这种显式的提示，它们更不可能整合真实环境中更微妙的线索。

2.2 评估指标

作者定义了三个指标（基于 $k$ 次尝试）：

Pass@k：任务成功率（传统指标）。
Discovery@k：智能体至少一次执行命令以发现注入解决方案的概率（例如，列出目录看到 solution.sh 或查看帮助看到 solution 命令）。
Interaction@k：智能体至少一次与注入解决方案进行交互的概率（例如，读取文件内容、执行该脚本或调用该 API）。
- 核心逻辑：高 Discovery 但低 Interaction 即证明缺乏环境好奇心。

2.3 实验设置

基准测试：Terminal-Bench, SWE-Bench Verified, AppWorld。
模型：gpt-oss-120b, GLM-4.7, Command-a-reasoning 及其微调变体。
智能体架构：Terminus (默认), SWE-agent。
变量控制：测试工具集（仅 Bash vs. Bash+ 编辑器）、推理预算（Reasoning Budget）、提示词（Prompting）及训练数据分布。

3. 关键实验结果

3.1 普遍存在的“发现 - 交互”差距

在所有基准测试和模型中，智能体表现出极高的发现率，但极低的交互率：

Terminal-Bench：发现率 79-81%，但交互率仅为 37-50%。
SWE-Bench：发现率 53-98%，交互率仅为 6-17%。
AppWorld（最显著）：97.54% 的尝试中智能体看到了明确说明“返回完整解决方案”的文档，但仅有 0.53% 的尝试调用了该命令。
结论：瓶颈不在于发现信息，而在于将观察融入推理。

3.2 推理时因素（Test-time Factors）的影响

作者测试了三个因素对好奇心的影响：

工具可用性（Tools）：
- 限制工具集（仅 Bash）反而提高了交互率。
- 引入专用工具（如 str_replace_editor）虽然提高了任务成功率（Pass@1），但降低了交互率。智能体倾向于直接应用工具模式，而非先检查环境。
推理预算（Reasoning Budget）：
- 增加推理预算（如 gpt-oss-120b 的 High Reasoning 模式）显著提高了交互率（Terminal-Bench 从 11% 升至 37%）。
提示词（Prompting）：
- 明确要求智能体“探索环境”或“调查所有发现的文件”能显著提升交互率和任务成功率。
- 重要发现：最能提升好奇心的提示词，往往也是原始基准测试中表现最好的提示词。

3.3 训练数据分布的影响

窄分布微调（Narrow In-distribution Fine-tuning）：在特定领域（如 AppWorld）进行微调的模型，虽然在特定任务上 Pass@1 更高，但环境好奇心显著降低，且 Pass@k 的扩展性变差（即多次尝试的多样性降低）。
跨域泛化：在宽分布数据（Terminal-Bench）上训练的模型，在面对不同领域任务时，表现出更好的好奇心和探索多样性。
结论：过度拟合窄分布数据会抑制智能体探索意外信息的能力。

3.4 根本原因分析

LLM-as-a-Judge 分析：排除了智能体将注入方案视为“陷阱”而故意拒绝的可能性。绝大多数情况下，智能体根本没有在推理中提及已发现的信息（No acknowledgment），或者提及后继续按原计划执行。
能力 vs. 触发：当通过 Oracle（神谕）方式直接告诉智能体去执行解决方案时，它们能成功完成任务。这表明智能体具备利用信息的能力，但缺乏自发触发去调查意外观察的机制。
循环机制缺陷：当前智能体遵循 Action → Observation → Reasoning → Next Action 的循环，缺乏 Reasoning and reflecting on observations（反思观察是否意外）的环节。

4. 主要贡献

定义与基准测试：首次明确定义“环境好奇心”，并通过“解决方案注入”方法量化了现代 LLM 智能体在发现与利用意外信息之间的巨大差距。
新指标：提出了 Discovery@k 和 Interaction@k，将任务成功与智能体的探索行为解耦，区分了“执行固定模式”与“适应观察”的智能体。
影响因素分析：
- 揭示了工具集丰富度、推理预算和提示词对好奇心的影响。
- 发现窄分布微调会抑制好奇心并降低解决方案的多样性。
优化与性能的正相关性：证明优化环境好奇心（如使用特定提示词或工具配置）通常也能提升原始基准测试的任务性能，表明好奇心是通用智能体能力的关键组成部分。

5. 意义与未来展望

理论意义：揭示了当前 LLM 智能体作为“开环序列生成器”的局限性——它们利用环境获取预期信息，而非根据环境反馈修正策略。这种缺乏适应性的行为在面对开放、动态环境时是脆弱的。
实践意义：
- 现有的 Pass@k 指标可能掩盖了智能体缺乏适应性的问题。
- 未来的智能体训练需要引入“反思观察”的机制（如将 Equation 5 中的反思环节纳入训练目标），而不仅仅是优化任务执行。
- 提示词工程（Prompt Engineering）在激发好奇心方面具有立竿见影的效果，且与高性能正相关。
未来方向：
1. 开发更多样化的基准和指标来测量好奇心。
2. 设计能够训练“反思行为”的训练范式。
3. 设计能够触发观察反思的智能体架构（Scaffold）。

总结：该论文有力地证明了当前最先进的 LLM 智能体虽然能“看见”环境中的关键线索，却缺乏“好奇”去利用这些线索的内在驱动力。解决这一问题需要从训练数据分布、推理时策略以及架构设计等多个层面入手，以培养真正具备适应性和探索精神的智能体。