💬 NLP

Mango: Multi-Agent Web Navigation via Global-View Optimization

该论文提出了名为 Mango 的多智能体网页导航方法，通过利用网站结构动态优化起始点、结合 Thompson Sampling 分配导航预算以及引入 episodic 记忆机制，显著提升了在复杂层级网站中的任务成功率。

原作者： Weixi Tong, Yifeng Di, Tianyi Zhang

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Weixi Tong, Yifeng Di, Tianyi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 MANGO 的新系统，它的核心任务是教人工智能（AI）如何更聪明、更高效地在互联网上“冲浪”并找到答案。

为了让你更容易理解，我们可以把互联网想象成一个巨大的、迷宫般的图书馆，而AI 代理（Agent）就是一个刚入职的图书管理员。

1. 以前的困境：盲目地从大门开始找

在 MANGO 出现之前，大多数 AI 图书管理员接到任务（比如“帮我找 2023 年诺贝尔文学奖得主的传记”）时，习惯的做法是：

从正门（首页）开始：不管任务是什么，它们总是先走进图书馆的大门。
盲目乱撞：然后它们开始一层层地爬楼梯，走进一个个书架（子页面）。
陷入死胡同：因为图书馆太大、太复杂，它们经常走进死胡同，或者在完全无关的书架（比如“儿童绘本区”）里浪费时间。
体力耗尽：AI 的“体力”（计算预算/点击次数）是有限的。往往还没找到书，体力就用光了，任务失败。

问题核心：它们没有全局地图，不知道目标书大概在哪个区域，只能靠“瞎蒙”和“试错”。

2. MANGO 的解决方案：先画地图，再精准打击

MANGO 就像是一个拥有“上帝视角”的超级管理员。它不再盲目地从大门开始，而是分四步走：

第一步：快速扫描，绘制“藏宝图” (全局结构分析)

在正式找书之前，MANGO 会先派出一群“侦察兵”（轻量级爬虫），快速扫视整个图书馆。

它不看每一本书的细节，而是看目录和标签。
它结合搜索引擎（比如 Google 站内搜索），根据用户的问题，迅速圈定出几个最可能藏有答案的区域（候选 URL 集合）。
比喻：就像你要找一本关于“量子物理”的书，MANGO 不会从“历史区”开始找，而是直接通过目录知道，书大概率在“科学区”的“物理架”上。

第二步：像赌徒一样聪明地分配体力 (Thompson Sampling)

现在手里有几个可能的区域（候选 URL），但体力有限，不能每个都去翻一遍。MANGO 使用了一种叫Thompson Sampling的策略（一种多臂老虎机算法）。

比喻：想象你在玩老虎机，有几个拉杆。MANGO 会先试着拉几个，根据反馈（是找到了线索，还是空手而归），动态调整策略。
如果某个区域看起来很有希望，它就多分配点体力去那里；如果某个区域总是死胡同，它就果断放弃，不再浪费体力。
这让 AI 能在探索（去新地方看看）和利用（在好地方深挖）之间找到完美的平衡。

第三步：聪明的“图书管理员” (Web Navigation Agent)

一旦选定了目标区域，AI 就进去开始找书。

如果它之前去过这里但失败了，它会查阅“记事本”（记忆模块），看看上次是怎么失败的，避免重蹈覆辙。
它会在网页上点击、输入，直到找到答案。

第四步：事后复盘 (Reflection Agent)

每次找完（无论成功还是失败），MANGO 都会停下来“反思”：

成功了吗？答案对吗？
失败了是因为路走错了，还是因为体力不够了？
根据反思结果，它会更新“老虎机”的概率，告诉下次去哪个区域更靠谱，并把这次的经验记在“记事本”里，防止下次犯同样的错。

3. 效果如何？

论文在两个著名的测试集（WebVoyager 和 WebWalkerQA）上进行了测试，结果非常亮眼：

成功率更高：在使用 GPT-5-mini 模型时，MANGO 的成功率达到了 63.6%，比目前最好的竞争对手高了 7.3%。在另一个更难的测试中，它甚至领先了 26.8%。
更抗造：对于那种需要翻很多页才能找到的“长任务”，MANGO 表现得特别顽强，能坚持到找到答案，而别的 AI 早就放弃了。
通用性强：无论是开源模型还是闭源模型，MANGO 都能让它们变得更强。

4. 还有什么不足？

虽然 MANGO 很厉害，但它也不是完美的：

地图不全：如果目标信息藏在图书馆最深处、且从未被“侦察兵”扫描到的角落，MANGO 可能还是找不到。
看走眼：有时候它找到了正确的书，但 AI 自己读不懂书里的内容（推理错误），或者把答案理解错了。
体力消耗：为了找到难找的答案，它有时候会比别的 AI 多花一些点击次数（虽然这是为了成功，但在某些对速度要求极高的场景下可能不是最优）。

总结

MANGO 就像是给 AI 装上了一个**“导航仪” + “经验包”**。它不再像无头苍蝇一样从大门撞进来，而是先看看地图，挑几个最有希望的地方，聪明地分配精力，并且懂得从失败中吸取教训。这让它在复杂的互联网迷宫中，找东西更快、更准、更聪明。

MANGO：基于全局视图优化的多智能体网页导航技术总结

1. 研究背景与问题定义

现有的基于大语言模型（LLM）的网页智能体（Web Agents）通常从网站的**根 URL（首页）**开始探索。然而，面对具有深层层级结构的复杂网站，这种“自顶向下”的探索策略存在显著缺陷：

效率低下：智能体需要遍历大量无关的子树或中间页面，浪费计算资源。
导航陷阱：容易陷入死胡同或无关分支，导致在有限的导航预算（Budget）内无法到达目标信息。
缺乏全局视野：现有方法通常受限于每一步的局部观察，缺乏对网站整体结构的认知，难以做出最优的起始点选择。

MANGO（Multi-Agent Navigation via Global-View Optimization）旨在解决上述问题，通过构建网站的全局结构视图，动态确定最优的导航起始点，从而在有限预算下最大化任务成功率。

2. 方法论 (Methodology)

MANGO 是一个多智能体框架，其核心流程包含四个关键阶段（如图 1 所示）：

2.1 全局结构分析 (Global Structure Analysis)

在导航开始前，MANGO 首先构建目标网站的全局层级结构，以识别与用户查询相关的候选 URL 集合 $U$ 。

轻量级爬虫：采用广度优先搜索（BFS）从根 URL 开始爬取，过滤非 HTML 文件和外部链接，限制最大爬取页数 $\tau$ 。
搜索引擎增强：针对无法完全爬取的大型网站（如 arXiv），利用 LLM 根据用户查询生成关键词，并通过 Google 搜索的 site: 操作符获取额外相关页面。
相关性排序：使用 BM25 算法对爬取和搜索到的页面进行语义相关性打分，选取 Top-10 作为候选 URL 集合。

2.2 URL 优先级排序与选择 (URL Prioritization and Selection)

将 URL 选择问题建模为**多臂老虎机（Multi-Armed Bandit, MAB）**问题，利用 Thompson Sampling 算法在探索（Exploration）与利用（Exploitation）之间进行自适应平衡。

状态定义：每个候选 URL 视为一个“臂（Arm）”，状态分为“活跃（Active）”和“耗尽（Exhausted）”。
初始化：基于 BM25 相关性分数初始化 Beta 分布参数 $(\alpha, \beta)$ 。
动态选择：在每一步，从活跃臂的 Beta 分布中采样，选择概率最高的 URL 进行访问。
反馈更新：根据导航结果更新 Beta 分布参数。若导航成功或路径有潜力，增加 $\alpha$ ；若遇到死胡同，标记为耗尽并增加 $\beta$ 。

2.3 网页导航智能体 (Web Navigation Agent)

接收选定的 URL 和用户查询，在浏览器环境中执行动作（点击、输入等）。
受限于导航预算 $b$ （最大动作数）。
记忆机制：若 URL 曾被访问过，从**情景记忆（Episodic Memory）**中检索之前的导航轨迹和反思摘要，避免重复错误。

2.4 反思智能体 (Reflection Agent)

在每次导航尝试后，反思智能体评估导航轨迹和最终输出：

任务完成度评估：判断提取的信息是否满足用户查询。
状态判定：
- 若成功：终止任务。
- 若预算耗尽但路径有潜力：给予正奖励（ $r=1$ ），鼓励再次尝试。
- 若路径无效（死胡同）：给予负奖励（ $r=0$ ）并标记 URL 为耗尽。
记忆存储：将轨迹、输出和反思结果存入情景记忆，供后续访问同一 URL 时参考。

3. 关键贡献 (Key Contributions)

全局视图优化：提出了一种在导航前构建网站全局结构的方法，通过结合轻量级爬虫和搜索引擎，突破了传统智能体仅从首页开始探索的局限。
基于 Thompson Sampling 的动态预算分配：首次将 URL 选择建模为多臂老虎机问题，利用 Thompson Sampling 自适应地分配有限的导航预算，显著提高了在复杂网站中的搜索效率。
情景记忆与反思机制：引入反思智能体和情景记忆模块，使智能体能够从历史尝试中学习，避免重复无效路径，并动态调整 URL 的优先级。
广泛的实验验证：在 WebVoyager 和 WebWalkerQA 两个基准测试上，使用了 5 种不同的 LLM 作为骨干模型（包括 GPT-5-mini 和 Qwen3 系列），验证了方法的通用性和优越性。

4. 实验结果 (Results)

实验在 WebVoyager 和 WebWalkerQA 两个基准上进行，对比了 SOTA 方法 AgentOccam 和 WebWalker。

成功率 (Success Rate, SR)：
- WebVoyager：使用 GPT-5-mini 时，MANGO 达到 63.6% 的成功率，比最佳基线 AgentOccam 高出 7.3%。
- WebWalkerQA：使用 GPT-5-mini 时，MANGO 达到 52.5% 的成功率，比最佳基线 WebWalker 高出 26.8%。
- 在 Qwen3 系列模型上，MANGO 也 consistently 优于基线，且随着模型参数增大，性能单调提升。
效率 (Action Count)：
- 在使用 Qwen3 模型时，MANGO 在保持更高成功率的同时，动作数量（AC）与基线相当或更低。
- 在使用 GPT-5-mini 时，虽然 AC 略高，但这归因于 MANGO 能够坚持完成更复杂、长视野的任务（Long-horizon tasks），而基线智能体往往在动作数达到一定阈值后便停止探索。
消融实验：
- 移除全局结构分析（随机选择或仅用 Google 搜索）会导致性能显著下降。
- 将 Thompson Sampling 替换为 MCTS（蒙特卡洛树搜索）在预算受限场景下表现较差，证明了 Thompson Sampling 在快速平衡探索与利用方面的优势。

5. 意义与局限性 (Significance & Limitations)

意义：

MANGO 证明了在网页导航任务中，“先规划后行动”（先构建全局结构再选择起点）比单纯的“边探索边决策”更有效。
提供了一种在有限计算预算下优化多步推理任务的新范式，特别适用于深层层级结构的复杂网站。
代码和数据已开源，推动了 Web Agent 领域的可复现研究。

局限性：

覆盖度限制：依赖轻量级爬虫和搜索增强，对于超大规模或动态生成的网站，可能无法覆盖所有深层页面，导致目标信息遗漏。
初始候选集质量依赖：Thompson Sampling 的效果高度依赖于初始候选集的质量。如果相关性估计错误，可能导致早期的预算浪费。
推理能力瓶颈：即使导航路径正确，智能体仍可能因 LLM 的阅读理解或推理错误（如幻觉）而失败，这是当前 LLM 智能体的共性问题。
成本权衡：为了追求高成功率，MANGO 可能会执行更多动作，这在延迟敏感或成本敏感的场景下可能不是最优解。

综上所述，MANGO 通过引入全局结构分析和自适应预算分配机制，显著提升了 LLM 智能体在复杂网页环境下的导航能力，为未来的 Web Agent 设计提供了重要的技术参考。