💬 NLP

UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp

该论文介绍了 UNIBROWSE，这是一个新颖的数据到智能体（data-to-agent）框架，它生成了涵盖所有三种多模态浏览信息流模式的全面训练数据，并采用探索感知强化学习来训练一个 35B 规模的智能体，该智能体在多模态 BrowseComp 基准测试中实现了最先进的性能，显著超越了其基础模型以及领先的闭源智能体。

原作者： Xiyu Wei, Qingwei Zong, Zhuocheng Yu, Sujian Li

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiyu Wei, Qingwei Zong, Zhuocheng Yu, Sujian Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探，但你不仅仅是阅读笔记本上的几条线索，而是必须在图书馆、相册和实时新闻流之间来回穿梭来寻找答案。这就是所谓的“多模态浏览与推理”（Multimodal BrowseComp）任务：一个超级困难的谜题，AI 智能体必须通过阅读文本、观察图片并使用搜索工具，将碎片信息拼凑起来，从而得出一个并非直接呈现在某个网页上的答案。

长期以来，我们训练的 AI 侦探一直有些“偏科”。它们擅长阅读文本线索，或者通过看一张图片再阅读文本来寻找答案（比如看到一张狗的照片，然后搜索“这是什么品种？”），但它们在反向任务上表现得很差：即通过阅读文本来弄清楚应该在图片中寻找什么（比如读到一段关于一座奇特建筑的描述，然后搜索照片以确认其形状）。

重大发现：“UniBrowse”侦探
来自北京大学的研究团队开发了一种名为 UNIBROWSE 的全新训练系统，这可以被视为一个超级智能的训练营，终于教会了 AI 智能体如何处理三种类型的线索：

仅限文本： 仅仅是阅读并连接事实。
图转文： 从一张照片开始，寻找背后的故事。
文转图： 先阅读故事，然后搜寻匹配的照片以进行验证。

在此之前，大多数训练营只涵盖前两种类型。作者认为，忽略第三种类型（文转图）会让 AI 在面对现实世界场景时处于“训练不足”的状态，因为在现实中，你需要通过阅读来验证一个事实的视觉特征。他们还注意到，以往的方法就像是在城市里盲目游荡（这会导致大量的噪音和错误的转向），或者仅仅是盯着一张完美的、虚假的地图（这与混乱的现实世界并不相符）。UNIBROWSE 通过这种方式解决了这个问题：它先从一个坚实的“地图”（知识图谱）开始，然后派 AI 出发去互联网上抓取实时的、真实的证据，以确保线索的真实性。

“探索”过滤器：剔除冗余
这里有一个巧妙之处：研究人员意识到，并非所有的练习题都是同等质量的。有些问题只有一种枯燥的解法，而另一些问题则迫使智能体尝试不同的路径、回溯并重试。

为了解决这个问题，他们发明了一个新的指标，叫做**“探索程度”（exploration degree）**。想象一下你在给学生的作业评分。如果每个学生都用完全相同、简单的方式解决数学题，那么学习效果就很有限。但如果有些学生尝试了捷径，有些被困住并回溯，还有一些人找到了聪颖的新路径，那才是真正的学习发生之处。

该团队利用这种“探索程度”来过滤数据。他们丢弃了那些枯燥的、只有单一路径的问题，只保留了最具“探索性”的前 30% 的问题。这使得他们的强化学习（即 AI 通过试错进行学习的部分）变得更加高效，因为它只专注于那些能真正教会智能体深度思考的难题。

结果：新的冠军
通过这条流水线，他们构建了一个拥有 350 亿参数 的 AI 智能体（一个非常大的大脑）。他们不仅是凭直觉判断它会奏效，还通过五个不同的硬核基准测试对其进行了衡量。

结果令人印象深刻。他们的全新智能体 Uni-Browse 在这些测试中的平均准确率达到了 54.4。

这比它的基础模型（Qwen3.5-35B-A3B，初始分数为 43.9）提升了 10.5 个百分点。
它击败了几个著名的“闭源”巨头（如 GPT-5 和 Gemini-2.5 Pro，它们的得分分别在 42.9 和 44.8 左右）。
它甚至超越了其他开源模型，如 Kimi K2.5（50.8）。

他们并未声称的事项
了解这篇论文没有说什么也很重要。作者谨慎地指出，虽然 UniBrowse 是他们见过的最强的开源智能体，但它仍然未能击败绝对最强大的专有系统（如 Gemini-3.1 Pro，其得分达到了 63.2）。他们也承认，他们的智能体目前局限于处理文本和图像的公开网页浏览；它还无法处理交互式网站、视频或地图。他们建议，可能需要更大的模型和更好的工具来缩小剩余的差距，但他们并未声称已经解决了 AI 浏览的全部问题。

核心总结
通过构建一个涵盖三种线索类型（文本、图转文、文转图）的训练系统，并通过过滤掉枯燥的练习题，UNIBROWSE 团队创造了一个在解决互联网复杂多步谜题方面显著更优秀的 AI 智能体。这是一个坚实的进步，证明了训练智能体的方式与它的“大脑”规模同样重要。

技术摘要：UNIBROWSE

问题陈述

多模态浏览任务（BrowseComp tasks）要求智能体解决那些答案无法直接获取、必须通过整合多个动态网页证据才能得出的问题。与标准的寻事实任务不同，这类问题需要长程推理、工具使用以及文本与视觉模态的整合。现实世界的浏览涉及三种截然不同的信息流模式：

仅文本（Text-only）： 答案完全由文本证据构成。
图像到文本（Image-to-text）： 必须先解析初始图像线索，以启动文本浏览过程。
文本到图像（Text-to-image）： 文本浏览缩小了目标范围，随后需要通过视觉检索进行最终验证。

现有的用于训练此类智能体的数据构建方法存在三个关键局限性：

模式覆盖不全： 现有的数据集（如 WebWatcher、Vision-DeepResearch）主要覆盖“图像到文本”模式，忽略了同样重要的“文本到图像”模式（即在文本推理之前进行视觉验证）。
范式权衡难题： 依赖于人工策划知识图谱的方法缺乏网络多样性，而使用随机网页漫游的方法则会引入大量的噪声和错误证据。
训练效率低下： 先前的研究直接将强化学习（RL）应用于未经筛选的合成数据，在缺乏多样化推理路径的低信号轨迹上浪费了计算资源。

方法论

作者提出了 UNIBROWSE，这是一个统一的“数据到智能体”（data-to-agent）框架，包含一个全新的数据构建流水线和一个针对 35B 规模多模态浏览智能体的训练策略。

1. 数据构建流水线

该流水线通过将结构化知识与实时网页检索相结合来生成高质量训练数据：

带有网页扩展的文本知识图谱： 过程始于一个用于定义结构化推理路径的文本知识图谱（ $G_{KG}$ ）。对于每个种子实体，都会构建一个连接的子图。为了确保真实性，流水线利用从实时网页检索中提取的属性对这些图节点进行增强，并仅保留那些被多个搜索结果证实的属性。
统一的多模态模式扩展： 流水线评估生成的证据子图，以支持所有三种信息流模式：
- 图像到文本： 为初始种子实体附加可检索的图像节点。
- 文本到图像： 如果最终答案实体拥有文本中不存在的、具有显著且可视觉验证特征的属性，则在该实体后附加图像节点。
- 仅文本： 基于分层的证据结构生成问题。
  这些模式可以在单个问题中组合使用（例如，以图像开始，以视觉验证结束）。
探索驱动的选择机制： 为了提高 RL 效率，流水线引入了一个探索度指标（ $E(q)$ ）。该指标衡量在多次展开（rollouts）中成功浏览轨迹长度的方差。高探索度意味着正确答案可以通过多样化的路径到达（例如，直接路径 vs. 回溯路径），从而提供更丰富的对比信号用于策略学习。低信号实例会被过滤掉。

2. 智能体训练

该框架分两个阶段训练一个 35B 规模的智能体（基于 Qwen3.5-35B-A3B）：

冷启动监督微调（SFT）： 使用约 8,000 条工具使用轨迹来建立稳定的动作语法和模式感知先验。
探索感知强化学习（RL）： 使用根据探索度指标筛选出的前 30% 实例（约 10,000 个问答对）来优化 SFT 模型。智能体通过 ReAct 式的顺序决策过程，使用 SEARCH（文本、图像到文本、文本到图像）和 LINKSUMMARY 工具进行交互。奖励函数结合了答案正确性和格式合规性，并通过组相对策略优化（GRPO）进行优化。

核心贡献

统一的数据流水线： UNIBROWSE 是首个能同时生成涵盖文本、图像到文本及文本到图像模式训练数据的框架，并通过实时网页检索增强知识图谱以提升保真度。
探索感知过滤： 引入探索度指标使得能够选择高价值的 RL 实例，通过专注于具有丰富、多样化推理信号的问题，显著提高了训练效率。
最先进的智能体： 最终得到的 UNIBROWSE 智能体在多模态浏览基准测试中取得了卓越的表现，证明了“数据到智能体”方法的有效性。

实验结果

UNIBROWSE 智能体在五个不同的基准测试上进行了评估：BrowseComp-VL (BC-VL)、MM-BrowseComp (MM-BC)、MMSearch+、MMSearch 和 FVQA。

性能表现： 最终模型（SFT + RL）在五个基准测试中的平均准确率为 54.4%。
提升幅度： 这比基座模型（Qwen3.5-35B-A3B，43.9%）提升了 10.5 个百分点。
对比分析： 该智能体的表现优于多个闭源工作流，包括 GPT-5 (42.9%)、Gemini-2.5 Pro (44.8%) 和 Gemini-2.5 Flash (41.3%)。它也超越了之前的开源基线，如 WebWatcher-32B (31.7%) 和 Vision-DeepResearch-30B-A3B。
消融实验：
- 模式覆盖： 在所有三种模式上进行训练的效果显著优于仅在文本或仅在图像到文本模式下训练，尤其是在极具挑战性的 MM-BC 基准测试中。
- 选择策略： 按探索度筛选前 30% 的 RL 数据获得了最佳性能；过于严格（前 10%）或过于宽松（前 100%）的过滤都会导致评分下降。

重要意义

本文认为，可控的多模态数据构建和探索感知的后训练对于构建有效的浏览智能体至关重要。通过解决模式覆盖方面的差距（特别是文本到图像模态）并利用探索多样性优化 RL 训练信号，UNIBROWSE 证明了开源模型可以实现复杂、多模态网页推理任务中的竞争力和最先进水平。该框架将开源智能体与最强闭源工作流之间的性能差距缩小了一半以上，验证了“数据到智能体”范式作为一条可扩展路径的有效性。