🤖 AI

SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

SearchEyes 引入了一个基于类型化知识图谱构建的统一模拟搜索世界，该世界通过感知-知识链（Perception-Knowledge Chains）和跳跃锚定策略优化（Hop-Anchored Policy Optimization）将数据、环境和奖励信号进行整合，从而使多模态搜索智能体在不依赖外部引擎或独立奖励模型的情况下，实现最先进的多跳推理性能。

原作者： Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang, Tianyi Jiang, Juanxi Tian, Jiapeng li, Qunzhong Wang, Tailai Chen, Qianshan Wei, Chuan Xiao, Shanyu Rong, Yangfu Li, Yanhan Zhou, Yunpu Ma, Yifan Zhang, Xiangyu Yue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个非常聪明的机器人如何破解复杂的谜题。这个机器人需要观察一张图片，阅读一些文档，然后将这些线索串联起来找到答案。这就是论文中所说的“多模态搜索智能体”（multimodal search agent）。

然而，作者们发现，我们通常教导这些机器人的方式是存在缺陷的。这就像是试图通过给一个人地图、一辆车和一场驾驶测试来教他开车，却确保这三者完全不匹配：

地图（训练数据）： 你给了他们问题和答案的列表，但却把“如何做”的具体步骤给扔掉了。
车（环境）： 你让他们在一条真实且不可预测的公共道路（实际的互联网）上驾驶，那里的红绿灯可能会变，或者路段可能会消失。
测试（奖励）： 你只在最后才告诉他们“做得好”或“做得不好”。如果机器人在第1步犯了错，但在第10步靠运气得到了答案，它依然会得到一个“做得好”的评价。它们永远无法学会到底是在哪里出了错。

SearchEyes 通过构建一个完美的、自包含的模拟系统解决了这个问题，在这个系统中，地图、车和测试都是根据同一个蓝图构建的。

以下是他们是如何实现的，使用了简单的类比：

1. 蓝图：“类型化”知识图谱

他们没有使用混乱的真实互联网，而是构建了一个巨大的、有组织的知识库，称为知识图谱。你可以把它想象成一个庞大的世界信息家族树，但有着严格的规则：

每个人物（实体）都有照片、传记和关系列表。
他们只保留那些同时拥有三要素（照片、传记和连接关系）的“名人”，以便机器人可以练习观察图片以及阅读文本。

2. 训练课程：“感知-知识链”（PKC）

为了训练机器人，他们并没有随机编写问题。他们使用了一种特殊的配方，叫做感知-知识链（Perception-Knowledge Chains, PKC）。

类比： 想象一场寻宝游戏，你必须在观察照片和阅读线索之间交替进行。
- 第1步（感知）： “看这张男人的照片。他是谁？”（机器人必须通过图像识别出这个人）。
- 第2步（知识）： “现在，查一下他曾效力过哪支球队。”（机器人必须进行文本搜索）。
- 第3步（感知）： “找到那支球队主场球场的照片。”
神奇之处： 系统会自动生成这些问题，但在后台保留了一份“作弊条”（即事实的精确路径）。这确保了机器人必须走完这条长长的、多步骤的路径来解开谜题，而不是直接猜出答案。

3. 驾驶模拟器：“自包含的搜索世界”

在现实世界中，如果你向搜索引擎询问某事，搜索结果明天可能会发生变化。但在 SearchEyes 的世界里，“搜索引擎”实际上只是他们构建的图书馆中一个巨大的、预加载的数据库。

优势： 它是100%可复现的。如果机器人搜索“C罗”，它总是会得到完全相同的排名前5的结果。这消除了真实互联网的混乱，让机器人可以在不被断开的链接或变化的网站干扰的情况下，学习搜索的逻辑。

4. 教练：“跳跃锚定”反馈（HaPO）

这是最重要的创新。在常规训练中，教练只在最后说“你答对了！”

问题： 如果机器人走了10步才到达终点，教练并不知道哪一步是精彩的表现，哪一步是靠运气猜对的。
SearchEyes 的解决方案： 因为他们保留了“作弊条”（事实的精确路径），所以他们可以像一位全程观察每一步的教练一样：
- “在第3步找到球场照片做得真棒！”
- “哎呀，你在第2步选错了球队。让我们再试一次。”
隐喻： 这不是用一个总分来评判整场考试，而是为考试中的每一个问题都给出评分。这有助于机器人更快地学习，因为它们清楚地知道在哪里可以改进。

结果

当他们用这种新方法（称为 SearchEyes）在六个涉及图片和文本的不同高难度测试中进行测试时：

它击败了所有尝试做同样事情的开源机器人。
他们的较小规模机器人（270亿个“脑细胞”）表现得比大型科技公司那些更庞大、更昂贵的机器人还要好。
它证明了，通过提供结构化的、循序渐进的训练世界和精确的反馈，你不需要一台巨大的超级计算机就能获得卓越的结果。

简而言之： SearchEyes 停止了通过将机器人扔进混乱的真实互联网来教学。相反，他们构建了一个完美的、受控的训练健身房，在这里，机器人练习特定的技能，每一步动作都会得到评分，并能以惊人的效率学习如何破解复杂的视觉谜题。

技术摘要：SearchEyes

问题陈述

训练能够进行长程、多跳推理的多模态搜索智能体面临着当前流水线中一个根本性的结构性脱节问题。现有的方法在构建训练数据、搜索环境和奖励信号时是相互独立的，这导致了三个关键问题：

数据与环境的脱节： 训练数据的合成过程往往丢弃了中间结构化元数据（例如路径结构、实体 ID），而搜索环境则依赖于不可复现且具有非确定性 API 的外部引擎。
奖励稀疏性： 强化学习（RL）信号通常仅在轨迹层面（基于最终答案）进行计算。对于多跳推理而言，随着跳数增加，获得正确最终答案的概率会急剧下降，使得轨迹级奖励对于有效的策略优化而言过于稀疏。
信用分配失败： 由于缺乏步级（step-level）信号，智能体难以学习在复杂的长链任务中（尤其是需要视觉感知和文本知识检索的任务），哪些具体动作对成功或失败做出了贡献。

方法论：SearchEyes

SearchEyes 通过构建在类型化知识图谱（Wikidata5M）之上的模拟搜索世界，将数据合成、环境模拟和 RL 训练统一起来，从而解决了这些瓶颈。该框架由三个紧密耦合的组件组成：

1. 统一搜索世界模拟

系统使用基于 Wikidata5M、Wiki6M（文本）和 Wikipedia 图像构建的类型化知识图谱 $G = (V, R, T, \phi)$ 来构建自包含的搜索环境。

自包含检索： 环境不使用外部 API，而是使用通过相互排名融合（RRF）在预索引文档集上融合的混合检索引擎（稠密嵌入 + BM25）。这确保了检索过程是确定性的、可复现的且可审计的。
工具集： 智能体通过确定性工具进行交互：text_search（文本搜索）、visual_search（视觉搜索：图像裁剪 + 嵌入检索）、lookup（查找）、summarize（摘要）以及 python_interpreter（Python 解释器）。

2. 感知-知识链（PKC）合成

为了生成高质量的训练数据，SearchEyes 引入了一个通过在视觉实体与知识实体的交集上采样受限多跳路径的流水线：

受限路径采样： 通过带有严格约束的受限随机游走来采样路径：
- P-K 交替： 强制要求在感知跳（从图像中识别视觉实体）和知识跳（基于文本的搜索）之间交替进行。
- 消歧约束： 引入“一对多”谓词和约束边，以防止出现平凡的单路径解，从而增加推理图的树宽。
- 领域多样性： 确保路径遍历多个语义领域（人物、作品、组织、地理）。
- 反捷径过滤： 排除中心节点实体和元层级谓词，以避免可预测的路径。
信息隐藏： 生成的问题使得实体名称和完整的关系序列被隐藏。锚点实体仅通过图像呈现，中间关系被模糊处理为领域级提示，从而迫使智能体进行真正的多步推理。
学。
SFT 数据蒸馏： 使用具有检索增强和观察去噪功能的“特权”环境来合成专家轨迹。随后，这些轨迹以原始、带噪声的观察结果形式导出用于监督微调（SFT），从而教会模型在真实的检索结果之上进行推理。

3. 跳锚定策略优化（HaPO）

为了解决奖励稀疏问题，SearchEyes 提出了 HaPO，这是一种后训练算法，它利用 PKC 合成过程中保留的金标准实体序列进行步级信用分配，而无需单独的过程奖励模型。

跳锚定分组： 轨迹根据其成功检索到的中间金标准实体进行分组。在这些组内，优势函数相对于组的结果进行计算，从而隔离出特定动作在达到特定中间状态后的影响。
组合优势： 最终的优势信号在轨迹级和跳锚定步级优势之间进行插值。
致命错误感知掩码： 该算法检测并掩码由连续工具错误导致的退化轨迹后缀，防止梯度噪声破坏策略更新。
平滑非对称门控： 使用基于 Sigmoid 的门控取代硬截断以稳定长程优化，对负向优势应用更强的阻尼。

核心贡献

统一搜索世界模拟： 一个利用类型化知识图谱共同设计数据合成、环境模拟和 RL 训练的新颖框架，消除了数据-环境-奖励之间的脱节。
感知-知识链（PKC）合成： 一个由知识图谱驱动的流水线，生成具有严格结构保证（P-K 交替、消歧）和信息隐藏机制的受限多跳视觉-语言问题。
智能体后训练流水线（HaPO）： 一种利用保留的结构化元数据（金标准实体 ID）来实现步级信用分配的训练算法，在无需训练过程奖励模型的情况下，融合了跳锚定与轨迹级信号。
VisSearch Bench： 一个用于评估具有 P-K 交替结构的多跳视觉搜索的新基准测试。

实验结果

SearchEyes 在六个多模态知识密集型基准测试（SimpleVQA, VDR, MMSearch, LiveVQA, BC-VL, FVQA）以及新的 VisSearch Bench 上进行了评估。

性能： SearchEyes-27B 在开源多模态搜索智能体中达到了最先进的性能，在平均性能上比最强的开源基线提高了 6.2 个百分点。
参数效率： SearchEyes-9B 在使用参数量仅为 30B 规模基线（如 OpenSearch-VL-30B）约 1/3 的情况下，达到了与之相当的性能，展示了卓越的数据效率。
消融实验：
- 去除 PKC 约束（如 P-K 交替、反捷径过滤）会导致性能显著下降（平均下降高达 -7.7 个百分点），证实了结构化约束对于学习真正的多步推理的必要性。
- 用标准 GRPO 替换 HaPO 会导致平均下降 4.0 个百分点，验证了步级信用分配是多跳搜索中的主要瓶颈。

意义

本文认为，当前多模态搜索智能体的主要局限不在于模型容量，而在于数据、环境与奖励之间的结构性脱节。通过将知识图谱作为统一的骨干，SearchEyes 证明了数据-环境-算法的协同设计对于训练有效的长程智能体至关重要。研究结果表明，在整个训练流水线中保留结构化元数据可以实现精确的步级信用分配，使较小的模型能够达到与大型专有系统竞争的性能。这项工作为构建强大的多模态搜索智能体提供了一个可复现、开源的方案，且无需依赖外部、非确定性的 API。