🤖 AI

Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

本文通过引入 SearchGen 基准测试和语料库，旨在解决视觉生成中的结构化世界知识瓶颈，证明了由于无差别检索导致的朴素搜索失效，并提出了一种“先教后搜”的协同训练框架，该框架能够动态发现生成器的知识边界，以实现有效的智能体视觉生成。

原作者： Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对论文 "Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation" 进行的解释。

核心问题：一个“自信的伪造者”艺术家

想象你雇佣了一位才华横溢的艺术家，他背下了图书馆里每一本书的内容。他可以完美地画出书中记载的任何事物。但如果要求他画出昨天发生的事情（比如一位新晋名人），或者某种非常具体、从未被收录进书中的事物（比如某个当地的小镇节日），他不会说“我不知道”。相反，他会自信地编造一个看起来很真实、但完全错误的虚假版本。

这就是当前 AI 图像生成器的困境。它们擅长“渲染”（画出图像），但在“知识”（了解事实）方面表现糟糕。它们被困在了记忆的“截止日期”里。如果你问他们 2025 年世界杯的排名，他们无法得知，因为他们的训练数据在 2025 年之前就停止了。

解决方案：给艺术家配一个搜索引擎

显而易见的修复方法似乎很简单：“让我们给艺术家一个搜索引擎，这样他们在画画之前可以查阅事实。”

然而，作者发现盲目的搜索反而会让情况变得更糟。

类比： 想象你要求一位厨师做一份牛排。如果你只是把一堆随机的食材（搜索结果）堆在他们的柜台上，他们可能会感到困惑。他们可能会在不需要的时候用上一个番茄，或者直接照抄你展示给他们的牛排照片，而不是仅仅将其作为颜色参考。
结果： AI 接收到了“噪声”。它开始模仿错误的东西，或者被它已经知道的信息所干扰，导致画出来的效果比它仅凭记忆尝试绘制时还要差。

发现：“知识边界”

论文引入了一个巧妙的概念——知识边界（Knowledge Boundary）。可以将 AI 的大脑想象成一个有两个房间的房子：

记忆室（内部）： AI 已经学过并能凭记忆画出的东西（例如：猫长什么样）。
参考室（外部）： AI 必须去查阅的东西，因为这些内容太新、太罕见或太具体（例如：上周发布的一款游戏里某个角色的特定服装）。

问题在于：AI 并不知道这两个房间之间的墙在哪里。

如果它去搜索它已经知道的东西，它就会产生混乱（噪声）。
如果它不去搜索它不知道的东西，它就会伪造答案。

解决方法：一个“先教后搜”的双人组

作者创建了一个由两个部分协同工作的系统：

推理者（管理者）： 一个决定何时进行搜索以及搜索什么的 AI 智能体。
生成器（艺术家）： 负责实际绘画的 AI。

他们使用了一种特殊的训练方法，称为协同训练（Co-Training），来教它们如何共同工作。这分为两个阶段：

第一阶段：教导艺术家（扩大记忆）
首先，他们向艺术家展示它原本不知道的事物，并附带正确的搜索结果。艺术家通过学习来记住这些新事物。

结果： “记忆室”变大了。艺术家现在能记住更多事情，而无需依赖搜索。

第二阶段：训练管理者（精炼搜索）
现在艺术家掌握了更多知识，管理者需要学习如何停止为这些新知识进行搜索。如果管理者继续为艺术家已经掌握的事物进行搜索，就会造成混乱。

结果： 管理者学会了说：“我知道艺术家可以处理这个，没必要搜索！”并只在真正困难的情况下才进行搜索。

类比：学徒与大师

想象一位大师级画家（生成器）和一位研究助理（推理者）。

之前： 助理会对每一个请求都盲目地递给大师一叠 50 张参考照片。大师会被淹没，最后画出一团糟。
协同训练后：
1. 大师学习这些照片，并学会凭记忆画出它们。
2. 助理学会观察大师的新技能。如果大师能凭记忆画出“红龙”，助理就不会递上照片。
3. 只有当大师被要求画“昨天发布的视频游戏里的龙”时，助理才会递上照片。

结果：为什么这很重要

论文在名为 SEARCHGEN-20K 的大规模新数据集上测试了该系统，该数据集包含 2 万个关于新事件、特定角色和文化符号的困难请求。

差距： 标准 AI 模型在这些知识密集型请求上的得分非常低（大约 20–28 分，满分 100）。它们之所以失败，是因为它们试图伪造事实。
改进： 通过使用这种“先教后搜”的方法，AI 的得分显著提高。
关键发现： 系统学会了选择性。它在不需要时停止搜索（防止混乱），并在需要时进行搜索（防止伪造）。

总结

论文认为，我们不应该仅仅构建更大的 AI 模型来尝试记住一切。相反，我们应该构建聪明的团队，让 AI 明白自己能记住什么，以及必须查阅什么。通过共同训练“搜索者”和“绘画者”，系统学会了识别自己的极限，停止编造事实，并且只在真正需要时才使用互联网。

简而言之：不要只是给 AI 一个搜索引擎；要教会它何时使用它。

技术摘要：搜索超越所学：演进智能视觉生成的知识边界

1. 问题陈述：世界知识瓶颈

视觉生成器擅长渲染已知概念，但在处理需要无界、演进且长尾的世界知识（例如：近期事件、小众文化符号或特定 IP 角色）的请求时，会发生灾难性的失败。这是一个结构性瓶颈：生成器的训练基于固定的语料库，存在固有的知识截止日期，而用户的请求则是开放式的。

论文指出，当前的生成器缺乏识别自身“不知道什么”的机制。因此，它们倾向于“自信地伪造”答案，而不是承认无知或寻求外部信息。现有的基准测试未能捕捉到这一动态过程，因为它们主要测试在已知概念范围内的渲染能力。当应用于搜索密集型提示词时，前沿开源权重生成器的表现会发生崩溃，得分仅为 21–28 / 100，相比其在标准提示词上的表现下降了高达 40 分。

一种天真的补救措施——为生成器配备搜索工具——却会失效，因为它引入了搜索噪声。盲目地为每个提示词检索信息会降低质量，注入无关的视觉细节、风格污染或伪造的结构。核心挑战不仅在于检索知识，还在于定义一个针对生成器特定的、演进的知识边界：即生成器可以通过训练内化的知识与必须保留在外部上下文中的知识之间的分界线。

2. 方法论

论文提出了 SearchGen，这是一个用于智能视觉生成的框架，它采用了一个抗噪声的智能推理器（agentic reasoner）和一个协同训练框架，用以发现并尊重知识边界。

2.1 数据集与基准构建

为了系统地研究这一问题，作者构建了：

SEARCHGEN-20K：一个包含 20,839 个基于世界知识的提示词的数据集，涵盖 12 个失败类别和 22 个领域（如：时间性事件、实体/IP、文化特异性）。它包含 34,694 个视觉参考槽位和 16,345 个文本知识槽位。
SEARCHGEN-BENCH：一个从该数据集中衍生出的、用于评估世界知识落地能力的基准测试。
SEARCHGEN-CORPUS-1M：一个预执行、冻结的多模态语料库，包含 145,642 个存档的搜索会话和 370,733 个缓存下载。这使得研究人员可以在不依赖实时 API 或漂移的搜索结果的情况下进行可重复、离线的研究。

2.2 抗噪声智能推理器

为了防止搜索噪声破坏生成质量，作者引入了一个三阶段的 Gate–Filter–Integrate（门控–过滤–集成） 协议：

Gate（门控）：推理器（一个 VLM）分析提示词以识别知识缺口。它按类型和严重程度对缺口进行分类，仅针对“关键”或“重要”的缺口触发搜索。它还会决定每个查询的模态（图像 vs. 网络文本）。
Filter（过滤）：在检索结果后，推理器选择能专门填补识别出的缺口、同时最大限度减少无关内容的参考资料（例如：通过过滤掉完整图像来仅提取必要的视觉特征）。
Integrate（集成）：推理器并不直接传递原始图像，而是将视觉参考转换为基于事实的自然语言引用（例如：“按照图 I 渲染穿着青金石色与金色长袍的角色”）。这在保留缺失知识的同时，丢弃了会导致风格泄露或身份混合的像素级噪声。

2.3 协同训练框架：“先教导，后搜索”

作者将知识边界 $B(\theta)$ 定义为可内化知识 ( $K_{int}$ ) 与上下文知识 ( $K_{ctx}$ ) 之间的划分。这个边界是针对特定生成器的，并且会随着模型的提升而移动。他们提出了一个两阶段的协同训练循环来发现这一边界：

第一阶段：Teach（教导：在线迭代 DPO）
视觉生成器使用直接偏好优化（DPO）在搜索增强的输入上进行训练。生成器针对每个提示词采样多张图像，并根据质量评分构建偏好对。这一阶段有两个目的：
1. 内化：它将边界向外推，允许生成器内化此前需要搜索的稳定视觉知识。
2. 噪声鲁棒性：通过在不完美的搜索增强输入上进行训练，生成器学会了如何吸收参考资料而不被其噪声主导。
第二阶段：Search（搜索：拒绝采样微调）
一旦生成器的边界发生偏移，推理器也会进行重新校准。利用拒绝采样微调（RFT），推理器在那些搜索策略提升了输出（正向优势）与那些搜索策略降低了输出（负向劣势）的轨迹上进行训练。推理器学会了对于生成器已经内化的概念进行“弃权”，从而有效地“将搜索策略向内移动”，以匹配新的边界。

3. 关键结果

论文通过 SEARCHGEN-BENCH 在两个开源生成器（Flux.2-Klein-4B 和 Bagel-7B）上验证了该框架。

单调改进：从 无搜索 (No Search) $\to$ 盲目搜索 (Blind Search, SFT 推理器) $\to$ 生成器自适应搜索 (Generator-Adaptive Search, RFT 推理器) 的演进过程，在所有难度等级上都呈现出持续的、单调的收益。
选择性：经过校准的推理器成功恢复了不需要搜索的提示词（NoSearch 层级）的表现，而在这些提示词上，朴素搜索此前会导致性能下降。例如，在 NoSearch 集上，自适应推理器将分数从 49.9（无搜索基准）提升至 56.9，而盲目搜索则将分数降至 60.4。
生成器特异性：最优搜索策略是针对特定生成器的当前能力而定的。一个为经 DPO 强化后的生成器校准的推理器，在与基础生成器配对时表现显著变差，这证实了边界是两者共同的属性。
性能差距：
- 带有朴素搜索的开源生成器在搜索密集型提示词上的表现会跌至 ~22–28/100。
- 协同训练系统（8B 推理器 + 4B 生成器）达到了 31.8/100，略微超过了与同一生成器配对的前沿模型 Oracle（Gemini-3-Flash，得分为 31.2）。
- 虽然仍低于具有集成搜索功能的商业系统（如 GPT-Image-2 为 71.2），但该框架证明了一个小型、经过协同训练的智能体可以接近比其规模大得多的通用推理器的性能。

4. 意义与主张

论文声称，智能视觉生成的核心挑战不仅在于检索信息，更在于知道自己不知道什么。

可发现的边界：知识边界并非提示词分布的固定属性，而是一个动态的、可发现的量，它会随着生成器的训练而移动。
协同训练的必要性：作者认为，搜索策略不能针对固定的生成器进行优化；生成器必须先被教导去内化知识，然后推理器必须针对新的边界进行重新校准。
极简方案：该框架验证了“极简方案”（一次 DPO 过程、一次 RFT 过程、一个 8B 推理器和一个 4B 生成器）足以建立这种自我改进的循环。
可扩展性：这项工作表明，虽然更大的模型可能会内化更多知识，但由于现实世界的无限性，边界永远不会消失。协同训练提供了一种机制，使搜索策略能够持续适应生成器不断演进的能力。

作者发布了完整的数据集、协同训练语料库和搜索语料库，旨在为未来研究工具增强型、基于世界知识落地的视觉生成提供一个“可重放的框架”。