💻 computer science

Seg-ReSearch: Segmentation with Interleaved Reasoning and External Search

该论文介绍了 Seg-ReSearch，这是一种通过将交替推理与外部搜索相结合，来克服多模态大语言模型冻结知识局限性的新颖分割范式，并通过一个新的基准测试（OK-VOS）以及一种在开放世界分割任务上达到最先进性能的分层奖励训练策略进行了验证。

原作者： Tianming Liang, Qirui Du, Jian-Fang Hu, Haichao Jiang, Zicheng Lin, Wei-Shi Zheng

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianming Liang, Qirui Du, Jian-Fang Hu, Haichao Jiang, Zicheng Lin, Wei-Shi Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

问题：“冻结的大脑”

想象你有一个非常聪明的机器人助手，它非常擅长观察图片和视频。它可以告诉你：“那是条狗，”或者“那是辆红色的车。”然而，这个机器人有一个**“冻结的大脑”**。它的知识在它被制造出来的那一天就被锁定了。

如果你问它：“昨晚谁获奖了？”或者“帮我找找昨天刚上市的新玩具，”机器人就卡壳了。它不知道在它大脑被冻结之后发生了什么。这就像一个图书管理员，他手里的书只印刷到2024年；如果你问关于2025年的事件，他们无法提供帮助，即使他们非常聪明。

目前的AI模型就是这样的图书管理员。它们擅长推理，但无法通过查阅新信息来解决问题。

解决方案：Seg-ReSearch（带着手机的侦探）

作者创建了一个名为 Seg-ReSearch 的新系统。不要把这个系统看作图书管理员，而要把它看作一个带着智能手机的侦探。

当你给这个侦探一个复杂的任务时——比如“找到在特定人物上太空的那天主持节目的艺人”——侦探不会仅仅靠猜测。相反，他们遵循一个动态的过程：

思考： “我不知道那个人上太空的具体日期。我需要查一下。”
搜索： 他们使用手机（互联网）来查找日期。
再次思考： “好了，现在我知道日期了。我需要找出那天是谁主持了节目。”
再次搜索： 他们查找主持人名单。
发现： “啊哈！是 Ariana Grande。现在，让我看看视频找到她的脸。”
指向： 他们在视频中圈出那个人。

这种“交替进行”的过程意味着 AI 会暂停思考去搜索网页，阅读所找到的信息，然后继续思考。它打破了“冻结大脑”的限制。

挑战：教导侦探如何更好地搜索

你可能会想：“就让 AI 随心所欲地搜索网络吧。”但研究人员发现了一个棘手的问题：你如何教 AI 进行“正确”的搜索？

如果你只在 AI 得到最终正确答案时才奖励它（就像只在学期结束时才给学生打分），AI 就会变得懒惰。它可能会跳过辛苦的搜索过程，直接靠猜来碰运气。

如果你为 AI 的每一步操作都给予奖励（就像为写的每一个句子都给分），AI 可能会陷入死循环，为了刷分而去搜索一些毫无意义的东西，而没有真正解决问题。

解决方法：“层级化奖励”（教练的策略）
作者设计了一种特殊的评分系统（奖励机制）来训练 AI，就像教练训练运动员一样：

初始引导（起跑线）： 教练会仅仅因为 AI 迈出了“正确的第一步”就给予小额奖励。这确保了 AI 朝着正确的方向开始，而不是强迫它必须完全模仿教练的第一步动作。
递减的过程奖励（马拉松配速）： 在 AI 搜索的过程中，它会获得积分，但随着搜索次数的增加，积分会逐渐减少。这鼓励 AI 搜索足够的信息来找到答案，但也防止它为了刷分而无休止地搜索下去。这教会了 AI 如何保持高效。
结果奖励（终点线）： 最后，只有当 AI 正确识别并圈出视频中的目标物体时，它才会获得巨大的奖励。

这种平衡教会了 AI 成为一名聪明、高效的侦探，而不是一个懒惰的猜谜者或强迫症式的搜索者。

新的测试：OK-VOS

为了证明他们的系统有效，研究人员构建了一个新的测试，称为 OK-VOS（外部知识视频目标分割）。

想象一个如果不通过谷歌搜索就无法回答的视频问答：

问题： “找到视频中获得‘最佳新人奖’的人，但前提是他们在2025年获奖。”
旧的 AI： “我不知道那是谁。我的训练数据截止到2024年。”
Seg-ReSearch： “让我查查新闻……好了，我找到了获奖者。现在让我去视频里找到他们。”

结果显示，Seg-ReSearch 彻底碾压了竞争对手。当其他模型在这些“外部知识”问题面前挣扎甚至完全失败时，Seg-ReSearch 利用其“搜索-推理”循环找到了答案，并准确地指向了正确的人或物体。

总结

Seg-ReSearch 是一种让 AI 观察视频的新方式。它不再仅仅依赖于过去记忆中的知识，而是学会了思考、搜索网络、再次思考、再次搜索，直到找到答案。它使用了一种特殊的训练方法，以确保 AI 是在进行智能搜索，而非随机搜索。这使得它能够处理关于新事件、新产品以及那些在 AI 构建时无法预见的特定事实的现实世界问题。

技术摘要：Seg-ReSearch

问题陈述

当前的语言引导分割系统，特别是利用多模态大语言模型（MLLM）的系统，面临着一个关键的“知识瓶颈”。尽管近期的进展赋予了这些模型推理能力（例如 LISA、VideoSeg-R1），但其性能严格受限于 MLLM 冻结的内部知识。这种局限性使得它们在处理涉及最新信息（例如最近的获奖者、新发布的产品）或超出模型训练截止日期的领域特定概念的现实场景时，显得无能为力。此外，现有的将外部搜索集成到智能体推理中的尝试往往由于奖励设计困境而失败：仅依赖稀疏的结果奖励会导致智能体跳过搜索步骤，而僵化的逐步监督则会强制模仿特定的轨迹，从而忽略了视觉推理。

方法论：Seg-side-ReSearch

作者提出了 Seg-ReSearch，一种新型的智能体分割框架，能够实现交织推理与外部搜索。该系统通过动态的多模态思维链（MCoT）过程运行，允许模型迭代地分解任务、与搜索引擎交互并更新其推理过程，直到定位到目标物体。

1. 交互流水线

给定视觉输入（图像或视频）和复杂查询，策略 MLLM 执行以下操作：

推理与规划： 模型分析输入并确定是否需要外部知识。
搜索执行： 如果需要，模型生成搜索查询并在特定标签（<search>）内指定工具（文本或图像搜索）。
信息集成： 检索到的数据被封装在 <information> 标签中，并附加到上下文以进行后续推理步骤。
定位： 一旦识别出目标，模型选择关键帧（针对视频），在 <answer> 标签内输出位置提示（边界框和点），并将其传递给冻结的掩码生成器（如 SAM2）进行最终分割。

2. 分层奖励设计

为了有效地训练模型而不陷入奖励作弊（reward hacking）或过度模仿，作者引入了一种三级分层奖励机制（ $R = \alpha \cdot (R_{IGR} + R_{TPR}) + R_{OR}$ ）：

初始引导奖励 (IGR)： 一种二元奖励，确保第一个搜索查询在语义上与专家轨迹相似，从而提供一个有效的起点，而不强制执行严格的模仿。
递减过程奖励 (TPR)： 一种基于格式的奖励，旨在激励有效的搜索步骤（正确的标签使用），但结合了递减奖金。这通过确保边际奖励随着轮数的增加而递减，防止无限搜索循环，从而鼓励高效探索。
结果奖励 (OR)： 一个评估最终结果的复合奖励，包括：
- 定位准确度： 针对边界框和点的交并比（IoU > 0.5）和 L1 距离（< 10 像素）的二元奖励。
- 关键帧选择： 一个优先考虑目标最显著且遮挡最少帧的连续奖励。

3. 优化

该框架使用**群体相对策略优化（GRPO）**进行优化，通过采样轨迹组来计算相对于组平均值的优势，从而稳定长程推理任务的学习。

核心贡献

框架： 提出了 Seg-ReSearch，这是首个能够进行交织推理和外部搜索的可训练智能体分割框架，用以克服 MLLM 的知识局限。
奖励机制： 一种新型的分层奖励设计，平衡了稀疏的结果信号与灵活的过程监督，有效地缓解了探索与任务性能之间的权衡。
基准测试 (OK-VOS)： 引入了 OK-VOS（外部知识视频对象分割）基准，包含 150 个视频中的 1,000 个样本的人工标注样本。它明确要求需要外部知识（单跳、多跳和关系型查询），这些知识超出了当前 LLM 的内部知识，解决了缺乏开放世界评估标准的问题。

实验结果

作者在 OK-VOS 和现有的推理基准（ReasonSeg、ReasonVOS）上对 Seg-ReSearch 进行了评估：

OK-VOS 性能： Seg-ReSearch 显著优于最先进的（SOTA）专业化 RVOS 模型和基于 MLLM 的方法。其 8B 参数版本实现了 50.0 的整体 $J\&F$ ，超过搜索增强基线（Qwen3-VL-8B*+Search）超过 10 个百分点。这表明，仅仅为 MLLM 添加搜索工具是不够的；交织推理能力至关重要。
通用推理： 在常规基准（ReasonSeg 和 ReasonVOS）上，Seg-ReSearch-8B 建立了新的 SOTA 结果，在 ReasonVOS 上比 OneThinker-8B 高出 8.3 $J\&F$ ，证实了其在通用推理任务中的鲁棒性。
消融研究：
- 奖励设计： 分层奖励设计优于仅有稀疏结果和僵化逐步模仿的基线。
- 搜索设置： 性能随多轮搜索显著提高（当轮数从 1 增加到 5 时， $J\&F$ 从 42.6 跳升至 50.0），并受益于多模态检索（文本 + 图像）。
- 数据效率： 模型在增加训练样本时表现出持续的收益，而移除过程奖励会导致不稳定性。

意义与主张

论文声称 Seg-ReSearch 代表了迈向能够与动态世界交互的通用视觉识别与分割系统的重要一步。通过打破冻结 MLLM 的知识瓶颈，该框架使视觉智能体能够处理涉及最新信息和复杂推理链的开放世界查询。作者将这项工作定位为构建更具自主性和知识性的视觉智能体（用于机器人技术和教育领域）的基础性步骤，同时也承认了潜在的风险，如互联网偏见放大和隐私问题。其核心贡献在于证明了，在精心设计的分层奖励系统引导下，交织推理与外部搜索对于推动机器智能超越静态训练数据至关重要。