💻 computer science

Weakly-Supervised Referring Video Object Segmentation through Text Supervision

本文提出了一种名为 WSRVOS 的弱监督指代视频对象分割方法，该方法仅利用文本表达，通过结合多模态大语言模型生成的对比表达增强、双向视觉语言特征交互、实例感知表达分类、正预测融合策略以及时序片段排序约束，在无需像素级掩码标注的情况下实现了高质量的分割性能。

原作者： Miaojing Shi, Jun Huang, Zijie Yue, Hanli Wang

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Miaojing Shi, Jun Huang, Zijie Yue, Hanli Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 WSRVOS 的新方法，它的核心目标是解决一个非常有趣的问题：如何只通过“文字描述”来教电脑在视频里找到并圈出特定的物体，而不需要人工去一帧一帧地画框或描边。

为了让你更容易理解，我们可以把这项技术想象成**“教一个新手侦探找罪犯”**的过程。

1. 以前的难题：昂贵的“手把手教学”

在传统的视频分割技术中，想要让电脑学会在视频里找到“那只正在跑步的棕色狗”，人类老师必须非常辛苦地工作：

全监督（传统方法）： 老师要在视频的每一帧里，用笔把狗的形状精确地描出来（像素级标注）。这就像让老师拿着放大镜，一帧一帧地给狗画轮廓，工作量巨大且昂贵。
弱监督（之前的尝试）： 为了省力，以前的方法只让老师画个方框或者点个点。但这依然需要人工操作，而且如果物体被挡住或跑得太快，方框和点就不够用了。

这篇论文的突破在于： 我们完全不需要老师画框或描边，只需要老师说一句话（比如“那只正在跑步的棕色狗”），电脑就能学会自己去找。

2. 核心魔法：WSRVOS 是如何做到的？

作者设计了一套像“侦探训练营”一样的流程，包含五个关键步骤：

第一步：制造“假考题”和“加强版考题” (对比性描述增强)

问题： 原始的描述太简单了（比如“一只狗”），电脑学不会区分细节。
解决方法： 作者利用了一个超级聪明的 AI 大模型（像是一个博学的图书管理员），让它根据视频内容自动生成更多的描述：
- 生成“加强版”描述（正样本）： 把“一只狗”变成“一只在草地上奔跑、毛色棕黄、尾巴摇得很开心的狗”。这就像给侦探提供了更详细的线索。
- 生成“干扰项”描述（负样本）： 故意制造一些看起来很像但其实是错的描述，比如“一只在睡觉的棕色猫”或者“一只在奔跑的灰色狗”。
比喻： 就像老师不仅给了学生正确的答案，还故意出了几道**“陷阱题”**，让学生学会分辨什么是对的，什么是错的，从而变得更聪明。

第二步：双向“翻译”与“筛选” (双向视觉 - 语言特征选择)

问题： 视频里有很多无关的画面（比如背景里的树、路人），文字里也有很多废话（比如“那个”、“的”）。如果全都要处理，电脑会晕头转向。
解决方法： 电脑会进行**“双向筛选”**：
- 看图找词： 看着视频里的“奔跑动作”，去文字里找“奔跑”这个词，忽略“猫”这个词。
- 看词找图： 看着文字里的“棕色”，去视频里找“棕色”的区域，忽略“蓝色”的区域。
比喻： 这就像两个侦探在交换情报，一个人说“我要找红色的车”，另一个人立刻把画面里所有红色的车标出来，把蓝色的车全部屏蔽掉。双方只关注彼此最相关的信息。

第三步：学会“排雷” (实例感知表达分类)

问题： 既然生成了那么多“加强版”和“干扰项”，电脑怎么知道哪个是真的？
解决方法： 电脑被训练去判断：“这段视频画面，到底符合哪一句描述？”
- 如果画面符合“奔跑的狗”，它就给“奔跑的狗”打高分。
- 如果画面不符合“睡觉的猫”，它就给“睡觉的猫”打低分。
比喻： 就像侦探在审讯室里，把嫌疑人（视频画面）和通缉令（文字描述）放在一起比对，只有完全匹配的才会被选中，其他的都被淘汰。

第四步：集思广益生成“草图” (正预测融合)

问题： 既然没有老师画好的标准答案（真值掩码），电脑怎么知道自己画得对不对？
解决方法： 电脑把刚才所有“加强版”描述（正样本）找到的结果融合在一起。
- 如果“奔跑的狗”、“棕色的狗”、“摇尾巴的狗”这三条线索都指向同一个地方，那么那个地方肯定就是目标。
- 电脑把这个融合后的结果当作**“伪标准答案”**（Pseudo-mask），用来训练自己。
比喻： 就像三个不同的侦探分别画出了嫌疑人的草图，虽然每个人画的细节有点不同，但把这三张图叠在一起，重合度最高的部分，就是最真实的嫌疑人位置。电脑就照着这个“重合区”来学习。

第五步：保持动作连贯 (时间片段排序约束)

问题： 视频是连续的，如果上一帧狗在左边，下一帧突然跳到右边，那肯定不对。
解决方法： 电脑被要求：“离得越近的两帧，画出来的圈应该越相似；离得越远的，差异可以大一点。”
比喻： 就像拍连续剧，主角从这一秒走到下一秒，位置变化应该是平滑的，不能瞬移。这个规则保证了电脑画出来的轮廓在视频里是流畅自然的，不会像跳帧一样乱跳。

3. 结果如何？

实验证明，这套方法非常厉害：

省钱省力： 完全不需要人工画框或描边，只需要文字。
效果惊人： 在多个公开测试集上，它的表现甚至超过了那些需要“点一下”（点监督）的旧方法，甚至接近了需要“描边”（全监督）的顶尖水平。
速度快： 它的运行速度很快，适合实际应用。

总结

这就好比以前我们要教电脑认东西，得像私教一样手把手教（描边）；现在，我们只需要给电脑一本**“侦探手册”（文字描述），再给它一些“陷阱题”和“线索融合”**的训练，它就能自己学会在视频里精准地找到目标。

这项技术让视频编辑、监控分析等工作变得更加自动化和低成本，是人工智能理解视频内容的一大步。

这是一份关于论文《Weakly-Supervised Referring Video Object Segmentation through Text Supervision》（通过文本监督的弱监督指称视频对象分割）的详细技术总结。

1. 研究背景与问题定义 (Problem)

任务定义：指称视频对象分割（Referring Video Object Segmentation, RVOS）旨在根据给定的文本描述，在视频序列中分割出对应的目标实例。
现有挑战：
- 标注成本高昂：传统的 RVOS 方法主要依赖全监督学习，需要像素级的掩码（Mask）标注，这在视频数据中极其耗时且昂贵。
- 弱监督的局限性：现有的弱监督方法通常使用边界框（Bounding Box）或点（Point）作为监督信号，但这仍然需要大量的人工标注，且跨帧重复标注成本依然较高。
- 纯文本监督的难点：仅使用文本进行监督面临两大挑战：
  1. 模态异构性：视觉特征与语言特征之间存在巨大的语义鸿沟，难以进行细粒度的对齐。
  2. 视频动态性：视频中的遮挡、运动模糊以及时间动态变化，使得视觉内容具有冗余性和语义多样性，增加了文本与视频帧对齐的难度。
核心目标：提出一种仅依赖文本表达（Text Expressions）作为监督信号的弱监督 RVOS 方法，彻底摆脱对像素级掩码、边界框或点的依赖。

2. 方法论 (Methodology)

作者提出了名为 WSRVOS 的端到端弱监督框架，主要包含以下五个核心模块（如图 2 所示）：

2.1 对比指称表达增强 (Contrastive Referring Expression Augmentation, CREA)

利用多模态大语言模型（MLLM，如 Qwen3-VL）生成丰富的训练信号，以弥补原始标注的不足：

正样本生成：基于原始文本，让 MLLM 生成 $P$ 个包含更多视觉细节（外观、动作、实例间关系）的增强正样本描述。
负样本生成：利用 MLLM 生成 $N$ 个“硬负样本”。这些描述在语义上看似合理（如描述同一类别的物体），但在属性（颜色、形状）或动作上与原始视频内容不一致。
筛选机制：使用 InternVideo2 提取视觉和文本特征，计算余弦相似度，过滤掉低质量的生成描述，确保正负样本的质量。

2.2 双向视觉 - 语言特征选择与交互 (Bi-directional Vision-Language Feature Selection and Interaction)

解决视频内容冗余和文本无关词的问题，实现细粒度对齐：

双向特征选择：在编码器的每一层，根据文本特征选择最相关的视觉 Token（Top-K），反之亦然。被选中的特征保留，未选中的置零，然后与原始特征相加。这去除了不相关的背景或辅助词。
双向特征交互：利用交叉注意力机制（Cross-Attention）：
- 视 - 文注意力：以文本为 Query，视觉为 Key/Value，识别哪些文本成分对应视觉内容。
- 文 - 视注意力：以视觉为 Query，文本为 Key/Value，高亮与指称表达最相关的视觉区域。

2.3 实例感知表达分类 (Instance-aware Expression Classification, IEC)

基于多实例学习（MIL）思想，训练模型区分正负表达：

相似度图计算：计算视频帧视觉特征与所有生成表达（正 + 负）的相似度图。
提案聚合：对高相似度区域进行聚合，生成实例感知的提案特征。
双流分类：
- 分类流：预测每个提案对应哪个表达（利用预定义的文本特征作为权重，无需学习）。
- 分割流：预测哪些提案包含对特定表达有信息的帧片段（可学习参数）。
损失函数：通过二元交叉熵损失监督正负表达的区分。

2.4 正预测融合策略 (Positive-Prediction Fusion, PPF)

利用正样本预测生成高质量的伪掩码（Pseudo-masks）作为额外监督：

加权融合：根据正样本生成阶段的置信度分数，对多个正样本生成的相似度图进行加权平均。
伪掩码生成：对融合后的相似度图进行二值化，生成伪掩码。
监督作用：使用 Focal Loss 和 DICE Loss 将模型预测与伪掩码进行对齐，弥补纯文本监督的不足。

2.5 时间片段排序约束 (Temporal Segment Ranking, TSR)

利用视频的时间连续性优化掩码预测：

约束逻辑：对于时间上相邻的帧，其预测掩码的重叠度（IoU）应高于时间上较远的帧。即 $IoU(m_t, m_l) \ge IoU(m_t, m_n)$ （其中 $t < l < n$ ）。
损失函数：通过 ReLU 函数构建排序损失，强制模型学习时间上的平滑性和一致性。

3. 主要贡献 (Key Contributions)

首个纯文本监督的 RVOS 框架：提出了 WSRVOS，仅需文本表达即可训练，无需任何空间标注（Mask/Box/Point），显著降低了数据标注成本。
基于 MLLM 的对比增强策略：创新性地利用多模态大模型生成多样化的正负样本，解决了弱监督下语义信息匮乏和负样本难以构建的问题。
细粒度模态对齐机制：设计了双向特征选择与交互模块，有效解决了视频冗余和文本噪声问题，提升了视觉与语言的语义对齐精度。
时间一致性约束：引入时间片段排序约束，利用视频的时间动态特性优化掩码预测的连贯性。

4. 实验结果 (Results)

作者在四个主流 RVOS 数据集（A2D-Sentences, J-HMDB Sentences, Ref-YouTube-VOS, Ref-DAVIS17）上进行了广泛实验：

性能对比：
- WSRVOS 在仅使用文本监督的情况下，性能显著优于现有的弱监督方法（如基于点监督的 OCPG、基于框的 WRVOS 等）。
- 在 Ref-YouTube-VOS 上，WSRVOS 的 $J\&F$ 指标比之前的强监督方法 DViN 高出 7.1%。
- 在 Ref-DAVIS17 上， $J\&F$ 提升了 7.3%。
- 甚至在某些指标上，WSRVOS 的表现与需要人工标注点的强监督方法（如 OCPG）相当，证明了其有效性。
效率分析：
- WSRVOS 参数量仅为 31M（优于 ReferDINO 的 128M），推理速度达到 58 FPS，展现了极佳的计算效率和实时性。
消融实验：
- 移除 CREA、双向特征选择、IEC、PPF 或 TSR 中的任何模块，性能均出现显著下降，证明了各组件的必要性。
- 直接调用预训练 MLLM 进行 RVOS 任务效果极差（O-IoU 仅 24.5%），证明了针对任务进行微调（Fine-tuning）的必要性。

5. 意义与价值 (Significance)

降低门槛：该研究证明了仅通过文本即可实现高质量的视频对象分割，极大地降低了 RVOS 任务的数据标注门槛，使得在大规模无标注视频数据上训练成为可能。
技术范式创新：展示了多模态大语言模型（MLLM）在生成合成数据（正负样本）方面的巨大潜力，为弱监督计算机视觉任务提供了新的解决思路。
应用前景：该方法可广泛应用于基于文本的视频编辑、智能监控、人机交互等场景，特别是在缺乏精细标注数据的实际工业应用中具有极高的实用价值。

总结：WSRVOS 通过巧妙结合 MLLM 的生成能力、细粒度的模态对齐机制以及时间约束，成功攻克了仅靠文本监督进行视频对象分割的难题，在精度和效率上均达到了当前最先进水平（SOTA）。