🤖 AI

An Open-Source Benchmark and Baseline for Multi-temporal Referring Segmentation

本文引入了多时相指代分割（Multi-temporal Referring Segmentation, MTRS）作为一种用于分割语言描述的时相变化的新任务，并由 MTRefSeg-21K 基准测试集和 MTRefSeg-R1 框架提供支持，后者通过显式建模跨时相视觉差异的两阶段训练策略展示了卓越的性能。

原作者： Bingyu Li, Da Zhang, Tao Huo, Zhiyuan Zhao, Junyu Gao, Xuelong Li

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bingyu Li, Da Zhang, Tao Huo, Zhiyuan Zhao, Junyu Gao, Xuelong Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：教 AI 识别“变化了什么”

想象一下，你正在看一张你客厅的照片。现在，想象你在五分钟后看到了同一间客厅的第二张照片。在第二张照片中，一个花瓶从桌子上掉下来了，并且增加了一株新的植物。

目前大多数 AI 模型就像只看单张照片的人。如果你问它们：“新植物在哪里？”它们可能会根据植物通常的长相来猜测，但除非它们对比两张照片，否则无法确定那是“新”出现的。

这篇论文引入了一项名为**多时序指代分割（Multi-temporal Referring Segmentation, MTRS）**的新任务。可以把它想象成给 AI 出一道“找不同”的谜题，但有一个转折：你必须用自然语言来描述这种变化。

提示词（Prompt）： “找到那个倒下的花瓶。”
目标： AI 必须观察两张照片，找出发生了什么变化，并仅针对该特定变化绘制出精确的轮廓（掩码/Mask）。

问题所在：AI 不擅长处理“过去 vs 现在”

作者发现，即使是目前最智能的 AI 模型（称为大型视觉语言模型），在处理这类问题时也表现得很吃力。

类比： 想象给一名学生看一张街道的照片，然后在一周后展示同一条街道的照片，但此时增加了一个建筑工地。如果你问：“新的建筑工地在哪里？”一个只研究过第一张照片的学生可能会指向那片空地并说：“它一直都在那里。”他们还没有学会如何对比这两个时刻。
现实情况： 当研究人员在这一新任务上测试现有 AI 时，这些模型表现得很糟糕。它们无法区分哪些是始终存在的事物，哪些是真正发生变化的事物。

解决方案：构建一个新的操场 (MTRefSeg-21K)

为了教会 AI 这项技能，研究人员需要一个庞大的练习集。他们不能直接从网上找到这些例子，必须亲手构建。

工具 (CRAFT-Agent)： 他们创建了一个名为 CRAFT-Agent 的自动化机器人助手。把它想象成一个超快速的编辑。它扫描成对的图像，找出其中的差异，并写下一句描述性的句子（例如：“消失在房子角落附近的垃圾桶”）。
数据集 (MTRefSeg-21K)： 利用这个机器人，他们构建了一个包含 21,000 个高质量样本的库。这个库涵盖了从城市街道、森林到地球卫星视图的所有内容。这是第一个专门用于教 AI 如何通过语言描述随时间变化的“教科书”。

新型 AI 模型：MTRefSeg-R1

研究人员不仅编写了教科书，还创造了一个向其学习的新学生。他们将这个模型命名为 MTRefSeg-R1。

他们没有尝试让 AI 一次性学完所有内容，而是采用了两阶段训练策略，这就像是一个两步走的学徒制过程：

第一阶段：“侦探”阶段（仅限视觉）
- 在 AI 看到任何句子之前，先给它看 20,000 对图像，并问它：“这里发生了什么变化？”
- 类比： 这就像是在不提供任何线索的情况下，训练一名侦探去识别犯罪现场照片中的差异。AI 学习如何忽略那些保持不变的事物（如天空或道路），并高度专注于那些移动、出现或消失的事物。
第二阶段：“翻译”阶段（加入语言）
- 现在，他们引入了句子。他们教 AI 将在第一阶段学到的“侦探”技能应用到特定的指令中。
- 类比： 现在，侦探得到了一个具体的线索：“找到那辆消失的红色汽车。”AI 使用它敏锐的目光寻找变化，但现在它会通过语言指令进行过滤，从而找到你要求的确切物体。

结果

当他们用这个新型两阶段 AI 与旧模型进行对比测试时：

旧模型： 感到困惑。它们经常指向整个场景或错误的物体。
MTRefSeg-R1： 成为了冠军。无论是卫星照片中新建的建筑，还是街景中消失的汽车，它都能准确地围绕特定变化绘制轮廓。

为什么这很重要（根据论文所述）

论文声称这是一个重大的进步，因为它使 AI 从仅仅“看到”一张静态图片，转向“理解”场景如何随时间演变并基于人类对话进行演变。它证明了要理解变化，AI 需要经过专门训练来寻找差异，而不仅仅是识别物体。

简而言之： 这篇论文构建了一个新的训练场和一种新的训练方法，旨在教 AI 如何成为一名能够听从你的声音，并精准指出两个时刻之间发生了什么变化的“变化侦探”。

技术摘要：一种用于多时序指代分割的开源基准与基线模型

1. 问题定义

本文解决了大型视觉-语言模型（LVLMs）中的一个空白：尽管这些模型在静态视觉理解和语言引导的定位方面表现出色，但其多时序视觉推理的能力仍未得到充分探索。现有的语言引导分割任务（开集词汇、指代分割和推理分割）通常针对单时序图像运行，假设目标可以通过静态观察进行识别。

然而，现实世界的场景通常需要根据自然语言来识别随时间发生的变化。例如，定位在两次观测之间“消失”的车辆，或分割一段“消失”的森林区域。这需要一个共同具备以下能力的任务：

时序对应推理： 比较在时间上相关的图像以识别变化。
语言引导： 理解描述变化的特定自然语言指令。
像素级掩码预测： 分割出与所述时序变化相对应的特定区域。

作者将这一新任务定义为多时序指代分割（Multi-temporal Referring Segmentation, MTRS）。在其主要形式中，MTRS 接收一对在时间上分离的图像（ $I_{t1}, I_{t2}$ ）和一个描述特定变化的自然语言表达式（ $x$ ，例如“出现”、“消失”、“新放置”），并输出一个用于指代变化区域的二值掩码（ $M$ ）。

2. 方法论

A. 数据集构建：CRAFT-Agent 与 MTRefSeg-21K

为了进行系统性研究，作者构建了 MTRefSeg-21K，这是首个大规模 MTRS 基准数据集。

CRAFT-Agent： 一个带有人工审计的自动化数据构建流水线。它分为三个阶段运行：
1. 网格感知变化感知： 多模态大语言模型（MLLM）检查双时序图像对以识别差异，生成带有空间线索和变化类别（出现/消失/状态变化）的初始指代表达式以及粗略掩码。
2. 迭代优化： 视觉-语言分割模型逐步提高掩码边界的准确性。
3. 表达式美化： 将机械性的描述重写为自然、语境连贯的指代表达式。
数据集统计： MTRefSeg-21K 包含 21,000 个高质量的双图像-文本-掩码三元组，涵盖了包括普通场景（NS）和遥感（RS）在内的多种领域。它覆盖了各种视角（航空、常规）、场景（城市、工业、季节性）和分辨率（224² 到 2048²）。

B. 基线适配

作者通过将现有的 VLM 和 LVLM 适配到 MTRS 设置中来建立基线：

VLM 适配： 将单图像输入替换为配对的时序图像。特征由共享的视觉编码器进行编码，并通过时序融合算子（连接、差分等）进行融合，然后再输入到分割解码器中。
LVLM 适配： 重新构建提示词以明确说明时间顺序（例如，“ 是较早的图像...”）。融合后的视觉表示和提示词由多模态大语言模型处理，其特殊 [SEG] 标记的隐藏状态用于引导掩码解码器。

C. 提出的模型：MTRefSeg-R1

为了克服直接推理和简单微调的局限性，作者提出了 MTRefSeg-R1，这是一个通过两阶段策略训练的具备变化感知能力的 LVLM 框架：

第一阶段：多时序视觉预训练（仅视觉）：
- 模型在约 20K 个仅视觉的双时序变化样本（不含语言）上进行训练。
- 目标： 在接触语言指令之前，学习通用的时序变化感知、跨时序对应关系和变化定位。
- 架构： 使用共享的多尺度视觉编码器和一个变化感知融合模块（Change-Aware Fusion Block）。该模块通过计算有符号差分（保留方向：出现 vs. 消失）和绝对差分（变化幅度）来显式建模时序差异，并利用门控机制将其与融合过程结合，以控制信息注入。
第二阶段：指代式多时序微调：
- 模型在 MTRefSeg-21K 上使用双时序图像-文本-掩码三元组进行微调。
- 目标： 学习将细粒度的语言指令与特定的时序变化区域进行对齐。
  [] 机制： LVLM 处理时序图像标记和指代表达式。[SEG] 标记的隐藏状态被投影为一个受语言调节的分割查询，该查询引导掩码解码器输出文本所描述的特定区域，而非所有的变化区域。

训练目标： 一个结合了语言模型损失、分类损失、掩码预测损失（BCE）和 Dice 损失（用于处理前景-背景不平衡）的联合损失函数。

3. 核心贡献

任务定义： 引入了多时序指代分割（MTRS），统一了时序变化理解、自然语言引导和像素级分割。
基准测试： 通过 CRAFT-Agent 构建了 MTRefSeg-21K，提供了第一个包含 21K 高质量三元组（涵盖普通场景和遥感领域）的大规模数据集。
方法论： 提出了两阶段训练策略（先进行仅视觉预训练，后进行语言引导微调）和 MTRefSeg-R1 框架，该框架能够显式建模跨时序视觉差异。
评估： 对现有 VLM 和 LVLM 进行了全面的基准测试，证明了直接推理是失败的，且特定任务的适配至关重要。

4. 实验结果

在 MTRefSeg-21K 的三种设置下进行了广泛实验：总体（训练 $\rightarrow$ 验证）、普通场景（NS $\rightarrow$ NS）和遥感（RS $\rightarrow$ RS）。

基线性能： 未经微调的现有 LVLM（如 LISA, GSVA）的直接推理表现很差（mIoU $\approx$ 2–18%），表明单时序预训练不足以进行时序推理。
微调影响： 在 MTRefSeg-21K 上对现有 LVLM 进行微调显著提高了性能（mIoU $\approx$ 50–60%），验证了该基准的必要性。
MTRefSeg-R1 性能： 提出的模型达到了最先进的结果，在总体设置中超过了最强的微调后 LVLM 基线（SegEarth-R1）6.08 mIoU（65.68 vs. 59.60），并在高阈值下实现了卓越的精确度（Pr@80, Pr@90）。
- NS 领域： 59.87 mIoU。
- RS 领域： 68.92 mIoU。
消融实验：
- 融合： 提出的“变化感知”融合模块优于简单的平均或纯差分，尤其是在微调阶段。
- 预训练： 第一阶段的仅视觉预训练相比于端到端 MLLM 预训练或无预训练显著提升了性能，证实了在进行语言引导前学习变化感知的重要性。
- 微调： 全参数微调优于参数高效的 LoRA 微调，表明 MTRS 需要对视觉编码器和融合模块进行实质性的适配。

5. 意义与主张

本文声称 MTRS 代表了向交互式和场景驱动智能迈出的重要一步，将语言引导的感知从静态理解转向了动态场景中的时序推理。

当前模型的局限性： 该工作强调，当前的 LVLMs 难以区分与语言相关的时序变化与无关的视觉差异，或者在没有显式训练的情况下定位特定的变化物体。
两阶段学习的必要性： 结果表明，获得通用的时序变化感知（通过仅视觉预训练）是实现有效的语言引导时序定位的前提条件。
基准的实用性： MTRefSeg-21K 为普通场景和遥感社区提供了一个统一且具有领域感知能力的基准，能够对跨领域泛化进行系统分析。

作者总结道，虽然 MTRefSeg-R1 展示了强大的性能，但在面对剧烈的视角变化、极小物体和歧义表达时仍面临挑战，这为更长时序序列的研究和提高鲁棒性指明了未来的方向。