💻 computer science

Robust Multimodal Dynamic Object Segmentation

本文提出了一种鲁棒的多模态动态物体分割框架，该框架通过基于 Transformer 的网络以及一种新颖的点查询 SAM 后处理方法，集成了 2D 点轨迹、3D 重建和语义信息，以实现精确、一致的分割和高质量的静态场景重建，其性能优于现有的最先进方法。

原作者： Zhe Xin, Hanzhi Chang, Penghui Huang, Yinian Mao, Guoquan Huang

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhe Xin, Hanzhi Chang, Penghui Huang, Yinian Mao, Guoquan Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图制作一个完美的、冻结的繁忙城市街道微缩景观，但你用来构建它的视频里到处是奔跑的人、疾驰的车和拍打翅膀的鸟。如果你只是尝试冻结整个场景，移动的人影会变成模糊的幽灵，毁掉你的杰作。为了解决这个问题，计算机需要一种特殊的技能，叫做“动态物体分割”（dynamic object segmentation）。你可以把它想象成一把超级强大的剪刀，能够瞬间剪出视频中每一个移动的事物，只留下静止、坚实的背景。

长期以来，计算机尝试通过观察两件事来进行这项工作：一是像素如何在屏幕上移动（就像观察一群蚂蚁在爬行），二是尝试从头开始重建世界的 3D 形状。但这些方法都有缺陷。“像素运动”方法经常会在物体的边缘出错，比如剪掉了人的手臂却留下了头部。而“3D 形状”方法则像是要在暴风雨中建造沙堡；如果风（或相机抖动）稍微弄乱了测量数据，整个结构就会坍塌。科学家们需要一种结合了这两者优点的方法——同时追踪运动、测量深度并理解物体“是什么”——从而实现精准的切割。

这正是新论文《鲁棒多模态动态物体分割》（Robust Multimodal Dynamic Object Segmentation）所提出的巧妙解决方案。作者利用来自美团无人机（Meituan UAV）和特拉华大学的数据，提出了一种系统，它像是一个侦探团队，通过整合三种不同类型的线索来破解“什么是移动的，什么是静止的”这一谜题。该方法并没有依赖单一类型的证据，而是采用了一种“多模态”方法，结合了 2D 点追踪（跟随移动的点）、3D 重建（推测场景的深度）以及语义信息（知道“狗”是一个通常会移动的物体）。

他们发明的核心是一个智能网络，充当着交通控制器的角色。它接收所有这些不同的线索，并将它们通过一个“Transformer”（一种擅长连接各个关联点的 AI 大脑）和一个“聚类”（clustering）模块进行处理。这使得系统可以观察一个场景并判断：“好吧，在这个部分，3D 深度线索不太可靠，所以我们更多地信任运动线索”；或者“在这里，运动情况很混乱，所以我们要听取语义线索，它告诉我们这是一个人”。通过让系统根据具体情况决定信任哪种线索，它避免了仅依赖单一方法时产生的错误。

然而，即使有优秀的侦探，最初的草图也可能有些凌乱。论文引入了第二个非常具有创意的技巧来清理边缘。以往的方法试图通过将整个模糊的形状交给一个叫做 SAM（Segment Anything Model，万物分割模型）的工具，并询问：“这是一个大的物体吗？”来修复凌乱的草图。但在现实世界中，一个单一的模糊色块可能包含三只朝不同方向奔跑的狗。作者意识到，把整个色块交给这个工具是个坏主意。相反，他们开发了一种“点查询”（point-query）策略。想象一下，从那个凌乱的色块中取出一个像素点，然后问工具：“这个特定的点是属于一只狗吗？”如果工具回答是，且形状看起来正确，我们就保留它。我们重复这个过程，一个点接一个点地进行，直到凌乱的色块被完美地切割成一个个清晰的个体。

他们的研究结果非常令人印象深刻。在包括合成数据集 PointOdyssey 和真实世界视频 DAVIS2017 在内的多个数据集上测试时，该方法达到了最先进的性能水平。在 PointOdesty 数据集上，他们的模型达到了 93.69% 的准确率（使用了额外的清理步骤），击败了之前的顶尖方法如 DAS3R（得分为 92.22%）。他们还展示了该方法速度更快，处理每一帧仅需 0.2833 秒，而其他一些先进模型则需要超过 27 秒。

论文明确反对仅依赖单一模态线索（仅靠流或仅靠 3D）以及使用旧有的 SAM 处理方式（即将整个掩码视为一个整体物体）。他们发现，当物体被遮挡或相机发生复杂运动时，这些旧方法会失效。他们的实验表明，通过结合多种线索并使用逐点清理的方法，他们能更好地处理这些棘手的场景。虽然该方法非常有效，但作者也指出，当动态物体占据整个图像时，它仍然面临挑战，因为在这种情况下，背景线索变得过于稀缺，难以发挥作用。

最终，这项工作不仅能制作出更好的视频掩码，还能实现更好的 3D 重建。通过精确地移除那些移动的“幽灵”，系统可以高清晰度地重建背后的静态世界，在 DAVIS 数据集上实现了 30.60 的 PSNR（一种图像质量衡量标准），高于所有测试过的其他方法。这是在教计算机如何不只是看一部平面的电影，而是看作一个动态的、3D 的世界，从而将演员与舞台分离。

技术摘要：鲁棒的多模态动态物体分割

问题陈述

动态物体分割是诸如动态视频中的静态场景重建、自主机器人以及 AR/VR 等应用的关键前提。其核心挑战在于，如何在具有复杂物体运动、相机运动、环境干扰和尺度变化的真实场景中，准确地将运动物体从背景中分离出来。

现有的方法通常分为两种范式，两者都存在显著的局限性：

基于 2D 光流的方法： 虽然这些方法可以估计像素级的运动，但往往无法确保物体边界内的静态/动态分割一致性。此外，由于依赖 2D 数据，它们难以将物体运动与相机运动解耦。
基于 3D 重建的方法： 这些方法通过深度图或 3D 点云推导动态掩码。然而，它们对重建误差（例如深度估计不准确）高度敏感，并且在动态物体违反极线约束时，可能会产生不可靠的结果。

此外，当前的最先进方法通常依赖于使用 Segment Anything Model (SAM) 进行后处理。这些实现中的一个常见缺陷是将整个动态掩码视为 SAM 的单个查询（query），并假设所有被遮盖的像素都属于同一个物体。这种假设在涉及多个运动物体的现实场景中经常失效，导致分割不完整或错误。

方法论

作者提出了一个统一的框架，该框架整合了多模态线索——具体包括 2D 点追踪、3D 重建和语义信息——以生成精确且完整的动态掩码。该架构由三个主要阶段组成：

1. 多模态特征提取

系统摄取一段动态视频剪辑，并提取三种不同类型的特征：

3D 重建： 利用 MonST3R，系统生成逐帧深度图、相机内参/外参以及注意力图（attention maps）。源自 ViT 解码器的注意力图为识别动态物体提供了宝贵的线索。
2D 追踪： 使用 CoTracker，系统从第一帧采样 2D 点，并在整个视频序列中追踪它们的轨迹。
语义信息： 采用 SAMv2 来提取逐帧语义特征图。

2. 通过轨迹分类进行动态掩码估计

该方法并非处理单帧图像，而是将输入特征转换为基于点的轨迹。对于每个轨迹 $k$ ，系统通过拼接以下内容构建特征向量 $F_{traj}$ ：

2D 像素位置及其偏移量 ( $\Delta x$ )。
深度值及其偏移量 ( $\Delta d$ )。
相机参数（焦距、帧间变换矩阵）。
插值的注意力值和语义特征。

分类流水线包括：

语义聚类： 一个基于点的模块 ( $\Phi_{sem}$ ) 使用可微池化和 CNN 进行语义特征聚类，旨在捕捉聚类内的全局上下文并细化局部特征。
Transformer 集成： 将几何轨迹特征 ( $F_{traj}$ ) 与细化后的语义特征进行拼接，并输入到 Transformer 编码器中。这使得模型能够学习个体轨迹内部以及整个轨迹集之间的相互作用。
聚合与分类： 一个解码器聚合网络进一步聚类并融合这些特征，以输出运动置信度分数。通过 Sigmoid 函数确定每个轨迹最终的静态/动态分类。

3. 基于点查询（Point-Query）的 SAM 后处理

为了解决标准 SAM 后处理中“单物体假设”的局限性，作者引入了一种迭代点查询策略：

所有被标记为动态的像素构成集合 $X_{dyn}$ 。
系统从 $X_{dyn}$ 中随机采样单个像素 $x$ 作为 SAM 的点查询。
根据重叠率和像素数量，将生成的掩码 $M_x$ 与粗略掩码进行评估。
如果有效，则将 $M_x$ 添加到最终输出中，并将其中包含的像素从 $X_{dyn}$ 中移除。
该过程循环执行，直到 $X_{dyn}$ 为空，从而有效地处理单个初始掩码内的多个物体。

核心贡献

本文概述了三项主要贡献：

多模态集成框架： 一种新型网络，统一了 2D 点追踪、3D 重建（深度和相机位姿）以及语义信息。这种集成使模型能够根据场景特征自适应地确定哪种特征模态占主导地位，从而减轻特征退化（如糟糕的光流或深度估计）的影响。
基于点查询的 SAM 精细化： 一种新的后处理方法，它将单个像素视为查询，而非整个掩码。这显著提升了在具有多个运动物体的复杂场景中的表现，克服了以往基于掩码的 SAM 方法的局限性。
全面的验证： 通过广泛的实验，证明了该方法在动态物体分割精度和静态场景重建质量方面均达到了最先进水平（SOTA）。

实验结果

该方法在三个数据集上进行了评估：PointOdyssey（合成）、DAVIS2017（真实世界）和 Sintel（合成，高动态）。

分割精度： 在 PointOdyssey 上，所提方法的准确率达到 93.70%，召回率达到 81.42%，优于 DAS3R (92.22% Acc) 和 Easi3R (88.17% Acc) 等 SOTA 基准模型。在 DAVIS2017 上，带有 SAM 精细化处理的方法达到了 94.01% 的准确率和 93.14% 的召回率，展示了对真实场景卓越的泛化能力。
静态场景重建： 当与 3D 高斯泼溅（3DGS）结合用于静态场景重建时，该方法在 DAVIS2017 DAS3R 切分集上取得了最高的 PSNR (30.60) 和 SSIM (0.933)，超越了 MonST3R、Easi3R 和 DAS3R。
效率： 所提模型的效率显著高于基准模型，其参数量为 2.8M，每段剪辑的推理时间为 0.28s，而 MonST3R 和 DAS3R 等方法的参数量达数亿，且推理时间需数十秒。

意义与主张

作者声称，他们的框架通过利用几何（3D）、运动（2D 追踪）和语义数据的互补优势，解决了依赖单一模态线索的根本局限。通过显式建模特征轨迹并引入鲁棒的点查询后处理步骤，该方法实现了现有方法所缺乏的精度与完整性之间的平衡。

论文也坦诚地指出，尽管该方法在多种基准测试中表现强劲，但在动态物体占据图像主导地位的场景下仍面临挑战。作者认为，通过更多样化的训练数据和增强的模型精细化来解决这一局限性是未来的研究重点。本研究由深圳市科技计划资助。