X2SAM: Any Segmentation in Images and Videos
X2SAM 是一个统一的多模态大语言模型，它通过将大语言模型与掩码记忆模块相结合，将任意分割能力从图像扩展至视频，从而能够在多种分割任务中，依据对话指令和视觉提示生成高质量且时间一致的掩码。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你拥有一位超级智能的助手，它能查看照片或视频，并准确告诉你正在发生什么。长期以来，这些助手擅长描述“大局”（例如“一只狗在公园里玩耍”），却不擅长指出具体细节（例如“在狗的左爪周围画一个圆圈”）。
另一方面，你还有专门的工具，它们擅长在物体周围绘制精确的圆圈（掩膜），但它们就像只懂简单指令的机器人，比如“点击这里”或“画一个框”。它们无法理解复杂的句子，例如“找到那只追逐红球的狗，并在它周围画圈”。
X2SAM 是弥合这一鸿沟的新型“超级连接器”。它将对话式人工智能的“大脑”与精准绘图工具的“双手”相结合，且同时适用于静态照片和动态视频。
以下是其工作原理的分解，借助一些日常类比：
1. 图片与视频的“通用翻译器”
将 X2SAM 想象成一位同时精通“人类语言”和“像素语言”的通用翻译器。
- 旧方式：如果你想在视频中查找特定物体，可能不得不使用一个工具来理解视频，再用另一个工具来绘制轮廓。它们彼此之间沟通不畅。
- X2SAM 方式：你可以自然地与它对话。你可以说：“向我展示那个在白墙附近来回走动的人”，甚至可以直接指着屏幕上的某个位置说：“找出这个区域里有什么。”X2SAM 会理解指令并立即为你绘制轮廓，无论是单张照片还是 10 秒的视频片段。
2. 动态图像的“记忆库”
这是让 X2SAM 在视频处理方面独具特色的秘诀。
- 问题：如果你要求标准 AI 跟踪视频中的人物，它往往将每一帧（每一瞬间的图像）视为全新的画面。当人物走到树后或相机抖动时，它可能会跟丢目标。
- X2SAM 的解决方案：X2SAM 拥有一个掩膜记忆模块。想象这是一个“便利贴”系统。随着视频播放，X2SAM 会记录下物体在上一帧的位置，并将这张“便签”留在口袋里。当它查看下一帧时，会查阅笔记并说：“啊，我知道这个人刚才还在这里，所以他们很可能还在这里。”这使得它即使面对物体移动、被遮挡或形状改变的情况，也能保持物体轮廓的平滑与一致。
3. 任务的“瑞士军刀”
论文声称，X2SAM 能够用单一系统处理海量多样的任务，而无需为每项工作使用不同的工具。它可以执行：
- 通用分割：“为这张图片中的所有物体绘制轮廓。”
- 指代分割：“画出戴着帽子的猫。”
- 推理分割：“找出可以用来往玻璃杯里倒水的物体。”（它必须思考才能推断出那是个水壶，而不仅仅是寻找“水壶”这个词）。
- 视觉 grounded 分割：你指着屏幕上的某个位置，它就会绘制出你所指的那个物体。
- 对话：它可以在为你绘制掩膜的同时，与你就图片或视频进行交谈。
4. 它是如何学习的（训练过程）
为了变得如此出色，研究人员并非一次只教它一件事。他们采用了统一联合训练策略。
- 类比：想象你在教一名学生。你不再周一教数学、周二教历史，而是同时教他们如何利用历史事实来解决数学问题，反之亦然。
- X2SAM 是在海量混合图像和视频的同时训练下成长的。这帮助它认识到，在照片中查找“狗”的规则与在视频中查找“狗”的规则相似，但多了一个额外的挑战：记住狗在一秒前在哪里。
5. 新的“测试”（V-VGD）
作者还创建了一项名为视频视觉 grounded（V-VGD）分割的新测试。
- 类比：以前的测试大多问：“你能找到那只狗吗？”而 X2SAM 的新测试问：“我正在这个视频的屏幕上指着一个位置；你能找到我指着的物体，并随着它的移动进行跟踪吗？”这测试了 AI 是否能真正理解视觉线索与移动物体之间的联系。X2SAM 以优异的成绩通过了这项测试，击败了之前的模型。
总结
X2SAM 就像给一位人类艺术家配备了一双能看见每个像素的眼睛、一个能理解复杂句子和逻辑的大脑，以及一个能记住事物片刻前位置的记忆。它允许你与计算机进行自然对话，以在照片和视频中找到并勾勒出特定事物，所有这一切都在一次操作中完成。
它不做的事情（基于论文）：
论文完全专注于在图像和视频中对物体进行分割（勾勒轮廓）的技术能力。它并未声称用于医疗诊断、自动驾驶汽车或安全监控，尽管这些是此类技术潜在的未来用途。它严格来说是一个基于指令来理解和勾勒视觉内容的工具。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。