💻 computer science

MAMMA: Markerless & Automatic Multi-Person Motion Action Capture

本文提出了 MAMMA，一种基于多视角视频的无标记多人动作捕捉系统，它通过引入接触感知的密集表面特征点预测和可学习查询架构，有效解决了复杂人际交互中的遮挡问题，并利用自建的包含丰富接触与遮挡的合成数据集实现了媲美商业标记系统的重建精度。

原作者： Hanz Cuevas-Velasquez, Anastasios Yiannakidis, Soyong Shin, Giorgio Becherini, Markus Höschle, Joachim Tesch, Taylor Obersat, Tsvetelina Alexiadis, Eni Halilaj, Michael J. Black

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hanz Cuevas-Velasquez, Anastasios Yiannakidis, Soyong Shin, Giorgio Becherini, Markus Höschle, Joachim Tesch, Taylor Obersat, Tsvetelina Alexiadis, Eni Halilaj, Michael J. Black

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 MAMMA 的新技术，它的名字很有趣，全称是“无标记、高精度、多人动作捕捉系统”（Markerless Accurate Multi-person Motion Acquisition）。

为了让你轻松理解，我们可以把这项技术想象成给电影特效和动画制作装上了一双“火眼金睛”和“超级大脑”。

1. 以前的痛点：笨重又昂贵的“蜘蛛侠”

传统的动作捕捉（就像拍《阿凡达》或《指环王》里的咕噜那样）需要演员穿上一件贴满反光小圆点（标记点）的紧身衣，然后在布满摄像头的房间里表演。

缺点：这就像让演员穿上一身带刺的盔甲。
- 麻烦：贴这些点很花时间，还得专门的人来操作。
- 脆弱：如果演员抱在一起（比如跳舞、打架），或者点掉了，电脑就分不清谁是谁了，后期修图（清理数据）要花好几个小时，甚至几天。
- 贵：需要昂贵的专业设备和场地。

2. MAMMA 的解决方案：像“读心术”一样的 AI

MAMMA 不需要演员穿任何特殊衣服，也不需要贴那些烦人的小圆点。它只需要多台普通的摄像机（甚至可以是手机）拍一段视频，然后 AI 就能自动算出演员的每一个动作。

它是怎么做到的呢？我们可以用三个生动的比喻来解释：

比喻一：从“数手指”到“全身扫描”

以前的 AI 看人，就像是在黑暗中只数你伸出了几根手指（稀疏的关键点）。如果两个人抱在一起，手指混在一起，AI 就晕了。
MAMMA 的做法：它像是在演员身上点了512 个隐形的“虚拟点”（密集地标），覆盖了全身，包括手指尖和脚趾尖。

创新点：它不仅仅是找点，它还能“思考”。它会问：“这个点属于左边的人还是右边的人？”、“这个点被挡住了吗？”、“这个点是不是碰到了地板或另一个人？”。
效果：即使两个人抱得紧紧的，MAMMA 也能像有透视眼一样，把每个人的身体轮廓清晰地分开，不会搞混。

比喻二：像“侦探”一样寻找线索

MAMMA 的核心是一个叫 MammaNet 的 AI 网络。

传统方法：像是一个只会死记硬背的学生，看到熟悉的姿势就能认出，遇到奇怪的瑜伽动作就傻眼。
MAMMA 的方法：它像是一个经验丰富的侦探。它给全身每一个“虚拟点”都分配了一个专属的“侦探助手”（可学习的查询向量）。这些助手会互相商量：“嘿，这个点在图片的这里，结合那个人的影子和遮挡情况，它应该属于谁？”
辅助工具：它还会利用一种叫 SAM 2 的“分割大师”工具，先把画面里的人像剪影一样扣出来。这就像给侦探提供了“嫌疑人名单”，让它更容易在混乱的人群中锁定目标。

比喻三：像“拼图”一样还原 3D 世界

有了这些密集的虚拟点，MAMMA 就像在玩一个超级复杂的3D 拼图。

它把多角度的视频画面结合起来，通过数学计算，把这些 2D 的点还原成 3D 的模型（SMPL-X，一种标准的数字人体模型）。
关键一步：它会检查“物理合理性”。比如，如果计算结果显示一个人的手穿过了另一个人的身体（像幽灵一样），MAMMA 会立刻修正，因为它的 AI 知道“人不能穿墙”。这解决了以前技术中人物互相“穿透”的尴尬问题。

3. 它有多厉害？（实战表现）

为了证明它不是“纸上谈兵”，作者们做了两件大事：

造了一个“虚拟训练场” (MammaSyn)：
因为现实中很难拍到足够多两个人抱在一起跳舞或打架的高质量数据，他们就用电脑生成了250 万张合成图片。这些图片里包含了各种极端的姿势、复杂的互动和遮挡，专门用来“喂”给 AI 训练，让它见多识广。
和“黄金标准”硬碰硬：
他们拿 MAMMA 的结果和世界上最昂贵的专业动作捕捉系统（Vicon，就是好莱坞用的那种）做对比。
- 结果惊人：MAMMA 的准确度与 Vicon 系统几乎一模一样（误差只有不到 1 毫米，相当于头发丝的粗细）。
- 速度更快：以前用 Vicon 系统，从拍摄到修好数据可能需要72 小时；用 MAMMA，只需要26 小时，而且不需要人工去一个个修错乱的点。

4. 总结：这意味着什么？

简单来说，MAMMA 把动作捕捉从“昂贵的奢侈品”变成了“人人可用的日用品”。

以前：只有大电影公司才玩得起，演员要穿紧身衣，还要忍受漫长的后期修图。
现在：只要有几台摄像机（甚至手机），AI 就能自动搞定。无论是两个人跳舞、打架，还是复杂的体操动作，它都能精准还原。

这项技术让未来的动画制作、游戏开发、甚至医疗康复分析变得更加便宜、快速和普及。它就像给计算机视觉领域装上了一套“无需穿戴设备”的超级动作捕捉系统，让捕捉人类动作变得像拍视频一样简单自然。

MAMMA: 无标记多人大规模运动捕捉技术详解

1. 研究背景与问题 (Problem)

传统的运动捕捉（Motion Capture, MoCap）系统（如 Vicon、OptiTrack）依赖物理标记点（Markers）和专用硬件，虽然精度高，但存在显著缺点：

成本高且耗时：需要昂贵的硬件、专业的人员配置以及繁琐的标记点粘贴过程。
后期处理复杂：标记点容易脱落或被遮挡，导致数据噪声大，需要大量人工清理（Post-processing），处理复杂姿态或多人大规模互动时尤为困难。
缺乏互动数据：现有的数据集往往缺乏紧密的人与人互动（如拥抱、舞蹈、格斗），因为标记点在近距离接触时极易混淆或丢失。

现有的基于学习的无标记（Markerless）方法大多局限于单人捕捉、依赖稀疏关键点，或在处理严重遮挡和物理接触时表现不佳。此外，学术界缺乏通用的密集地标预测基准，且难以与商业标记系统直接进行定量对比。

核心目标：开发一种无需物理标记、能处理紧密多人互动、且精度可媲美商业标记系统的运动捕捉流水线，并使其对学术研究开放。

2. 方法论 (Methodology)

MAMMA (Markerless Accurate Multi-person Motion Acquisition) 提出了一套完整的无标记运动捕捉流水线，主要包含以下核心模块：

2.1 密集接触感知地标预测 (Dense Contact-Aware Landmark Estimation)

MammaNet 架构：提出了一种基于 Transformer 的新型网络，用于预测密集的 2D 表面地标。
- 可学习查询 (Learnable Queries)：不同于以往方法使用单一 Token 预测所有地标，MammaNet 为每个地标（共 512 个）学习独立的 Embedding（查询向量）。这使得网络能通过交叉注意力机制将每个地标匹配到图像中最相关的区域，并通过自注意力机制学习地标间的成对相关性。
- 多任务输出：网络不仅预测地标坐标 $(\mu)$ ，还同时预测不确定性 $(\sigma)$ 、可见性 $(p_{vis})$ 、人与人接触 $(p_{c})$ 和地面接触 $(p_{f})$ 概率。
- 分割掩码条件化：利用 SAM 2 (Segment Anything Model 2) 生成的实例分割掩码作为条件输入，帮助网络在多人重叠时正确区分个体，解决身份歧义问题。

2.2 合成数据集构建 (MammaSyn)

为了训练网络处理极端姿态和紧密互动，作者构建了大规模合成数据集 MammaSyn（基于 BEDLAM 扩展）：

多视角配置：模拟 32 相机视角。
数据多样性：包含单人极端姿态、手部精细动作（SignAvatars, InterHand2.6M）以及双人紧密互动（拉丁舞、格斗等）。
密集标注：从 SMPL-X 模型采样 512 个顶点作为密集地标真值，并计算了精确的接触标签（SDF 计算）和可见性标签。

2.3 模型拟合与优化 (Model Fitting)

利用预测的密集地标、不确定性、可见性和接触信息，通过 L-BFGS 优化器拟合 SMPL-X 参数（姿态 $\theta$ 、形状 $\beta$ 、平移 $t$ ）：

两阶段优化：
1. 最小化重投影误差（Reprojection Error），利用鲁棒核函数处理异常值。
2. 引入正则化项优化姿态和形状。
接触约束 (Contact Constraints)：
- 防穿透 (Repulsion)：利用 SDF（有向距离函数）惩罚两个身体之间的穿透。
- 接触吸引 (Attraction)：根据预测的接触概率，将身体表面点拉向地面或另一人的表面。
无需先验初始化：得益于地标的高精度，优化过程不需要复杂的姿态先验或初始化。

2.4 多视角对应关系 (Multiview Correspondence)

利用 SAM 2 进行跨帧人物追踪。
通过计算不同视角间地标的对称极线距离 (Symmetric Epipolar Distance) 作为代价函数，使用匈牙利算法解决多视角下的人物身份匹配问题，确保跨视角的一致性。

3. 关键贡献 (Key Contributions)

MAMMA 系统：首个能高精度从多视角视频中恢复 SMPL-X 参数（含手、脸、身体）的无标记多人捕捉系统，特别擅长处理紧密互动和遮挡。
MammaSyn 数据集：构建了包含 250 万张图像的大规模合成数据集，专门针对紧密互动、极端姿态和手部细节进行了增强，填补了真实数据中互动场景的空白。
MammaNet 网络架构：提出了基于可学习查询的 Transformer 密集地标预测器，结合分割掩码条件化，显著提升了遮挡和重叠场景下的鲁棒性。
与商业系统的定量对比：
- 构建了 MammaEval-Extra 真实数据集，包含额外的 37 个“未使用”标记点作为独立真值。
- 将 MAMMA 与基于 Vicon 标记点 + MoSh++ 的工业级流程进行对比。结果显示，两者在 3D 标记点误差上仅相差 0.862mm，且生成的动画在视觉上难以区分。
效率提升：将完整的捕捉到 SMPL-X 流程从人工标记的约 72 小时缩短至 26 小时（在消费级 GPU 上），效率提升近 3 倍。

4. 实验结果 (Results)

2D 地标精度：在单人（RICH, MOYO）和双人互动（Harmony4D, CHI3D）数据集上，MAMMA 的 2D 地标预测误差显著低于 CameraHMR 和 Look-Ma* 等现有方法。特别是在双人互动且遮挡严重（IoU > 0.5）的情况下，结合 SAM 2 掩码的 MAMMA 误差降低了约 40%。
3D 拟合精度：
- 在 Harmony4D 和 CHI3D 上，MAMMA 的 MPJPE（平均关节位置误差）和 PVE（顶点误差）均优于所有学术方法。
- 在 Hi4D 数据集上，即使未使用该数据集训练，MAMMA 的 MPJPE 为 12.44mm，大幅优于之前的最佳方法（42.63mm）。
接触与穿透：MAMMA 在减少身体间穿透（Interpenetration）方面表现优异，穿透深度和穿透顶点数均优于对比方法，接近真实数据水平。
与 Vicon 对比：在 MammaEval-Extra 数据集上，MAMMA 的 held-out 标记点误差为 22.481mm，而 Vicon+MoSh++ 为 21.619mm。差异极小，证明了无标记方法在精度上已具备替代传统标记系统的潜力。
多相机适应性：仅需 4-8 台相机即可达到良好性能，12 台相机后精度趋于饱和，表明其适用于低成本采集设置（如使用 iPhone 阵列）。

5. 意义与影响 (Significance)

** democratize Motion Capture**：MAMMA 使得高精度、多人互动的运动捕捉不再依赖昂贵的专用硬件和繁琐的人工流程，极大地降低了研究门槛。
高质量互动数据：通过合成数据和真实验证，解决了现有数据集中缺乏紧密人际互动（如舞蹈、格斗）的痛点，为生成式 AI、动画制作和生物力学研究提供了宝贵资源。
工业级精度：证明了基于视觉的无标记方法在精度上已可媲美甚至替代传统的标记点系统，特别是在处理复杂姿态和遮挡时，无需大量人工清理。
开源与可复现：作者公开了代码、MammaSyn 数据集以及新的真实舞蹈数据集，推动了该领域的进一步发展。

总结：MAMMA 通过创新的密集地标预测架构、精心构建的互动数据集以及严谨的优化策略，成功实现了从多视角视频到高精度 SMPL-X 模型的端到端恢复，在精度、鲁棒性和效率上均取得了突破性进展，是计算机视觉与图形学交叉领域的重要成果。