MoSA: Motion-Coherent Human Video Generation via Structure-Appearance Decoupling

本文提出了 MoSA 模型，通过解耦结构与外观生成、引入人体感知动态控制及接触约束，并配合新的大规模人体视频数据集，显著提升了复杂人体运动及人机交互视频生成的结构连贯性与外观保真度。

要点

这篇论文介绍了一个名为 MoSA 的新 AI 系统，它的专长是根据文字描述生成逼真的人类视频。

想象一下，现在的 AI 画视频就像是一个“印象派画家”：它很擅长把颜色涂得漂亮（画面好看），但经常把人的手脚画歪，或者让人做出违反物理规律的奇怪动作（比如走路时腿穿过地面，或者身体像果冻一样扭曲）。

MoSA 的出现，就是为了解决这个“画皮容易画骨难”的问题。

1. 核心思路：先搭骨架，再填肉

MoSA 的核心思想叫做**“结构与外观解耦”**。我们可以用一个生动的比喻来理解：

• 传统方法：就像让一个没有学过解剖学的画家直接画人。他可能画得很美，但关节位置不对，人动起来就像提线木偶断线了一样。
• MoSA 方法：它把画画的过程分成了两步：
  1. 第一步：造骨架（结构生成）。MoSA 先像一个3D 动画师一样，根据文字（比如“一个女孩在跑步”），先在虚拟空间里生成一套完美的、符合人体工学的 3D 骨骼动作序列。它确保腿不会断，关节不会反向弯曲。
  2. 第二步：填肉穿衣（外观生成）。有了这个完美的“骨架”作为指导，MoSA 再像一个超级化妆师和服装师，在这个骨架上“填肉”、画皮肤、穿衣服，并渲染背景。

比喻：这就好比拍电影。以前的 AI 是试图直接让演员即兴表演（容易出错）；MoSA 则是先由专业的武术指导（3D 结构 Transformer）设计好每一个动作的轨迹，确保动作合理，然后再让演员（外观生成模型）去表演，这样既流畅又真实。

2. 三大“黑科技”让动作更自然

为了让这个“骨架”指导“填肉”的过程更精准，MoSA 还用了三个聪明的技巧：

• 智能聚光灯（Human-Aware Dynamic Control）：
  骨架只是几根线条，很稀疏。如果直接照着线条画，AI 可能会在不需要动静的地方乱动。MoSA 加了一个“智能聚光灯”，它能告诉 AI：“注意！这里是人腿，要重点画；那里是背景，保持静止。”这样，AI 就能把精力集中在人体运动的细节上，让动作更细腻。

• 防穿模胶水（Contact Constraint）：
  以前的 AI 经常让人“穿模”（比如人走过桌子，腿直接穿过桌子）。MoSA 加了一种“物理胶水”约束，它时刻检查人和环境的接触点。如果人站在地上，脚就必须稳稳踩在地上；如果人靠在墙上，身体就不能穿进墙里。这让视频里的物理互动非常真实。

• 长镜头追踪（Dense Tracking Loss）：
  为了让人动起来不卡顿、不抽搐，MoSA 在训练时强迫 AI 像摄像机一样“死死盯住”人的每一个点。它要求 AI 记住：上一帧这个点在左边，下一帧它应该平滑地移到右边，而不是突然瞬移。这保证了动作的连贯性。

3. 新教材：MoVid 数据集

AI 学得好不好，取决于它看了多少书（数据）。

• 以前的教材：大多只有简单的“面部表情”或“上半身挥手”，或者是竖屏的跳舞视频。就像只教学生做广播体操，没教他们跑马拉松。
• MoSA 的教材（MoVid）：作者专门收集了 3 万个 包含复杂全身动作（如跑步、跳跃、与环境互动）的高质量视频，并做了精细的标注。这就像给 AI 提供了一本《人类运动百科全书》，让它见识过各种复杂的动作，所以它生成的视频才更丰富、更真实。

4. 效果如何？

实验结果显示，MoSA 在生成人类视频方面全面碾压了现有的其他模型（包括一些很火的商业模型）。

• 更真实：人的结构合理，不会出现“六指琴魔”或“断腿”的恐怖画面。
• 更流畅：动作连贯，没有奇怪的抖动。
• 更懂物理：人能自然地与环境互动（如踩在球上、靠在树上）。

总结

简单来说，MoSA 就是给 AI 视频生成装上了一个**“专业的动作导演”**。它不再盲目地猜测人该怎么动，而是先规划好科学的动作轨迹，再让 AI 去渲染画面。这让 AI 生成的视频从“看起来像人”进化到了“动起来像真人”，为未来的电影制作、游戏设计和虚拟数字人带来了巨大的潜力。

技术摘要

这是一篇关于MOSA (Motion-Coherent Human Video Generation via Structure-Appearance Decoupling) 的论文技术总结，该论文发表于 ICLR 2026。

1. 研究背景与问题 (Problem)

现有的视频生成模型（如 Sora, Runway, Wan 等）虽然在画面保真度（Appearance Fidelity）上表现优异，但在生成复杂的人体运动视频时存在显著缺陷：

• 结构不合理：难以生成全身运动、长距离动态以及精细的人与环境交互，常出现肢体扭曲、解剖学结构错误（如多肢体、肢体消失）或物理上不可能的人体姿态。
• 运动不连贯：过度关注外观重建，忽视了人体结构的时空一致性，导致动作生硬或闪烁。
• 数据局限：现有的人体视频数据集（如 HumanVid, CelebV 等）大多局限于面部表情或上半身动作，且动作复杂度低，缺乏全身复杂运动和环境交互数据，限制了模型的学习能力。

2. 核心方法论 (Methodology)

MOSA 提出了一种**结构与外观解耦（Structure-Appearance Decoupling）**的生成框架，将视频生成过程分为两个主要分支，并引入了多项创新模块来解决上述问题。

2.1 结构与外观解耦框架

• 结构生成分支 (Structure Generation Branch)：
  • 输入：经过筛选的运动相关文本提示（去除环境描述）。
  • 核心：使用预训练的 3D 结构 Transformer 生成 3D 人体关键点序列。
  • 优势：相比直接生成 2D 骨架，3D 生成利用人体先验知识和隐式深度信息，能有效处理肢体遮挡问题，确保生成的骨骼结构在解剖学上是合理的。
  • 输出：将 3D 关键点投影为 2D 骨架序列，作为后续外观生成的结构引导信号。
• 外观生成分支 (Appearance Generation Branch)：
  • 输入：原始文本提示、结构引导信号（骨架）。
  • 核心：基于 Diffusion Transformer (DiT) 架构，在文本和骨架条件的指导下合成视频帧。
  • 目标：在保持高保真外观的同时，严格遵循结构分支提供的运动约束。

2.2 关键创新模块

1. 人体感知动态控制模块 (Human-Aware Dynamic Control, HADC)：
   • 问题：骨架是稀疏的，难以对视频潜变量进行细粒度的运动控制。
   • 方案：在 DiT 块之间插入 HADC 模块。利用可学习的动态权重预测器，根据骨架特征生成权重图，将稀疏的骨架引导传播到整个人体运动区域，并赋予不同空间位置动态权重。
   • 约束：引入掩码损失 (Mask Loss)，强制模型学习将骨架引导准确映射到人体可见区域，提升细粒度控制能力。
2. 密集跟踪损失 (Dense Tracking Loss)：
   • 方案：利用 CoTracker3 提取生成视频与真实视频之间的密集光流/轨迹。
   • 目的：通过最小化轨迹差异，增强模型对长时序运动依赖的捕捉能力，确保运动在时间上的连贯性。
3. 接触约束 (Contact Constraint)：
   • 方案：引入 3D 接触损失，利用 SDF（有向距离场）检测人体与场景（如地面、物体）的穿透情况。
   • 目的：惩罚不合理的穿透行为（如脚穿过地面），确保人 - 环境交互的物理合理性。

2.3 数据集贡献：MoVid

• 构建了包含 30,000 个 高质量真实世界人体运动视频的大规模数据集 MoVid。
• 特点：相比现有数据集，MoVid 包含更多样化的动作类别（全身运动、复杂交互）、更复杂的动态场景，并提供了细粒度的文本标注和骨架/掩码数据。

3. 主要贡献 (Key Contributions)

1. 首创解耦框架：提出了首个针对人体视频生成的“结构 - 外观”解耦框架，证明了将结构一致性从外观合成中分离出来，能显著提升生成视频的物理合理性和运动连贯性。
2. 高效模块设计：提出了 HADC 模块、密集跟踪损失和接触约束，有效解决了稀疏骨架引导的细粒度控制难、运动不连贯及环境交互不合理的问题。
3. 大规模数据集：发布了 MoVid 数据集，填补了复杂全身运动数据的空白，为后续研究提供了重要资源。
4. 性能突破：在多项指标上显著优于现有方法。

4. 实验结果 (Results)

• 定量评估：
  • 在 FVD (Fréchet Video Distance) 指标上，MOSA 达到 1093，显著优于 Wan 2.1 (1251)、CogVideoX (1360) 和 Mochi 1 (1207) 等主流模型。
  • 在 CLIP 相似度、主体一致性、运动平滑度等 VBench 指标上均取得最佳或次佳成绩。
  • 用户研究（User Study）显示，MOSA 在运动质量（Motion Quality）和视频质量（Video Quality）上的偏好率均最高（约 30%+）。
• 定性分析：
  • 生成的视频在全身运动（如跑步、跳跃、滑冰）中展现出合理的身体结构，无肢体扭曲。
  • 在处理遮挡（如人走过物体后方）和人 - 环境交互（如脚踩在树枝上）时，物理表现逼真，无穿透现象。
  • 消融实验证明，移除 3D 结构分支（改用 2D 骨架）会导致肢体缺失或位置错误；移除 HADC 或跟踪损失会显著降低运动连贯性。

5. 意义与影响 (Significance)

• 技术突破：MOSA 解决了当前文生视频模型在“人体运动合理性”上的核心痛点，证明了引入显式的 3D 结构先验和物理约束对于生成高质量人体视频至关重要。
• 应用价值：该方法可广泛应用于虚拟数字人、影视特效、游戏动画及虚拟现实领域，能够生成符合物理规律且动作流畅的全身运动视频。
• 社区贡献：开源的代码和 MoVid 数据集将推动人体视频生成领域的进一步发展，特别是针对复杂运动和长时序一致性的研究。

总结：MOSA 通过“先结构后外观”的解耦策略，结合 3D 先验、动态控制和物理约束，成功生成了结构合理、运动连贯且物理逼真的人体视频，代表了该领域的重要进展。