PRISM: Streaming Human Motion Generation with Per-Joint Latent Decomposition

本文提出了 PRISM 模型，通过构建基于关节解耦的潜在空间实现结构化运动表示，并引入无噪声条件注入机制统一了文本驱动、姿态条件生成及长序列流式合成任务，从而在单一基础模型中实现了多任务状态下的最优性能。

要点

想象一下，你是一位电影导演，手里拿着一份剧本（文字描述），想要指挥一群3D 动画师（AI 模型）在屏幕上表演一段精彩的动作戏。

以前的动画师虽然很努力，但总有两个大毛病：

1. 记性不好且混乱：他们把每个动作瞬间（比如“手挥动”、“脚落地”、“身体前倾”）全部揉成一团乱麻记在一个大脑子里。结果就是，手和脚的动作经常打架，导致人物走路像踩了香蕉皮（脚滑），或者身体像果冻一样抖动。
2. 只能演短剧：如果剧本很长，或者需要接着上一段戏继续演，他们就会“断片”。演着演着，人物就忘了自己刚才在哪，或者动作越来越僵硬，最后直接“死机”。

这篇论文提出的 PRISM，就像是一位超级导演助手，它用两个绝招解决了这些问题：

绝招一：给每个关节发一张“专属身份证” (Per-Joint Latent Decomposition)

以前的做法：
就像把整个身体的动作压缩成一张巨大的、模糊的合影。AI 看这张照片时，很难分清哪部分是手，哪部分是脚，只能靠猜。

PRISM 的做法：
它把身体拆解开来，给每一个关节（头、肩膀、手肘、膝盖、脚……）都发了一张专属的“身份证”（Token）。

• 这就好比把原本的一团乱麻，整理成了一张整齐的表格：每一行代表时间，每一列代表一个关节。
• 好处：AI 现在可以清楚地看到：“哦，这一秒是‘左手’在动，‘右手’在休息”。它不再需要费力去猜动作的结构，直接就能精准控制每个关节。
• 效果：动作瞬间变得丝滑、自然，再也没有那种诡异的抖动或脚滑现象。哪怕不改变 AI 的大脑（生成模型），光靠整理好这张“身份证表格”，画质就提升了一大截。

绝招二：给每个动作贴上“时间标签” (Noise-Free Condition Injection)

以前的做法：
如果你想让动画师“接着刚才的动作继续演”，以前的方法很笨拙。要么重新训练一个专门的模型，要么像拼乐高一样，把两段视频硬拼在一起，中间总有明显的接缝（断层）。而且，演得越长，错得越离谱（误差累积）。

PRISM 的做法：
它给每个“关节身份证”都贴上了一个特殊的“时间标签”。

• 已知的动作（比如你给定的起始姿势，或者上一段演完的结尾）：贴上“干净标签”（时间=0），告诉 AI：“这部分是确定的，别动，照着演。”
• 未知的动作（需要 AI 发挥的部分）：贴上“噪音标签”，让 AI 去“去噪”并创造新动作。
• 好处：
  • 万能接口：无论是“根据文字生成动作”、“根据姿势生成动作”，还是“无限续写长视频”，AI 只需要用同一套逻辑处理。它不需要换脑子，只需要看标签就知道该“照做”还是“创作”。
  • 无缝衔接：因为 AI 在训练时就被教导如何“在已知动作的基础上继续创作”，所以它生成的长视频就像流水一样自然，完全没有接缝。
  • 自我纠错：它还有一种“自我强迫”的训练法（Self-forcing），就像让演员在排练时，不仅要背台词，还要假设“如果上一句我演错了，下一句我该怎么接”。这让它即使演几十分钟的长戏，也不会跑偏或崩溃。

总结：PRISM 能做什么？

有了这两个绝招，PRISM 就像一个全能动作导演：

1. 听指挥：你说“一个战士蹲下躲过箭雨”，它就能生成逼真的动作。
2. 看姿势：你给它一个起始动作，它就能顺着这个姿势继续演下去。
3. 演长剧：你可以给它一段很长的故事（比如“战士走进门，躲藏，然后翻滚起身”），它能一口气流畅地演完，中间没有卡顿，没有漂移，动作连贯得像真人一样。

一句话概括：
PRISM 通过把身体动作“分门别类”地整理清楚，并给已知和未知的动作贴上不同的标签，让 AI 第一次能够像人类一样，既精准控制细节，又能无限流畅地演绎长篇故事。这不仅仅是让动作更好看，更是让 AI 真正学会了“理解”身体的结构。

技术摘要

1. 研究背景与核心问题 (Problem)

尽管文本驱动的人体运动生成（Text-to-Motion, T2M）领域进展迅速，但现有方法仍面临两个主要挑战：

1. 潜在空间（Latent Space）设计的缺陷：
   • 现有的运动自编码器通常将每一帧压缩为单个单体（Monolithic）潜在向量。
   • 这种设计将全局轨迹、每个关节的旋转和辅助信号纠缠在一起，缺乏结构。
   • 下游生成模型必须隐式地解耦这些具有不同物理单位、尺度和时间动态的异构信号，这消耗了模型本应用于语义理解的容量，导致生成质量受限（如抖动、脚部滑动、地面穿透等）。
2. 多任务统一与长序列生成的困难：
   • 文本到运动（T2M）、姿态条件生成（Pose-conditioned）和长序列合成通常需要不同的模型或特定机制（如修补网络、特殊位置编码）。
   • 自回归（Autoregressive）方法在生成长序列时，由于误差累积（Error Accumulation），会导致轨迹漂移（Drift）、运动退化甚至崩溃。

---

2. 方法论 (Methodology)

PRISM 提出了一种统一的流匹配（Flow Matching）生成框架，包含两个核心贡献：

2.1 基于关节分解的因果运动 VAE (Joint-Factorized Causal Motion VAE)

• 核心思想： 不再将一帧压缩为一个向量，而是将每个身体关节（包括根轨迹、全局朝向和每个关节的旋转）分配为独立的 Token。
• 结构化 2D 潜在网格： 输入被组织为一个 $T \times K$ 的二维网格（时间 $\times$ 关节），其中 $K$ 是关节数量。
• 因果时空编码： 使用因果时空 VAE 压缩该网格。
  • 时间维度： 使用严格因果的卷积，仅依赖当前及过去的帧，支持增量式自回归生成。
  • 空间维度： 使用关节注意力层捕捉关节间的运动学耦合（如手臂与腿的协调）。
• 前向运动学监督 (FK Supervision)： 在旋转空间训练，但引入 FK 损失项。
  • 计算重建旋转对应的 3D 关节位置，惩罚相对于真值的偏差。
  • 监督累积轨迹（Cumulative Trajectory）而非单帧位移，以解决旋转误差在运动学链中累积放大的问题。
• 优势： 这种简单的潜在空间改变（无需修改生成器架构）显著提升了生成质量，因为生成器可以直接对每个关节的动态进行建模。

2.2 无噪声条件注入 (Noise-Free Condition Injection)

• 核心思想： 为潜在网格中的每个 Token 分配独立的时间步嵌入（Timestep Embedding）。
• 统一生成模式：
  • 条件帧（Conditioning Frames）： 被注入为时间步 $t=0$ 的“干净”Token（无噪声）。
  • 生成目标： 剩余 Token 被注入噪声并进行去噪。
  • 这使得同一个模型可以无缝处理：
    • T2M： 所有 Token 均加噪。
    • 姿态条件生成 (TP2M)： 前几帧作为干净 Token 注入。
    • 自回归流式生成： 上一段的尾部作为下一段的干净条件注入。
• 自强制训练 (Self-Forcing)： 为了解决长序列自回归中的误差累积问题，在训练过程中模拟推理过程（使用模型生成的输出作为下一段的条件，而非真值），通过分布匹配蒸馏（Distribution Matching Distillation）使模型在 imperfect 条件下也能保持稳定，消除轨迹漂移。

2.3 叙事运动组合 (Narrative Motion Composition)

• 利用运动感知文本重写器将自由形式的叙事文本分解为原子动作序列，预测持续时间，并通过上述自回归链式机制生成连贯的长序列运动。

---

3. 主要贡献 (Key Contributions)

1. 关节分解的潜在空间 (Per-Joint Latent Decomposition)： 证明了将潜在空间结构化（2D 网格）比单体向量更有效。仅凭此改进（不改变生成器），在 HumanML3D 上 MPJPE 提升了 18 倍，rFID 降低了 20 倍。
2. 无噪声条件注入机制： 首次在一个模型中统一了文本到运动、姿态条件生成和无限长度的流式合成。无需修补网络或特定的位置编码，通过 $t=0$ 的干净 Token 实现无缝拼接。
3. 单一基础模型 (Single Foundation Model)： 构建了一个统一的流匹配 DiT 模型，能够处理从短文本到长叙事的各种生成任务，并在长序列生成中通过自强制训练实现了稳定性。
4. SOTA 性能： 在多个基准测试中取得了最先进的结果。

---

4. 实验结果 (Results)

PRISM 在四个主要场景下进行了评估，均取得了 State-of-the-Art (SOTA) 表现：

• 文本到运动 (Text-to-Motion):
  • 在 HumanML3D 和 MotionHub 数据集上，FID 分别降低了 55% 和 48%（相比 Go-To-Zero 等强基线）。
  • R-Precision 接近真实运动水平（HumanML3D 上达到 0.893 vs 真实值 0.906）。
  • 定性结果显示运动更平滑，物理合理性更高，抖动和脚部滑动显著减少。
• 姿态条件生成 (Pose-Conditioned Generation):
  • 在给定 1、5 或 9 帧起始姿态的情况下，PRISM 在 FID 和 R-Precision 上均大幅优于 FlowMDM 和 MotionStreamer。
  • 无需额外的修补网络即可实现高质量的条件生成。
• 长序列生成 (Long-Horizon Sequential Generation):
  • 在 BABEL 数据集上，PRISM 在子序列质量（R@3: 0.587）和过渡平滑度（Area Under Jerk: 0.44）上均优于现有方法。
  • 相比 MotionStreamer，过渡平滑度提升了 51%。
• 叙事运动组合 (Narrative Motion Composition):
  • 在 50 个场景的用户研究中，PRISM 在运动质量、文本忠实度、过渡平滑度和整体偏好四个维度上，被评价为“好”（优于对比模型）的比例超过 70%。
  • 特别是在过渡平滑度（78.1%）和整体偏好（76.4%）上优势明显。

---

5. 意义与影响 (Significance)

• 重新定义潜在空间设计的重要性： 论文有力地证明了，在运动生成任务中，潜在空间的设计（Latent Space Design）与生成器架构（Generator Architecture）同样重要。现有的单体潜在空间是性能提升的瓶颈，而结构化的关节分解空间能释放生成模型的潜力。
• 统一框架的突破： 打破了以往 T2M、姿态条件和长序列生成需要不同模型或复杂机制的局限，提供了一个通用的、可扩展的流式生成框架。
• 解决长序列漂移难题： 通过“无噪声条件注入”结合“自强制训练”，成功解决了自回归生成中常见的误差累积和轨迹漂移问题，使得生成远超训练时长（>12 秒，10+ 片段）的连贯运动成为可能。
• 实际应用价值： 生成的运动直接基于 SMPL 参数，无需后处理逆运动学（IK），可直接用于游戏、电影和虚拟现实的动画制作，具有极高的部署价值。

总结： PRISM 通过重新设计运动表示（关节分解）和生成条件机制（无噪声注入），实现了高质量、长序列、多任务统一的人体运动生成，为下一代运动生成基础模型树立了新的标杆。代码已开源。