💻 computer science

Fine-grained Human Motion Understanding with Language Models

本文介绍了 \methodname，这是一种基于大语言模型（LLM）的模型，它通过利用带有显式时间戳的骨骼姿态表示，并结合多样化的姿态级和运动级监督，实现了最先进的细粒度人体动作理解，从而在不依赖真值 3D 动作捕捉的情况下，在 2D 和 3D 基准测试上均表现出卓越的性能。

原作者： Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个非常聪明的机器人如何理解人类的动作。如今大多数机器人尝试通过观看视频来学习，比如监控摄像头的录像。但视频非常杂乱：它们是巨大的文件，显示了衣服和背景（这会造成干扰或隐私风险），而且如果你加速或减速播放，机器人会对事情发生的“时间点”感到困惑。

这篇论文介绍了一个新的机器人大脑，叫做 FiGMo（细粒度运动理解）。FiGMo 不是通过观看视频，而是观察人的“火柴人”骨架。但神奇之处在于：FiGMo 不仅仅看到了火柴人，它还看到了在每一个姿势上都附着了一个时钟的火柴人。

以下是它的工作原理，通过简单的概念进行拆解：

1. “带时间戳的骨架”类比

想象一下你正试图通过电话向朋友描述一段舞蹈。

旧方法： 你说：“他转了个圈，然后跳了一下，接着做了一个深蹲。”你的朋友知道顺序，但他们完全不知道那个旋转持续了多久，或者那个跳跃是一个快速的小跳还是一个缓慢的长跳。
FiGMo 的方法： 你说：“在 0.0 秒时，他开始旋转。在 2.4 秒时，他停止旋转并开始跳跃。在 3.2 秒时，他在深蹲中落地。”

FiGMo 对人类运动的处理方式完全如此。它将运动分解为一系列静态姿势的序列，并明确告诉 AI：“这个姿势发生在这个精确的秒数。”这使得 AI 能够以惊人的精度回答问题，例如：“深蹲持续了多久？”或“他在站起来之前做了什么？”

2. “通用翻译官”（姿态编码器）

通常，AI 模型是非常挑剔的。有些模型只理解通过特殊套装在实验室中捕捉到的完美 3D 运动数据（就像好莱坞动作捕捉工作室那样）。另一些则只理解来自普通摄像头的 2D 图画。

FiGMo 拥有一个特殊的“通用翻译官”（称为统一姿态编码器）。把它想象成一个既能说“实验室套装语”（3D）又能说“手机摄像头语”（2D）的翻译员。

如果你输入一段来自普通视频的、杂乱且带有噪声的 2D 骨架，它会将其清理并理解。
如果你输入完美的 3D 数据，它也能理解。
结果： FiGMo 如此出色，以至于即使它仅使用 2D 火柴人（这种细节较少的数据），它的表现也超过了那些依赖昂贵、高质量 3D 数据的模型。

3. “学校课程”（训练策略）

为了让 FiGMo 变得如此聪明，研究人员并没有只是把一大堆数据倾倒给它。他们构建了一个课程，就像一个学校系统：

第一阶段（基础）： 他们教它描述单个、冻结的姿势。“看这个膝盖；它是弯曲的。”
第二阶段（细节）： 他们教它针对特定身体部位进行提问。“左臂是否比右臂高？”
第三阶段（故事）： 他们开始将姿势连接成短序列。“这里正在发生什么动作？”
第四阶段（电影）： 最后，他们教它处理长且复杂的序列以及关于时序的问题。“跑步阶段持续了多久？”

论文发现，这个学校中最重要的一部分是课程的多样性。教机器人了解单个姿势以及完整的运动序列是至关重要的。这种“分阶段”（循序渐进学习）的方法虽然有帮助，但其真正的超能力来自于训练数据的多样性。

4. 为什么这很重要（隐私与精准度）

该论文强调了 FiGMo 的两个主要优势：

隐私： 因为 FiGMo 只观察骨架（即火柴人），它看不到人的脸部、衣服或背景。这就像是在看一场皮影戏而不是一部电影。这使得它可以在录制视频属于非法或不道德的地方（如健身房或医院）安全使用。
精准度： 因为它在每个姿势上都有“时钟”，所以它可以捕捉到细微的细节。它可以分辨出是一个缓慢受控的深蹲，还是一个快速、顿挫的深蹲，而这对于基于视频的 AI 来说很难做到。

核心结论

FiGMo 是一种理解人类运动的新方式。它不是在观看模糊的视频，而是在阅读一份“骨架剧本”，其中每一项运动都标记了时间戳。通过教 AI 使用结合了简单姿态描述和复杂运动故事的混合方式来阅读这份剧本，它已经成为了该领域的佼佼者，即使在使用简单的 2D 数据而非昂贵的 3D 数据时也是如此。它证明了你不需要好莱坞大片来理解人类运动；你只需要正确的“骨架剧本”和一个好用的时钟。

技术摘要：FiGMo —— 基于语言模型的细粒度人体运动理解

问题陈述

理解具有细粒度时间精度的运动对于构建面向人类中心化 AI 系统（如人机交互、康复监测和运动教练）至关重要。尽管最近的大型语言模型（LLM）在多模态推理方面取得了进展，但现有方法仍面临显著局限性：

以视频为中心的局限性： 大多数方法依赖于原始视频输入，这在计算上非常昂贵，需要进行激进的时间下采样（从而掩盖了快速或微妙的动态变化），并因身份和背景信息引入隐私问题。
时间接地（Temporal Grounding）的缺失： 现有的基于骨骼的 LLM 通常通过离散标记（例如通过 VQ-VAE）压缩运动，或者直接拼接姿态序列而不包含显式的时间戳。这种方式将运动片段视为原子单元，阻碍了模型对特定动作的具体时间、持续时间和节奏进行推理。
数据约束： 许多先前的工作仅依赖于干净、受控的 3D 动作捕捉（MoCap）数据，这限制了它们在实际场景中的应用，因为在这些场景中，运动是由单目视频中的噪声 2D 姿态检测器导出的。

方法论

作者提出了 FiGMo（Fine-Grained Motion），这是一个将人体运动显式建模为具有时间接地属性的骨骼姿态序列的 LLM 框架。

1. 统一姿态编码器

为了鲁棒地处理 2D 和 3D 输入，作者改编了 MotionBERT 的运动编码器。

架构： 该编码器仅保留空间 Transformer 模块，用于编码单个静态姿态，而非连续运动。
预训练： 编码器经过预训练，旨在从受损输入（添加噪声和随机关节遮蔽）中重建 3D 姿态。它在混合了检测到的 2D 姿态、3D MoCap 数据以及 3D 序列的 2D 投影的数据集上进行训练。这产生了一个能够一致处理噪声 2D 检测和干净 3D 数据的统一编码器。

2. 具有时间接地的多模态 LLM 结构

核心创新在于如何向 LLM 表示运动：

姿态转换器（Pose Translator）： 一个轻量级的两层 MLP 将姿态嵌入投影到 LLM 的语义空间中。
显式时间戳： 与朴素的姿态拼接不同，FiGMo 将每个姿态嵌入与特定的时间戳标记（例如，Time: 0.00s <pose>, Time: 0.03s <pose>）进行拼接。这使得 LLM 能够在姿态层面对运动顺序、持续时间和节奏进行推理。
可选视频上下文： 该架构支持通过视觉编码器提供可选的视频输入，以提供上下文线索，而不会限制运动表示空间。

3. 多样化监督策略

作者通过构建涵盖四个模块的多样化训练混合物，研究了不同监督水平的必要性：

姿态级监督： 包括源自 PoseScript 和 PoseFix 数据集的姿态描述（PS-short, PS-fine）和姿态问答（PS-QA, PF-fine）。这些任务侧重于静态身体构型和空间关系。
运动级监督： 包括运动描述（BABEL-cap）和运动问答（HML3D-QA, BABEL-QA, FTM-QA）。其中 FTM-QA 模块专门设计用于监督细粒度的时间推理（持续时间、开始/结束时间、顺序）。
训练计划： 作者对比了单阶段训练方法与阶段式课程学习（Pose $\to$ Motion）。阶段式方法先引入姿态级任务，随后引入运动级任务，以在处理复杂的时序推理之前建立对齐。

核心贡献

FiGMo 架构： 一种基于 LLM 的方法，它将运动显式表示为带有时间戳的骨骼姿态序列，从而实现对动作顺序、持续时间和节奏的细粒度推理。
统一 2D/3D 编码器： 一个在混合且受损数据上预训练的姿态编码器，使同一模型能够处理实际的 2D 检测和 3_D MoCap 序列。
监督分析： 一项消融研究表明，多样化的姿态级和运动级监督是性能提升的主要驱动力，而阶段式训练提供的额外收益较小。至关重要的是，研究表明姿态级监督对于下游的运动理解至关重要。
最先进的性能： 该方法在多个基准测试中达到了顶尖性能，一个显著发现是，仅使用 2D 的变体优于之前的 3D 方法。

实验结果

FiGMo 在五个基准测试上进行了评估：BABEL-QA、HuMMan-QA、CompMo、NTU-RGB+D 和 QEVD-Coach。

BABEL-QA (运动问答)： FiGMo (3D) 实现了 0.758 的总准确率，超过了之前的最先进方法 HuMoCon (0.711)。值得注意的是，FiGMo (2D) 变体达到了 0.750，尽管仅使用 2D 骨骼输入，却超越了所有之前的 3D 方法。在经过时间过滤的查询（“之前”、“之后”、“之间”）上，增益尤为显著。
HuMMan-QA： 该方法在所有指标上均表现最佳（总计：3D 为 0.824，2D 为 0.792），展示了超越 BABEL 的强泛化能力。
CompMo (密集描述)： FiGMo 在描述指标（例如 CIDEr: 456.95 vs. 134.44）和时间定位（tIoU: 98.44 vs. 77.94）方面都大幅超越了 UniMotion 和 DEMO，验证了显式时间接地技术的有效性。
NTU-RGB+D 120 (单样本动作识别)： 仅使用 2D 运动输入，FiGMo 达到了 69.2% 的准确率，超过了以往的方法。加入视频作为辅助模态后，这一准确率提升至 77.4%。
QEVD-Coach (运动反馈)： 基于运动的模型在提供运动执行反馈方面优于仅基于视频的 LLM，突显了显式骨骼表示的效用。

重要性与主张

论文声称，显式时间编码和多样化监督是实现细粒度人体运动理解的关键。

隐私与效率： 通过依赖骨骼姿态而非原始视频，FiGMo 提供了一种保护隐私且计算高效的替代方案，适用于边缘设备和康复等敏感应用。
对输入模态的鲁棒性： 2D 变体优于 3D 基准方法的现象，挑战了“若要进行细粒度推理，必须具备高保真 3D MoCap”的假设，前提是模型经过了适当的监督和鲁棒的编码。
监督层级： 该工作确立了姿态级理解是有效运动级推理的前提条件，这表明未来的运动-LLM 即使最终目标是时序推理，也应纳入静态姿态任务。

作者总结道，虽然他们的方法代表了重要的一步，但未来的工作可以探索整合场景和物体上下文，因为仅靠骨骼姿态会忽略与物体交互以及 3D 场景布局的信息。