🤖 machine learning

VSMP-IMU: Video-Grounded Semantic Motion Programs for Sensor-Aware Synthetic IMU Generation

该论文介绍了 VSMP-IMU，这是一个以视频为引导的框架，通过结构化语义运动程序（Semantic Motion Programs）生成可控的合成 IMU 数据，旨在克服数据稀缺问题，并显著提升在低资源、类别不平衡以及受试者泛化场景下的可穿戴人体活动识别性能。

原作者： Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lala Shakti Swarup Ray, Vitor Fortes Rey, Mengxi Liu, Paul Lukowicz, Bo Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教会一个机器人识别你是在跳舞、跑步还是在做瑜伽。为了做到这一点，机器人需要“感受”你的动作，通常是通过智能手表或绑在身上的传感器来记录你的摇摆和旋转。这个领域被称为人类活动识别（Human Activity Recognition）。问题在于，教导机器人需要成千上万个真实人类运动的范例，而获取这些范例简直是一场噩梦。你必须把传感器绑在真人身上，要求他们一遍又一遍地重复同一个动作，并寄希望于他们不会感到疲劳或改变动作的方式。这既昂贵又缓慢，而且当机器人遇到动作略有不同的陌生人时，往往会感到困惑。

为了解决这个问题，科学家们尝试“伪造”传感器数据。有些人试图通过观看一段人的视频，并猜测传感器会感受到什么（就像看着一段舞蹈视频并猜出其中的节奏）。另一些人则尝试编写像“上下跳跃”这样的文字描述，并让计算机去想象这种运动。但这些方法都有缺陷：视频法在相机角度奇怪时会产生混乱，而文字法又太模糊，经常生成听起来是对的、但对传感器来说感觉不对的动作。大问题在于：我们能否创造出既足够真实到可以教导机器人，又足够灵活以覆盖人类实际运动所有多样性的伪造传感器数据？

VSMP-IMU 应运而生，它是一个全新的系统，就像是一位负责拍摄运动电影的超级聪明导演。它不仅仅是根据视频或文本提示进行猜测，而是使用了一种“语义运动程序”（Semantic Motion Program，简称 SMP）。你可以把 SMP 理解为一张详细的运动“食谱卡”。它不只是说“开合跳”；它会将动作分解为具体的步骤：“站立、跳跃张开、闭合、重复”，并精确记录涉及哪些身体部位、速度有多快以及手臂挥动的幅度有多大。

以下是神奇之处所在：该系统观看一段真人进行活动的视频，并从中提取出这张“食谱卡”。然后，它开始发挥创意。它可以调整食谱——比如要求开合跳做得“超级快”或者“手臂大幅度摆动”——同时保持动作的核心特征（它仍然是开合跳）。一旦食谱被调整，计算机就会生成一个正在进行该动作的 3D 动画人物。最后，系统会模拟绑在那个动画人物身上的传感器会感受到什么，将 3D 运动转化为伪造的传感器数据。

研究人员通过将这种新的伪造数据输入机器人的大脑进行测试，以观察它识别真实人类运动的能力是否得到提升。结果令人印象深刻。当机器人仅使用真实数据进行训练时，得分约为 68.6 分（满分 100 分）。当加入 VSMP-IMU 伪造数据后，得分跃升至 78.3 分。这是一个巨大的进步，尤其是在真实数据较少的情况下。在机器人只能学习极少量真实数据（例如仅有通常量的 1%）的情况下，该系统帮助机器人的得分比仅从真实数据中学习提高了近 19 分。

该系统还证明了它能够遵循指令。当研究人员要求系统生成具有特定速度的运动时，生成的动作在 92% 的情况下符合要求；当他们要求生成特定次数的重复动作时，系统在误差不超过一次计数的情况下达到了 90.6% 的准确率。然而，论文指出，虽然该系统非常擅长处理像跳跃或深蹲这样的大型全身运动，但在处理微小的、精准的手部动作（如接球）时有时会遇到困难，因为底层的 3D 动画并不会展示每一个手指的抽动。

简而言之，VSMP-IMU 表明，通过使用结构化的“食谱”来引导伪造传感器数据的创建，我们可以比以前更好地教会机器人理解人类运动。它架起了“观看视频”与“感受震动”之间的桥梁，创造了一个多样化、可控且真实感惊人的合成运动库。虽然它在人类运动的每一个微小细节上并不完美，但它为训练下一代可穿戴技术提供了一种强大的新方法，而无需在成千上万的真人身上绑上传感器。

技术摘要：VSMP-IMU

1. 问题陈述

可穿戴人体活动识别（HAR）受到惯性测量单元（IMU）标注数据稀缺的显著制约，特别是在低资源、类别不平衡以及受试者泛化场景下。虽然合成数据生成为减少对现实世界采集的依赖提供了潜在解决方案，但现有方法面临着一个根本性的权衡：

视频驱动的方法（如 IMUTube）具有视觉基础，但容易受到姿态估计误差、遮挡和视角歧义的影响。它们往往缺乏对保持标签不变的执行变化（如节奏、振幅）的控制能力。
文本驱动的方法（如 IMUGPT 2.0）提供了高度的可控性，但往往在如何执行特定活动的时空模式方面缺乏具体的物理基础，可能生成的运动虽然符合标签，但缺乏与可穿戴设备相关的细节。
经典的信号增强（如抖动、缩放）提高了鲁棒性，但无法引入新的语义运动模式或物理上合理的活动变化。

核心挑战在于：如何生成既能保留活动定义不变性，又能实现可控且保持标签的运动执行与传感器实现变化的合成 IMU 数据，且不依赖于脆弱的帧级姿态估计或缺乏物理基础的文本提示。

2. 方法论：VSMP-IMU

作者提出了 VSMP-IMU（视频引导的语义运动程序），该框架引入了一种称为**语义运动程序（Semantic Motion Program, SMP）**的结构化中间表示，用以连接视频理解与惯性合成。

2.1 语义运动程序 (SMP)

SMP 是一种将活动定义的语义与执行属性分离的结构化模式。它被定义为一组字段：
$S = \{y, P, D, B, T, A, O, C, U\}$
其中：

不变项（固定）： 活动标签 ( $y$ )、原语序列 ( $P$ )、身体部位参与度 ( $B$ ) 以及物体/接触信息 ( $O$ )。这些定义了活动的身份。
变体项（可增强）： 原语持续时间 ( $D$ )、时间组织 ( $T$ )、执行属性 ( $A$ )（如节奏、振幅、优势侧和对称性）。这些允许在不改变类别标签的情况下进行受控变化。
约束与不确定性： 增强约束 ( $C$ ) 和字段级不确定性 ( $U$ ) 用于引导安全的扰动。

2.2 VSMP-IMU 流水线

该框架通过以下阶段运行：

视频引导的 SMP 提取： 预训练的视觉语言模型（VLM，在实现中特指 GPT-5.3）从输入的活动视频中提取初始 SMP。VLM 被要求输出结构化字段（标签、原语、身体部位、属性、不确定性），而非自由格式的文本。
语义细化： 提取的 SMP 进行一致性检查（标签-原语兼容性、身体部位一致性、时间连贯性、物体/接触一致性）。未通过检查的字段将被修正或标记为高不确定性。
受约束的增强： 经过细化的 SMP 被增强以生成 $K$ 个变体。增强是以不确定性为条件的：不确定性低（高置信度）的字段会被更激进地扰动，而高不确定性的字段则被极小程度地改变或保持固定。至关重要的是，不变项字段保持不变。
语言化与运动合成： 每个增强后的 SMP 被转换为与 HY-Motion 兼容的自然语言提示。HY-Motion 根据提示合成 3D 人体运动序列 ( $M$ )。
IMU 合成： 3D 运动通过 IMUSim 转换为虚拟 IMU 信号。虚拟传感器被安装在特定的身体部位，并具有标称配置（偏差、噪声、安装方式）。
传感器感知对齐（Grounding）： 为了弥合合成数据与真实可穿戴数据之间的差距，应用了两个适配步骤：
- 在环模拟优化（Simulation-in-the-loop Optimization）： 优化有界物理残差（例如安装方向、偏差、噪声规模），以匹配真实训练数据的时域和多元统计特性 ( $D_{stat}$ )。
- 基于秩的对齐（Rank-Based Grounding）： 将信号对齐到目标数据集的约定（轴顺序、符号、重力、单位），然后通过基于秩的分位数匹配将其映射到目标域的边缘分布 ( $D_{rank}$ )。
质量过滤： 生成的样本根据运动合理性、类别忠实度（使用轻量级 HAR 验证器）和冗余度（基于嵌入的最近邻检查）进行过滤。

3. 核心贡献

语义运动程序 (SMP)： 引入了一种结构化的中间表示，能够显式地分离活动定义的不变项与保持标签的执行属性，从而实现受控变化。
VSMP-IMU 框架： 一个完整的视频引导合成 IMU 数据的流水线，集成了 SMP 提取、受约束的增强、文本转运动合成以及传感器感知对齐。
全面评估： 在五个公开数据集（MM-Fit, UTD-MHAD, MMAct, PAMAP2, HAD-AW）上，针对三种设置（标准 LOPO、低资源、长尾/类别不平衡）进行了广泛评估。
可控性分析： 进行了一项端到端的严谨研究，评估了请求的 SMP 属性（节奏、振幅、重复次数、原语持续时间、对称性）是否在生成的运动中得到实现，并在对齐后的 IMU 信号中可被观测。

4. 结果

4.1 性能提升

标准 LOPO： VSMP-IMU 实现了 78.33% 的平均 Macro-F1，优于仅使用真实数据训练的 68.56%，并超过了最强的先前合成基准（IMUTube, 74.30%）4.04%。
低资源： 在训练数据减少的设置下（例如 1% 的标签预算），VSMP-IMU 比仅使用真实数据训练提高了 18.54%，比最强的先前基准提高了 6.76%。
长尾： 对于代表性不足（尾部）的类别，VSMP-IMU 比仅使用真实数据训练提高了 19.86% 的 Macro-F1，比 SOTA 提高了 4.76%，展示了对稀缺活动的卓越覆盖能力。

4.2 可控性发现

研究评估了整个流水线（ $S \to M \to \text{原始 IMU} \to \text{对齐后的 IMU}$ ）中请求控制的实现情况：

节奏与重复次数： 在运动层面表现出强一致性（ $\rho=0.92$ 和 $\rho=0.93$ ），但在经过 IMU 合成与对齐后经历了显著衰减（ $\rho=0.61$ ）。
振幅： 在运动层面表现出中等程度的控制（ $\rho=0.86$ ），且与相比于其他属性，在对齐后的 IMU 中保留得更好（ $\rho=0.75$ ）。
原语持续时间： 在流水线中表现出递增的误差（运动层面的 MAPE 为 9.8%，对齐后的 IMU 为 14.1%）。
对称性： 由于数据集缺乏双侧传感器，仅在运动层面进行了评估；达到了 86% 的准确率。
标签保留： 观察到较高的保留率（93.5%–97.1%），表明变化很少会改变核心活动的身份。

4.3 消融实验

结构化 vs. 非结构化： 结构化的 SMP 表示比单纯在通用描述中添加属性指令提供了更大的性能增益（+2.90 Macro-F1）。
组件贡献： 传感器领域适配（在环模拟 + 基于秩的对齐）是最关键的组件，移除该组件会导致最大的性能下降。

5. 重要性与主张

本文主张，结构化视频引导的语义为生成可控且与可穿戴设备相关的合成传感器数据提供了切实的基础。通过将活动身份与执行变化分离，VSMP-IMU 解决了纯视觉和纯文本方法的局限性。

作者强调：

该框架在低资源和长尾设置中最为受益，因为在这些场景下，具有语义意义的多样性比简单的信号扰动更有价值。
该方法成功地从周期性练习扩展到了以腕部为主的姿势和非周期性动作，尽管对于依赖精细手指关节运动或物体接触的活动（如接球、敲门），由于全身体运动后端的限制，增益较小。
该方法并不声称能生成完美的关节手指运动或物体状态转换，而是作为身体及腕部级别可穿戴数据的一个结构化补充。

这项工作表明，将结构化中间表示与校准的模拟流水线相结合，是克服数据稀缺问题的极具前景的方向。