💻 computer science

Expanding mmWave Datasets for Human Pose Estimation with Unlabeled Data and LiDAR Datasets

本文提出了 EMDUL 方法，通过利用伪标签估计器标注无标签毫米波数据以及将 LiDAR 点云转换为毫米波点云，有效扩充了现有毫米波数据集的规模与多样性，从而显著提升了人体姿态估计模型的泛化能力和性能。

原作者： Zhuoxuan Peng, Boan Zhu, Xingjian Zhang, Wenying Li, S. -H. Gary Chan

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhuoxuan Peng, Boan Zhu, Xingjian Zhang, Wenying Li, S. -H. Gary Chan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于**“如何教雷达看懂人体动作”**的聪明故事。

想象一下，我们要训练一个毫米波雷达（mmWave），让它像人眼一样能精准地识别出人的骨架和动作（比如挥手、下蹲、跳舞）。这就像教一个**“盲人”**去“看”世界，只不过它不是用眼睛，而是用无线电波。

1. 遇到的难题：雷达的“视力”太单一

目前，雷达用来学习“看”人的教材（数据集）非常少，而且内容很单调：

教材太少：就像只有几本练习册，学生（AI 模型）没机会见识各种各样的动作。
内容太死板：练习册里的人总是站着面对雷达，动作很简单。一旦到了真实世界，人侧身、蹲下或者在复杂的环境里动，雷达就“晕”了，认不准。

与此同时，我们手里其实有两样宝藏，但还没用好：

大量没标注的雷达数据：有很多雷达录了视频，但没人告诉它里面的人做了什么动作（就像有一堆没答案的试卷）。
激光雷达（LiDAR）数据：这是另一种更高级的传感器（像高精度的 3D 相机），它的教材非常丰富，动作千奇百怪。但是，激光雷达的“画风”和毫米波雷达完全不同，直接把激光雷达的教材给毫米波雷达用，它会“水土不服”。

2. 解决方案：EMDUL（一个聪明的“翻译官”兼“助教”）

作者提出了一个叫 EMDUL 的新方法，它像是一个超级助教，通过两个步骤把“烂教材”变成“顶级教材”：

第一步：给“没答案的试卷”自动打分（伪标签估计）

问题：那些没标注的雷达数据，没人知道答案。
办法：助教先教学生（AI）做几道有答案的题，然后让学生去猜那些没答案的题。
创新点（UTCL）：为了防止学生乱猜，助教加了一条**“时间连贯性”规则**。
- 比喻：如果一个人上一秒手在左边，下一秒手突然瞬移到右边，这肯定是不对的。助教利用雷达的物理特性（只有动的物体才会被雷达“看见”），强迫学生：如果某个关节在雷达图里没被检测到，那它应该是静止的；如果检测到了，它应该是在动的。
- 结果：学生自己把那些没答案的试卷都填上了靠谱的“伪答案”，教材量瞬间变大了。

第二步：把“激光雷达教材”翻译成“雷达教材”（点云转换）

问题：激光雷达的数据太清晰、太密集，直接给雷达用，雷达会“消化不良”。
办法：助教发明了一个**“滤镜转换器”**，把激光雷达的图“加工”成雷达的图。
核心魔法（FPF 算法）：
- 比喻：想象激光雷达拍的是高清 4K 视频，而毫米波雷达拍的是模糊的、只有动物体会显影的“老式胶片”。
- 这个转换器会故意**“抹去”那些静止不动的点（就像雷达看不见静止的墙），只保留“流动”**的点（就像雷达只看见挥手的人）。它模拟了雷达“只爱看动东西”的脾气。
- 再加上一些“噪点”和“模糊”处理，激光雷达的数据就变得和雷达数据“长得一样”了。

3. 最终效果：从“井底之蛙”变成“博闻强识”

经过 EMDUL 的改造，原本只有 10% 的雷达数据，现在变成了：

自己扩充的：那些没答案的雷达数据被填上了答案。
翻译过来的：海量的激光雷达数据被“伪装”成了雷达数据。

结果如何？

更聪明：训练出来的 AI 模型，不仅在自己熟悉的场景里（同域）更准，更重要的是，它去没见过的场景（异域）也能认得准。
数据证明：在测试中，错误率降低了约 15% 到 19%。这就好比一个学生，以前做新题只能对 80%，现在能对上 95% 以上。

总结

这篇论文的核心思想就是：不要死守着那点可怜的雷达数据。
利用**“自我学习”（给没标签的数据找答案）和“跨界翻译”**（把激光雷达数据变成雷达能懂的语言），我们可以用很少的标注成本，训练出非常强大、适应性极强的雷达人体姿态识别模型。

这就好比教一个盲人跳舞，以前只能让他对着镜子（有限的雷达数据）练；现在，我们不仅让他自己摸索（无标签数据），还给他看了成千上万种舞蹈视频（激光雷达数据），并把这些视频“翻译”成了他能听懂的节奏（点云转换），所以他现在跳得既标准又灵活！

论文技术总结：EMDUL

1. 研究背景与问题 (Problem)

毫米波（mmWave）雷达人体姿态估计（HPE）因其隐私保护、抗光照干扰和 3D 感知能力而备受关注。然而，该领域面临两大核心瓶颈：

数据稀缺且多样性不足：现有的毫米波标注数据集（如 MM-Fi, mmBody）规模小，且存在两个维度的局限性：
1. 点云属性单一：缺乏设备异构性和环境多样性，导致点云密度、噪声和运动敏感度分布单一。
2. 姿态分布局限：受试者动作多为面对雷达的简单直立姿态，缺乏复杂动作覆盖。
现有扩展方法的局限：
- 基于视频提取骨架的方法生成的点云分布仍与原始毫米波数据相似，未解决属性多样性问题。
- 利用 LiDAR 数据作为监督信号的方法通常需要成对的毫米波-LiDAR 标注数据，这类多模态数据极难获取且标注成本高昂。
- 大量未标记的毫米波数据难以直接利用，因为缺乏自动标注手段。

核心目标：如何在没有成对多模态数据的情况下，利用未标记的毫米波数据和现有的 LiDAR 数据集，显著扩展毫米波 HPE 数据集的规模和多样性，从而提升模型的泛化能力。

2. 方法论 (Methodology: EMDUL)

作者提出了 EMDUL（Expanding mmWave Datasets with Unlabeled data and LiDAR），这是一个包含两个独立模块的新型流水线：

模块一：未标记毫米波数据的伪标签估计 (Pseudo-label Estimator)

目标：将未标记的毫米波点云转化为可训练的伪标签数据。
核心创新：无监督时间一致性损失 (UTCL)。
- 物理洞察：毫米波雷达基于多普勒效应，更容易检测到运动物体（高流速点），而难以检测静止物体（低流速点）。
- 动态一致性损失 (DCL)：惩罚那些位于点云附近（应被检测到）但预测流速为零的关节。
- 静态一致性损失 (SCL)：惩罚那些远离点云（应未被检测到）但预测流速非零的关节。
- 训练策略：伪标签估计器在有标签数据上使用监督损失（MSE），同时在未标记数据上使用 UTCL 进行训练，强制预测骨架符合毫米波的物理运动检测机制，从而提高伪标签的可靠性。

模块二：LiDAR 到毫米波点云的闭式转换 (Closed-Form PC Converter)

目标：将丰富的 LiDAR 点云转换为具有毫米波特性的点云，以填补属性多样性的空白。
核心流程（按顺序应用）：
1. 噪声点添加 (NPA)：模拟环境中的非人体杂波。
2. 基于流的点过滤 (FPF, Flow-based Point Filtering)：这是核心创新。
  - 利用 LiDAR 骨架流（Skeleton Flow）插值生成点云流场。
  - 模拟毫米波的运动检测机制：根据插值后的流速，以概率形式过滤掉低流速（静止）的点，保留高流速（运动）的点。这使得转换后的点云更符合毫米波“只检测运动部分”的特性。
3. 随机采样 (RS)：降低点密度，模拟毫米波稀疏点云。
4. 噪声注入 (NI)：在坐标中加入随机噪声，模拟较低的空间分辨率。

整体流水线：

将 LiDAR 数据集通过转换器变为 $D_{conv}$ 。
结合原始标注毫米波数据 $D_{mm}$ 和 $D_{conv}$ 训练伪标签估计器。
利用训练好的估计器为未标记毫米波数据 $D_{unlab}$ 生成伪标签 $D_{pl}$ 。
最终扩展数据集 $D_{exp} = D_{mm} \cup D_{conv} \cup D_{pl}$ 用于训练最终的 HPE 模型。

3. 主要贡献 (Key Contributions)

提出了 EMDUL 框架：首次系统性地结合了未标记毫米波数据（通过伪标签）和独立 LiDAR 数据集（通过模态转换）来扩展毫米波 HPE 数据集，无需成对多模态数据。
设计了 UTCL 损失函数：利用毫米波雷达的运动检测物理先验（多普勒效应），通过动态和静态一致性约束，显著提高了未标记数据伪标签的生成质量。
提出了 FPF 算法：提出了一种基于流的点过滤算法，成功模拟了毫米波雷达对运动物体的选择性检测机制，实现了 LiDAR 到毫米波点云属性的逼真转换。
显著的性能提升：证明了该扩展方法能同时提升模型在域内（In-domain）和域外（Out-of-domain）场景下的泛化能力。

4. 实验结果 (Results)

实验在 MM-Fi 和 mmBody（毫米波数据集）以及 LiDARHuman26M 和 HmPEAR（LiDAR 数据集）上进行。

性能提升：
- 域内测试 (F → F)：相比仅使用 10% 标注数据的基线，EMDUL 将 MPJPE（平均关节位置误差）降低了 15.1%。
- 域外测试 (B → F)：在跨数据集测试中，误差降低了 18.9%，显示出极强的泛化能力。
- 在多种设置下，EMDUL 均优于现有的半监督学习方法（如 Mean Teacher）和直接混合数据的方法。
消融实验结论：
- UTCL 的作用：单独使用 DCL 或 SCL 效果不佳，但两者结合能平衡动态与静态关节的预测，显著减少时间上的不一致性（如手部抖动）。
- FPF 的作用：在 LiDAR 转换中，FPF 是提升性能最关键的一步。引入 FPF 后，转换后的点云被分类器识别为“毫米波数据”的比例从 43% 提升至 60%，证明了其逼真度。
- 特征选择：实验表明，使用点的高度（Height）作为特征比使用多普勒速度（Doppler）具有更好的跨数据集泛化能力。

5. 意义与价值 (Significance)

解决数据瓶颈：为毫米波 HPE 领域提供了一种低成本、高效率的数据扩展方案，解决了标注数据稀缺和多样性不足的长期痛点。
跨模态迁移新范式：证明了通过模拟物理传感机制（如运动检测），可以将一种传感器（LiDAR）的丰富数据有效地迁移到另一种传感器（毫米波）上，而无需昂贵的成对数据。
实际应用价值：显著提升了模型在未见场景（Out-of-domain）下的鲁棒性，使得毫米波雷达在复杂环境、不同设备和多样化人体动作下的姿态估计更加可靠，推动了其在机器人、人机交互等实际场景的落地。

总结：EMDUL 通过巧妙结合物理先验（UTCL）和模态转换技术（FPF），成功利用未标记数据和 LiDAR 数据“无中生有”地构建了高质量的毫米波训练集，大幅提升了人体姿态估计模型的精度与泛化性。