💻 computer science

HybridSim: A Physics-Learning Hybrid Digital Twin for mmWave Human Sensing

本文提出了 HybridSim，一种物理学习型混合数字孪生，它通过解耦直接和间接信号路径，合成用于动态人体运动的高保真毫米波雷达信号，从而实现低成本、特定场景的数据增强，进而提升下游人体感知任务的性能。

原作者： Weitao Xiong, Tianyu Liu, Peng Li, Kok Chung Chua, Toa Chean Khim, Pu Wang, Hongfei Xue

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Weitao Xiong, Tianyu Liu, Peng Li, Kok Chung Chua, Toa Chean Khim, Pu Wang, Hongfei Xue

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教会一个机器人在黑暗的房间里“看见”人，但又不使用摄像头。不同于光线，这个机器人使用的是一种看不见的无线电波，特别是一种被称为毫米波（mmWave）的雷达波。这些波非常出色，因为它们能在黑暗中工作，且不会像视频摄像头那样侵犯隐私。然而，要教会机器人理解这些波是非常困难的。无线电波会从墙壁、地板和人身上反射，产生一种难以解释的杂乱回波组合。为了教导机器人，科学家需要成千上万小时的数据，展示人们以各种方式移动的过程。但在现实世界中记录所有这些数据既昂贵又缓慢，还需要大量的人员不断地重复表演场景。

这正是计算机模拟技术派上用场的地方。科学家们尝试构建一个“数字孪生”——即房间和人的完美计算机副本——来生成这些训练数据。问题在于，目前的模拟器就像是笨拙的艺术家：它们要么物理规律准确但运行极其缓慢，要么运行速度很快但产生的图像模糊且不真实，从而误导机器人。它们很难将来自人体手臂的直接回波与来自墙壁的复杂回波区分开来。如果模拟出错，机器人学到的就是错误的经验，并在遇到真人时失败。

于是，研究人员创造了一个名为 HybridSim 的新工具，它就像一位聪明的混合型艺术家。HybridSim 并没有尝试计算每一次无线电波的反射（这对于快速移动的场景来说在计算上是不可能的），而是将问题拆分为两个截然不同的任务。首先，它使用一种称为“逆向渲染”的技术，来确定从人体皮肤反射出的直接、直线信号，将人体视为一个复杂的、具有光泽的对象。其次，它使用一种基于学习的方法——“3D 高斯泼溅”（3D Gaussian Splatting），作为处理墙壁和地板上杂乱多重反射回波的智能捷径。你可以把它想象成：由一位物理专家处理直接撞击的信号，而由一位机器学习巫师来推测复杂的背景噪声。

研究人员在固定房间设置中测试了这个系统，发现 HybridSim 产生的信号比以往的方法更接近真实的测量结果。当他们利用 HybridSim 生成的数据来训练机器人识别人类动作时，机器人的表现有了显著提升。事实上，在利用真实世界数据进行测试时，使用 HybridSim 模拟数据训练的机器人在识别动作方面的准确率达到了 92.07%，相比之下，使用旧模拟方法训练的机器人准确率仅为 54.22%，这是一个巨大的飞跃。该论文指出，通过将直接路径和间接路径解耦，HybridSim 保留了人类运动中微小且快速的细节（例如手指的抽动），而这些细节是其他模拟器会遗漏的，这使其成为教导雷达系统更清晰地观察世界的强大工具。

技术摘要：HybridSim

问题陈述

开发鲁棒的基于毫米波（mmWave）雷达的人体感知深度学习模型需要大规模、且经过精确标注的训练数据集。然而，针对特定部署场景收集并标注真实世界的测量数据不仅耗时且成本高昂。虽然物理仿真可以作为扩展数据集并弥合“仿真-现实”（sim-to-real）领域差距的解决方案，但现有方法面临显著局限性：

基于物理的射线追踪（Ray Tracing）： 虽然准确，但在模拟高阶多径交互时会面临指数级的计算复杂度，导致其在进行连续动态运动合成时效率低下。此外，这些方法通常需要环境的精确扫描几何形状。
神经表示（Neural Representations）： 近期将辐射场和 3D 高斯泼溅（3DGS）应用于射频（RF）领域的尝试在静态通道建模方面表现出色，但往往会将动态人体的主表面散射与复杂的环境多径反射纠缠在一起。这种纠缠会降低对时变微多普勒（micro-Doppler）特征的合成质量，而这些特征对于在单传感器设置中识别关节运动至关重要。
数据驱动方法（Data-Driven Methods）： 纯数据驱动的生成或物理增强器往往会在相干多径干涉和物理保真度方面做出妥协。

方法论：HybridSim

HybridSim 是一种物理-学习混合数字孪生系统，旨在从静态室内环境中的动态人体网格中合成真实的中间频率（IF）毫米波雷达信号。其核心创新在于将电磁传播显式解耦为两个截然不同的、可解释的部分：直接路径（direct path）和间接路径（indirect path）。

1. 神经特征表示与可见性

人体参数化： 动态人体受试者使用从标准 SMPL 网格提取的三平面（tri-plane）特征表示。这提供了一种对关节姿态具有不变性的连续表示。
场景参数化： 为了避免使用复杂的扫描几何体，静态房间边界（墙壁、地板、天花板）是利用相对于雷达收发机的标量距离配置构建的。通过这些表面生成了合成的、基于网格的点云。
可见性： 使用隐藏点移除（HPR）算法动态确定所有散射体的可见性，以处理自遮挡和视线阻挡问题。

2. 直接路径模拟（逆向渲染）

直接路径模拟来自人体和房间边界的单次反射（视线/Line-of-Sight）路径。

幅度建模： 神经特征通过带有随机掩码的图卷积网络（GCN）进行处理，以稳定优化过程并确保材料参数的空间一致性。随后，BRDF 解码器预测物理材料参数（粗糙度、金属混合度、折射率）。
相位建模： 相位严格由物理传播定律（载波频率、线性调频斜率和总延迟）决定，通过计算发射器、散射体及接收器之间的位置得出。
合成： 最终的直接信号是所有全局可见散射体贡献的相干求和，并结合了学习到的幅度和物理相位。

3. 间接路径模拟（统一多散射体代理模型）

间接路径模拟多跳反射（ $\ge$ 2 跳），例如人-墙或墙-墙之间的交互。

代理虚拟接收器： 为了避免显式多跳射线追踪带来的指数级成本，该方法在房间边界上引入了一组代理虚拟接收器。
3D 高斯泼溅（3DGS）： 动态人体网格和静态房间布局被使用几何约束的 3DGS 离散化为一组统一的活跃散射元素。这些元素被展平为与局部切平面对齐的 2D 表面贴片，以防止体积膨胀。
传播模型： 复杂的多次反射积分被近似为一个可微的三段式传播模型：发射器 $\to$ 中间散射体 $\to$ 代理接收器 $\to$ 物理接收器。
学习： 学习 3DGS 参数（球谐函数、不透明度、缩放、偏移），以编码特定场地的多径干涉模式，从而充当多跳射线追踪的代理模型。

4. 优化与损失函数

领域差距缓解： 在合成信号中注入零均值复高斯噪声，以弥合“仿真-现实”之间的领域差距。
损失策略： 由于对亚毫米级几何误差非常敏感，框架避免了对原始时域复信号的直接优化。相反，该框架在通过 2D 快速傅里叶变换（FFT）导出的距离-多普勒（RD）幅度热图上进行优化。
目标： 损失函数最小化模拟热图与地面真值（Ground Truth）之间在对数尺度（dB 刻度）下的均方误差（MSE）。这种方法将由几何驱动的运动路径演化与由数据驱动的电磁效应分离开来。

核心贡献

解耦渲染架构： 一种新型框架，将直接表面散射（通过逆向渲染/BRDF 建模）与间接环境多径效应（通过 3DGS 建模）分离，从而保留了距离-多普勒热图中精细的运动学细节。
统一多散射体代理模型： 一种利用代理边界几何和 3DGS 来建模复杂多径效应的方法，在保持物理保真度的同时，实现了比显式全射线追踪低得多的计算成本。
稳定的优化： 使用图卷积网络（GCN）来稳定逆向渲染过程，并减轻材料参数训练期间的梯度不稳定问题。

实验结果

该框架在 mmMesh 数据集上使用 TI AWR1843BOOST 雷达进行了评估。

定量性能： 在受试者内（未见帧）和跨受试者（未见人体）设置下，HybridSim 在 PSNR、SSIM 和 LPIPS 指标上均优于基准模型（mmGPE 和 RF-Genesis）。值得注意的是，它显著降低了 LPIPS（在跨受试者设置下，mmGPE 为 0.253，而 HybridSim 为 0.084），表明其具有更优越的结构保真度。
下游任务（人体活动识别）： 当作为数据增强手段用于训练活动识别模型（mmAP）时，HybridSim 显著提升了现实世界的性能。使用 HybridSim 数据训练的模型在现实世界地面真值上的准确率达到了 92.07%，而 mmGPE 为 54.22%，RF-Genesis 为 30.68%。
定性分析： 距离-多普勒热图的视觉对比显示，HybridSim 能够准确保留关节肢体运动的精细微多普勒特征，而这些特征在基准仿真器中往往会被丢失或模糊化。

意义

论文指出，HybridSim 为扩展基于雷达的人体感知训练数据集提供了一个切实可行的方案，且无需承担物理数据采集的高昂成本。通过显式地解耦直接传播与间接传播，该模拟器在保持对现实测量高物理保真度的同时，仍能保持高效的计算能力。结果表明，合成数据有效地弥合了“仿真-现实”的领域差距，显著增强了下游雷达感知模型在跨受试者和“仿真-现实”场景下的性能。这项工作确立了：在下游应用中，保留距离-多普勒热图中的运动学细节比单纯追求全局像素级相似度指标更为关键。