💻 computer science

RePos: Relative-to-Absolute Pose Factorization for Cross-Environment WiFi-Based 3D Human Pose Estimation

本文介绍了 RePos，这是一个将根相对姿态估计与根定位解耦的分解框架，旨在克服现有基于 WiFi 的 3D 人体姿态估计方法在跨环境泛化方面的不足，通过学习独立于特定环境位置线索的鲁棒姿态表示，实现了显著的精度提升。

原作者： Zhangcheng Hou, Tomoaki Ohtsuki

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhangcheng Hou, Tomoaki Ohtsuki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你要教一个机器人理解你的舞蹈动作，但你不能使用摄像头，而是必须依靠从标准家用 Wi-Fi 路由器反射出来的、看不见的无线电波。这就是“Wi-Fi 感知”的世界。与将你视为图像的摄像头不同，Wi-Fi 将你视为一种信号干扰模式。当你移动时，你的身体会阻挡并反射这些波，从而在数据中创造出一个独特的“指纹”，称为信道状态信息（CSI）。这项技术是隐私和安全的梦想，因为它可以在黑暗中工作，可以穿透墙壁，而且不需要镜头对着你。然而，这里有一个巨大的陷阱：Wi-Fi 信号就像是在特定房间里演奏的一种乐器。家具、墙壁和路由器的角度都会彻底改变这首“曲子”。一个在客厅里训练用来识别“跳跃”动作的模型，如果你尝试在卧室里使用它，它可能会完全陷入混乱，因为房间本身改变了信号的“曲调”。

于是有了 RePos，一种试图解决这种“房间混淆”问题的新方法。研究人员意识到，旧的方法就像是在尝试记忆舞者在特定房间里的精确足部坐标。如果舞者移动到一个新房间，那些坐标就变得毫无用处了。相反，RePos 将问题拆分为两个独立的任务。首先，它要弄清楚身体在做什么（即姿态的形状，比如“手臂举起”），而无需担心它在哪里。第二，它尝试猜测人在哪里站立，但它将此视为一个单独的、高度依赖于房间环境的复杂任务。通过将“身体形状”与“房间位置”分离，该系统可以学习一次舞蹈动作，然后将其应用于任何地方，即使是在它从未见过的房间里。

问题所在：“特定房间”的陷阱

长期以来，科学家们一直试图构建一个单一的 AI 模型，通过观察 Wi-Fi 信号直接输出一个人的 3D 关节坐标。这就像是一个学生背下了在特定教室参加考试的答案解析。如果考试被移到了一个灯光不同的不同房间，学生就会感到困惑，因为他们背诵的是答案的“位置”，而不是背后的逻辑。

在 Wi-Fi 领域，这被称为“坐标过拟合”。AI 学习到特定的手臂位置总是发生在房间内的某个特定点，因为那是训练数据所在的位置。但当你把人移动到一个新房间时，Wi-Fi 信号发生了变化，AI 就迷失了。它试图将身体强行固定在旧的位置上，尽管人其实站在别的地方。论文指出，这是因为 AI 试图同时学习两件截然不同的事情：身体的结构（这在任何地方都是一样的）和身体的位置（这随每个房间而变化）。

解决方案：拆分任务

作者提出了 RePos（相对到绝对姿态，Relative-to-Absolute Pose），它更像是一个两人协作的团队，而不是一个过度劳累的天才。

1. “身体侦探”（阶段 1）
系统的第一部分只关注身体的形状。它忽略“这个人是在哪里？”的问题，而只问“这个身体在做什么？”为了实现这一点，它使用了一个巧妙的技巧，叫做身体部位潜查询（Body-Part Latent Queries, BP-LQs）。想象一下，Wi-Fi 信号是一堆杂乱的拼图碎片。AI 将这些碎片分为六个桶：头部、躯干、左臂、右臂、左腿和右腿。然后，它使用一个“骨架图”将这些桶连接起来，确保左臂始终连接在躯干上，就像真实的骨骼一样。这部分系统学习如何相对于个人的臀部（“根节点”）来识别姿态，因此无论此人在厨房还是车库，只要是“手臂举起”的姿态，其相对特征都是一致的。

2. “房间猜想者”（阶段 2）
系统的第二部分是基于振幅的空间先验网络（Amplitude-based Spatial Prior Network, ASPN）。这部分负责猜测人站在哪里。作者很坦诚：他们承认在陌生房间中通过 Wi-Fi 精确猜测位置是非常困难且往往不准确的。因此，他们将这项工作交给了一个专门处理信号“强度”（振幅）而非复杂“相位”数据的独立网络，因为相位数据通常是不可靠的。这个网络充当了一个粗略的地图。它可能不知道精确到毫米的位置，但它可以判断人是在房间的左侧还是右侧。

最后的魔术技巧
一旦两部分都完成了各自的工作，RePos 仅仅将它们相加：

绝对姿态 = (身体形状) + (房间位置)

由于“身体形状”部分在训练期间从未接触过“房间位置”的数据，因此它不会被房间布局所迷惑。它学习的是纯粹的舞蹈动作。当系统部署在一个新房间时，“身体侦探”仍然能完美识别动作，而“房间猜想者”则尽力将其放置在新空间中。

研究结果

研究人员使用名为 MM-Fi 的数据集测试了他们的想法，该数据集包含来自四个不同房间的数据。他们在三个房间上训练模型，并要求它预测第四个未见房间中的姿态。

旧方法失败了： 当他们使用旧有的“单脑”方法（他们称之为 RePos-D，即直接版本）时，模型虽然能大致掌握身体形状，但会将人放置在错误的位置。其位置误差跳升至约 300–370 mm（大约一英尺），导致整个姿态看起来完全不对。
新方法胜出： 使用 RePos 后，误差显著下降。模型将位置误差降低到约 203–261 mm（大约 8–10 英寸），并且与现有最优秀的方法相比，整体姿态准确度提高了 10–21%。
“身体”是稳定的： 最重要的发现是，“身体侦探”部分的准确率几乎保持不变，无论人是在熟悉的房间还是新房间。只有“房间猜想者”部分会遇到困难，但由于它是分离的，因此不会破坏身体的形状。

为什么这很重要

论文指出，这种“分裂人格”的方法是让 Wi-Fi 感知在现实世界中真正发挥作用的关键。如果你想要一个能在你的家、邻居的家以及医院中工作，且无需每次走进新房间都重新校准的系统，你就不能仅仅训练一个模型去死记硬背坐标。你必须先教会它理解身体，然后再理解房间。

作者还展示了，如果你确实有一个新房间，并且可以给系统一点点数据来进行微调（“少样本”迁移），系统会变得更好。但即使没有这些额外的帮助，RePos 也比试图同时猜测一切要可靠得多。

简而言之，RePos 并不声称已经完美解决了 Wi-Fi 定位的谜题。它承认，在陌生房间中猜测你的位置仍然很困难。但通过将“是什么”与“在哪里”分离，它确保了“是什么”（你的姿态）保持准确，从而使整个系统对于跌倒检测、健康监测以及通过手势控制智能设备等应用场景更加可靠。

技术摘要：RePos —— 用于跨环境 WiFi 3D 人体姿态估计的相对-绝对姿态分解框架

1. 问题陈述

本文解决了使用商用 WiFi 信道状态信息（CSI）进行无设备 3D 人体姿态估计时，面临的跨环境泛化这一关键挑战。虽然 WiFi 感知提供了比基于摄像头的系统更具隐私保护性和光照鲁棒性的替代方案，但现有模型在未见过的环境中部署时往往表现不佳，且难以在没有逐环境校准的情况下直接使用。

核心难点在于 CSI 的本质：与图像不同，CSI 缺乏与身体部位对应的空间局部对应关系，并且深受特定于房间布局、家具和收发机几何结构的复用路径传播的影响。因此，回归绝对姿态（房间空间中的关节坐标）的模型容易将身体结构与特定于环境的位置线索纠缠在一起。这种“坐标过拟合”现象使得模型在单一训练环境内能获得高精度，但当部署到未见过的房间时，由于学习到的位置先验无法迁移，会导致性能剧烈下降。

2. 方法论：RePos 框架

作者提出了 RePos（Relative-to-Absolute Pose，相对-绝对姿态），这是一个将身体结构预测与绝对位置解耦的分解框架。RePos 不再学习从 CSI 到绝对坐标的单一映射，而是将任务拆分为两个独立训练的分支，并在输出端进行重组。

A. 姿态分解

绝对姿态 $J_{abs}$ 被分解为：
$J_{abs} = J_{rel} + r$
其中 $J_{rel}$ 是根节点相对姿态（与全局平移无关的身体构型）， $r$ 是根节点位置（房间内的骨盆位置）。

结构分支（Structure Branch）： 仅针对 $J_{rel}$ 进行训练，不接收绝对位置的监督。这防止了环境特定的位置线索泄露到结构表示中。
定位分支（Localization Branch）： 旨在通过 CSI 幅度预测 $r$ ，作为一个可学习的空间先验。

B. 第一阶段：结构化姿态解码器（结构分支）

该阶段通过一种旨在对原始 CSI 施加解剖学结构的特定模态架构来估计根节点相对姿态 $J_{rel}$ ：

CSI 编码器： 使用 CNN 和 Transformer 将 CSI 幅度处理为编码特征。
身体部位潜在查询（BP-LQs）： 引入了一种结构化的中间表示。可学习的潜在标记被分组为六个解剖区域（头部、躯干、左/右臂、左/右腿）。这些标记作为查询来关注（attend to）CSI 特征，形成一个瓶颈，从而按身体部位而非原始信号来组织信息。
骨架图注意力（SGA）： 一个图注意力模块，用于精炼 BP-LQs。它使用二元邻接矩阵在特征精炼过程中强制执行骨骼连接约束（例如，躯干连接到肢体），确保中间表示在进行关节解码前符合解剖学拓扑结构。
从部位到关节的解码器（Part-to-Joint Decoder）： 聚合部位级特征，并将其解码为相对于根节点的 17 个关节坐标。

C. 第二阶段：基于幅度的空间先验网络（ASPN）

该阶段仅使用 CSI 幅度（忽略商用设备中通常不可靠的相位）来估计根节点位置 $r$ ：

潜在调制码： 一个 CNN 将 CSI 幅度映射为一个可学习的潜在码，该码调制幅度以合成复信号。
可微空间分解： 合成的信号经过一个受物理启发但可学习的分解过程，涉及仅接收端的波束成形（角谱）和快速傅里叶逆变换（IFFT）以生成空间热图。这创建了一个针对定位优化的空间表示，且无需显式的物理相位校准。
根节点回归器： 通过 CNN 和 MLP 从空间热图中预测 3D 根节点位置。

D. 训练策略

模型分两个顺序阶段进行训练：

第一阶段： 在根节点相对目标和肢体长度正则化项下优化整个结构化姿态解码器。
第二阶段： 固定第一阶段，仅使用绝对姿态目标优化 ASPN 参数。这确保了结构分支不会被位置梯度所破坏。

E. RePos-D（域内变体）

针对位置线索一致的单环境部署场景，作者引入了 RePos-D，这是一个直接变体，它使用相同的第一阶段骨干网络，通过端到端回归绝对姿态，省略了分解过程和 ASPN。

3. 核心贡献

分解框架： RePos 通过将根节点相对姿态估计与根节点定位分离，解决了坐标过拟合问题，确保结构分支学习到环境稳定的表示。
身体部位潜在查询（BP-LQs）： 一种按解剖学分组的潜在标记表示，在关节解码之前施加骨架结构，并通过骨架图注意力（SGA）进行精炼。
无校准定位： ASPN 的设计通过可微空间分解从 CSI 幅度估计根节点位置，避免了需要校准的相位或物理 AoA/ToF 估计。
最先进的性能： 在跨环境和域内设置中均展示了卓越的性能。

4. 实验结果

该方法在 MM-Fi 数据集（跨环境）和 Person-in-WiFi-3D（域内）上进行了评估。

跨环境（MM-Fi）： 在严格协议下（在环境 E01–E03 上训练，在未见的 E04 上测试），RePos 与现有的仅 WiFi 方法（如 DT-Pose, MetaFi++）相比，将平均每关节位置误差（MPJPE）降低了 10–21%。
- RePos 在各项活动协议下的 MPJPE 达到了 254.4–296.1 mm。
- 至关重要的是，根节点位置误差显著降低（例如，203 mm 对比基准模型的 >260 mm），而 PA-MPJPE（经 Procrustes 对齐，衡量身体形状）与基准模型相当。这证实了改进源于更好地处理定位，而非根本性地改变了结构重建能力。
域内（Person-in-WiFi-3D）： 直接变体 RePos-D 实现了 86.9 mm MPJPE，比之前的最优方法（DT-Pose 为 90.0 mm）提升了 3.4%，证明了当环境固定时，该骨干网络非常有效。
消融实验：
- 去除分解过程（在跨环境设置中使用 RePos-D）会导致性能退化至基准水平，证实了分离结构与位置的必要性。
- 去除 BP-LQs 或 SGA 会降低结构和根节点精度，验证了解剖学分组的重要性。
- 误差分析显示，两个分支不会产生误差级联；定位分支对结构分支中的噪声具有鲁棒性。

5. 意义与主张

论文声称，部署 WiFi 感知的首要障碍不是无法重建身体形状，而是身体结构与特定环境位置线索之间的纠缠。

架构偏置优于特征不变性： 作者强调，RePos 的成功并非通过学习“环境不变特征”实现的。分析表明，内部表示（包括结构特征）仍然具有很强的环境可分性。相反，其成功源于一种架构归纳偏置，该偏置将依赖环境的量（位置）路由到单独的分支中，使结构分支仅受环境稳定的目标（相对姿态）监督。
实际部署： 该框架使得在一个训练集环境上训练的模型能够在未见的测试环境中运行，无需校准或微调。
范围与局限性： 作者坦诚地指出，尽管 RePos 显著缩小了跨环境差距，但定位分支仍带有环境依赖性（根节点误差仍约为 260 mm）。该方法被定位为一种粗略的、无需校准的定位器，适用于跌倒检测和健康监测等应用，但在精细的 AR/VR 交互方面可能需要进一步改进。作者还承认了单人约束的局限性，以及对自由移动数据和多用户场景研究的需求。

总之，RePos 提供了一个统一的骨干网络，既支持高精度的域内部署（通过 RePos-D），也支持鲁棒的、无需校准的跨环境部署（通过 RePos），有效地解决了当前 WiFi 感知方法中固有的坐标过拟合失效模式。