🤖 AI

Rotation-Invariant Multi-IMU Activity Recognition under Independent Per-Location Orientation Shifts

本文介绍了 TRI-HAR，这是一个旋转不变性框架，它通过采用 SO(3) 等变骨干网络和不变特征融合，在结构上确保了多传感器人体活动识别中对独立于位置的 IMU 姿态偏移的鲁棒性，从而在无需显式校准或增强的情况下，超越了传统的旋转增强方法。

原作者： Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

人体活动识别是一门通过倾听人体微小动作来教计算机理解人类行为的科学。这项技术依赖于小型传感器，通常被称为惯性测量单元（IMU），这些传感器被绑在手腕、胸部或脚踝上，用以记录加速度和旋转。这些设备是居家康复计划、健身追踪和医疗监测背后的无声观察者，将原始的物理运动转化为诸如“行走”、“跑步”或“坐下”之类的数字标签。然而，一个长期困扰这些系统的难题在于：传感器的佩戴方式很少能两次完全一致。当患者第二次将传感器戴上手腕，或者不同的人佩戴同一个设备时，其方向会发生偏移。传感器可能会向左轻微倾斜或向前旋转，导致相同的物理动作产生一组完全不同的数值。多年来，计算机一直难以识别出“由于传感器倾斜而记录的‘跑’”与“由于传感器端正而记录的‘跑’”是同一种活动，一旦设备位置稍有变动，系统往往就会失效。

来自韩国高丽大学和麻省理工学院的一个研究小组开发了一种新方法来解决这一特定问题，创建了一个即使在传感器以随机方向重新佩戴时也能保持准确性的系统。他们的研究成果以 TRI-HAR 框架的形式呈现，针对的是在多传感器同时用于身体不同部位的自我管理健康监测场景。在这种环境下，每个传感器都可能独立于其他传感器发生扭转或旋转，这种情况会让标准的计算机模型感到困惑。研究人员发现，通过将每个传感器位置的数据视为一个独立的三维向量，并通过一种专门的数学结构进行处理，他们可以消除旋转带来的困扰。这使得系统能够纯粹地专注于运动本身的形态，而不受设备持有方式的影响。

他们发现的核心在于如何处理数据合并前的过程。传统方法通常试图猜测传感器的正确方向，或者依赖于使用成千上万个人工旋转的样本来训练计算机，希望它能识别出模式。研究人员认为这些方法非常脆弱；如果计算机看到了一个它未曾学习过的旋转角度，它就会失败。相反，他们构建了一个数学规则本身就能防止旋转改变最终答案的系统。他们设计的软件首先观察来自每个身体部位（如胸部或大腿）的数据。对于每个位置，系统将原始传感器信号转换为一种随传感器同步旋转的形式，然后立即将其压缩为一个稳定的、具有抗旋转性的摘要。只有在每个传感器的信息都对其自身的倾斜免疫之后，系统才会结合所有身体部位的摘要来判定人的活动内容。

这种方法在针对包含各种人类活动记录的四个不同公开数据集进行测试时，证明了其卓越的有效性。在研究人员人为地将每个传感器位置的数据进行固定随机旋转（以模拟重新佩戴）的实验中，新系统几乎完美地保持了其准确性。相比之下，未使用这种特殊结构的现有模型性能大幅下降，甚至无法识别基本的活动。即使与那些经过额外数据训练以模拟这些旋转的模型相比，新系统在无需任何额外训练的情况下表现得更好。研究人员还在一个现实世界的数据库上测试了该系统，在该数据集中，人类指导员物理移动并重新调整了传感器的方向，这种场景引入了旋转和位置的变化。在这项极具挑战性的测试中，新系统再次超越了现有的最佳方法，证实了其忽略旋转的能力在传感器以不可预测的方式移动时依然有效。

研究人员还检查了该系统在标准计算机硬件上的运行速度，因为对于实时健康监测而言，速度至关重要。他们发现，虽然该系统比简单的模型更复杂，但其处理数据的速度足以跟上实时的传感器流。对于一个配备三个传感器的设置，系统分析一段窗口数据的耗时不到一百毫秒，这远快于传感器收集下一批信息所需的时间。这意味着该技术可以现实地应用在个人的电脑或手机上，对正在发生的活动进行监测，而无需将数据发送到远程服务器。这项工作表明，通过改变计算机观察数据的基本架构，而非仅仅喂入更多示例，是完全有可能构建出能够应对人们佩戴设备时那种混乱现实的活动识别系统的。

技术摘要：针对独立位置取向偏移的旋转不变性多 IMU 活动识别

问题陈述

使用自管理可穿戴惯性测量单元（IMU）进行的人类活动识别（HAR）面临着一个关键的分布偏移问题：即在不同会话中重新佩戴传感器时产生的独立取向偏差。在多 IMU 设置下（例如胸部、手腕、大腿、脚踝），每个传感器相对于其监测的身体部位可能会产生一个独特的、任意的旋转。

传统的标量 HAR 模型缺乏对这些旋转的结构鲁棒性，导致性能显著下降。现有解决方案主要依赖两种方法，但两者均存在局限性：

旋转增强（Rotation Augmentation）： 在合成的旋转数据上训练模型。这种鲁棒性依赖于采样，并且无法保证对任意未见的 $SO(3)$ 旋转具有不变性。
校准流水线（Calibration Pipelines）： 使用参考坐标系、静态间隔或磁力数据进行归一化处理的预处理步骤。这些步骤引入了工程开销和假设（例如，假设磁场可靠），在不受控的自管理环境中往往会失效。

核心挑战在于如何在不需要旋转增强或显式测试时校准的情况下，实现对独立的、逐位置的 $SO(3)$ 取向偏移的结构不变性。

方法论：TRI-HAR

作者提出了 真正旋转不变 HAR（TRI-HAR），该框架将旋转不变性直接嵌入到模型架构中。该方法将加速度计和陀螺仪流处理为三轴向量，而非标量通道。

1. 基于位置分组的向量表示

输入数据从扁平化的标量通道（ $X_{raw} \in \mathbb{R}^{T \times 3S}$ ）重塑为三轴向量流（ $X \in \mathbb{R}^{T \times S \times 3}$ ）。至关重要的是，这些流按物理 IMU 位置（ $L$ 个位置）进行分组。每个组 $X^{(l)}$ 被视为一个受独立旋转 $R_l \in SO(3)$ 影响的单元。这种公式化明确地模拟了在不同身体位置的传感器以不同偏移量重新佩戴的情景。

2. 共享 $SO(3)$ 等变骨干网络

TRI-HAR 采用了一个共享骨干网络，实例化为 FER-VN-DGCNN（基于频率的等变特征表示结合向量神经元与动态图卷积神经网络）。

向量神经元 (Vector Neurons, VN)： 将标量隐藏特征提升为 3D 向量值通道，这些通道在 3D 旋转下具有可预测的变换特性。
多频率等变性 (Multi-Frequency Equivariance)： 骨干网络将输入向量提升到多频率等变空间。输入向量的方向决定了角度分量，而可学习的径向函数则调节与幅度相关的频率系数。
图处理 (Graph Processing)： 在每个位置组内，骨干网络在时间索引的 IMU 状态上构建动态图，在保持等变性的同时，聚合来自运动学相似运动状态的特征。

3. 不变性投影与融合

该设计的核心创新在于操作顺序：不变性投影先于跨位置融合。

不变性投影： 对于每个位置组，将等变特征投影为旋转不变的标量表示。这是通过计算潜在特征与学习到的共旋转坐标系之间的内积来实现的。数学上，如果 $V_t$ 是特征且 $F_t$ 是坐标系，则不变特征 $z_t = V_t F_t^\top$ 会抵消掉旋转 $R_l$ 。
逐位置聚合： 不变的时间步特征通过池化（全局最大/平均值）生成每个位置的单个不变特征向量 $h_l$ 。
固定顺序融合： 将不变向量 $\{h_1, \dots, h_L\}$ 按固定的身体位置顺序进行拼接，并传递给最终的 MLP 分类器。

这种设计确保了模型对于每个位置的独立旋转 $R_l$ 具有不变性，因为旋转在不同位置的特征合并之前就在局部被抵消了。

核心贡献

TRI-HAR 框架： 一种多 IMU HAR 架构，它学习每个物理位置的“等变到不变”的表示，提供了对独立取向偏移的结构鲁棒性，无需旋转增强或测试时校准。
独立逐位置偏移协议： 制定了一种特定的评估协议，其中每个 IMU 位置接收一个独特的、固定的 $SO(3)$ 旋转，准确模拟了自管理重新佩戴的情景。
实证验证： 在四个公共基准数据集（PAMAP2, DSADS, Opportunity, RealDISP）上证明了 TRI-HAR 在固定独立逐位置旋转下仍能保持 Macro-F1 分数，优于依赖采样的旋转增强基线模型。

实验结果

作者在两种条件下评估了 TRI-HAR 与五个监督基线模型（MC-CNN, DeepConvLSTM, MLP-HAR, TinyHAR, SA-HAR）的性能：原始测试数据 ( $I$ ) 以及固定独立逐位置 $SO(3) $偏移 ($ SO(3)_{loc-fix}$)。

对旋转的鲁棒性： 在 $SO(3)_{loc-fix}$ 条件下，非等变基线模型的性能出现了灾难性下降（例如，在 PAMAP2 上，Macro-F1 从约 80% 降至约 30%）。相比之下，TRI-HAR 在原始测试数据上的表现保持稳定，显示出极小的性能退化（相对不变性误差 $< 10^{-10}$ ）。
与增强方法的比较： 即使基线模型使用了匹配的逐位置旋转增强（loc-sample），TRI-HAR 在所有四个数据集上仍实现了更高的 Macro-F1 分数，且无需使用任何旋转增强。
RealDISP 相互位移： 在具有挑战性的 RealDISP “相互位移”（Mutual-displacement）折叠（即传感器由指导人员进行物理重新定位和重新定向）中，TRI-HAR 取得了最高的 Macro-F1（85.29%），超过了最强的旋转增强基线（TinyHAR，78.49%）6.8 个百分点。
融合策略的消融研究： 一个控制模型 TRI-HAR-joint（该模型对所有位置的拼接特征应用不变性投影，假设存在一个共享的全局旋转）在独立逐位置偏移下表现极差（损失了约 37–50 个 Macro-F1 点）。这证实了逐位置不变性投影对于目标部署场景是必要的。
延迟： 在 3-IMU 和 5-IMU 流上的主机端延迟测量显示，虽然由于逐位置等变处理，TRI-HAR 比标量基线模型慢，但其 p99 窗口-标签延迟（分别为 67.61 ms 和 85.78 ms）仍远低于窗口更新周期（约 2.5s），支持实时流式推理。

意义与主张

论文声称 TRI-HAR 为自管理多 IMU HAR 中的取向变异问题提供了一种结构化解决方案。通过将旋转不变性视为一种模型属性而非数据增强策略，该框架消除了对以下内容的依赖：

训练期间的合成旋转增强。
推理期间的显式取向校准或参考坐标系假设。

作者将 TRI-HAR 定位为一种适用于居家康复和运动监测的“轻校准”方法，在这些场景中，传感器会被频繁重新佩戴，且进行用户端校准是不切实际的。这项工作强调，尽管目前的实现比标量模型具有更高的计算成本，但这种架构上的权衡在现实、不受控的部署场景中所获得的鲁棒性是值得的。未来的工作方向是优化编码器内部的计算成本，以实现边缘侧部署。