🤖 AI

Memory-Augmented LSTM Autoencoder for Unsupervised Activity Recognition with IMU Sensor Fusion

本文提出了一种全无监督记忆增强型 LSTM 自编码器框架，该框架融合了来自多传感器 IMU 数据的层次化静态与时序特征，以在现实场景中实现高准确度的活动识别，并在 DaLiAc 和 PAMAP2 数据集上超越了有监督基准模型及现有的无监督方法。

原作者： Saeid Arabzadeh, Farshad Almasganj, Mohammad Mahdi Ahmadi

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Saeid Arabzadeh, Farshad Almasganj, Mohammad Mahdi Ahmadi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何仅仅通过观察人体抖动和旋转的方式来识别人的动作。通常情况下，要教会机器人这些，你需要向它展示成千上万段视频，并且人类已经为每一个动作都贴好了标签：比如“这是走路”、“这是坐下”、“这是扫地”。但在现实世界中，我们并不总是有这些标签，而且有时数据很杂乱，或者传感器本身在晃动。

这篇论文提出了一种巧妙的新方法，让你无需这些标签就能教会机器人。这就像是教学生识别一首歌，不是通过阅读乐谱，而是通过聆听节奏和音符是如何流动的。

以下是他们使用简单类比对该方法的拆解：

1. 问题所在：“模糊快照”

想象你只拍了一秒钟的人像照片。如果那个人正处于从椅子上站起来的过程中，这张照片就会让人感到困惑。这到底是“坐着”还是“站立”？这是一个模糊的快照。

挑战： 大多数现有的 AI 模型试图通过观察这些简短、模糊的快照来猜测活动内容。它们经常会感到困惑，尤其是当传感器（如智能手表或腰部绑带）存在噪声，或者人在不同活动之间进行转换时。
论文的解决方法： AI 不仅仅看这个快照，它还会观察导致该快照发生的故事。它会追问：“就在前一秒发生了什么？”以此来理解当前时刻。

2. 解决方案：两步走的“记忆”系统

作者构建了一个名为 UTFF（无监督时序特征融合）的系统。可以把它看作是一个两阶段的侦探过程：

第一阶段：“静态侦探”（HUF 模型）

首先，系统会观察一段特定时间窗口（一个快照）内来自多个传感器（例如手腕、胸部和臀部的加速度计和陀螺仪）的数据。

类比： 想象一群艺术评论家。每位评论家观察画作的不同部分（一位看手腕，一位看胸部）。他们各自写下一份详细的报告，描述他们所看到的内容。然后，一位“首席评论家”将所有这些报告整合在一起，形成一份关于身体“此时此刻”正在做什么的高质量综合摘要。
结果： 这产生了一个“静态特征”——对当前时刻非常精准的描述，但它仍然不知道这个人刚才是在坐下还是在站起。

第二阶段：“记忆守护者”（LSTM-AE）

这是本论文的核心创新。系统会将这些“静态摘要”输入到一个记忆增强自动编码器中。

类比： 想象一位刚刚收到一本书章节摘要的图书管理员。他不会孤立地判断这一章，而是会在记忆中翻阅之前的章节。他会说：“啊，现在这一章变得清晰了，因为我记得上一章的角色正在奔跑。”
运作方式： AI 查看当前的摘要，并将其与前几秒钟的摘要结合起来。它使用一个特殊的“记忆单元”（LSTM）来记住动作的流动。然后，它尝试根据这种记忆来重建原始数据。如果它能完美地重建数据，就意味着它真正理解了这种模式。
神奇之处： 通过强迫 AI 利用过去来理解现在，它能更好地区分相似的活动（比如“扫地”与“走路”），即使当前的快照很短且模糊。

3. “现实世界”测试

大多数研究都在完美、干净的数据上进行测试，其中每个时间窗口只包含一种活动（例如，一个窗口 100% 是“走路”）。

论文的转折点： 作者决定在混乱的现实场景中测试他们的模型。他们使用了类间窗口化（inter-class windowing）。
类比： 与其测试一位面对每一页都是新章节的书籍的图书管理员，不如给他们一本章节相互交织、互相渗透的书。一个单一的窗口可能既包含“坐下”的结尾，也包含“站立”的开始。
结果： 他们发现这种混乱的处理方式实际上增加了 AI 的工作难度（准确率最初下降了约 7%），但也让模型在现实生活中更加实用。

4. 结果：短窗口，大胜利

论文中最令人印象深刻的说法是关于速度与效率。

通常，为了获得高准确度，AI 需要观察较长的时间窗口（例如 5 秒的数据）才能确定正在发生什么。
作者的模型实现了 96.6% 和 98.4% 的准确率，但它是利用极短的窗口（仅 1 秒）完成的。
隐喻： 这就像是在只听到前两个音符后就能识别出一首歌，而其他系统则需要听到整个副歌。通过利用它对“前序音符”的记忆，该模型不需要完整的副歌就能知道是什么歌。

总结

这篇论文介绍了一种智能的无监督 AI，它通过以下方式学习识别人体动作：

融合来自多个身体传感器的信息，以获得对“当下”的清晰图像。
利用记忆通过观察“刚才”来更好地理解“现在”。
自我训练，无需人工标签（无监督）。
即便在数据杂乱且时间窗口极短的情况下也能高效工作。

作者声称，由于该方法能够处理人体动作转换时的复杂现实情况，且无需海量的标注样本，因此优于旧有的模型。

技术摘要：用于无监督活动识别的记忆增强型 LSTM 自编码器

1. 问题陈述

使用惯性测量单元（IMU）传感器的动作识别（HAR）对于医疗保健、康复和运动障碍诊断至关重要。然而，该领域面临着重大障碍：

数据稀缺与标注： 深度学习模型通常需要大量的标注数据，而获取这些数据的成本高且难度大。
传感器融合复杂性： 有效融合来自多个传感器（加速度计和陀螺仪）的数据，以捕捉空间和时间依赖性，仍然具有挑战性。
时空依赖性： 现有的无监督方法往往无法捕捉多样化运动模式中复杂的动态特性，尤其是在短时间窗口内。
现实世界约束： 现实场景涉及噪声数据、重叠活动以及模糊的转换边界。大多数现有研究使用“类内”（intra-class）分窗法（即一个窗口内仅包含一种活动），这并不能反映现实世界运动的连续性和过渡性。

2. 方法论

作者提出了一种名为**无监督时间特征融合（UTFF）**的全自动无监督时空特征融合框架。该架构分为两个主要阶段：静态特征提取和动态时间增强。

A. 静态特征提取（层次化无监督融合 - HUF）

在进行时间建模之前，系统使用多传感器数据的短期窗口通过一个层次化的三步过程提取静态特征：

数据表示（DR-SAE）： 使用带有卷积神经网络（CNN）的堆叠自编码器处理单个传感器轴（加速度计和陀螺仪），将原始信号映射到高维特征空间（256 个通道）。
局部特征融合（LFF-AE）： 使用局部特征融合自编码器融合单个传感器的六个轴的特征。此阶段包括最大池化以增强对运动干扰的稳定性，以及批归一化。
全局特征融合（GFF-AE）： 使用全局特征融合自编码器将所有佩戴式传感器的特征融合成一个统一的向量。这为单个时间窗口生成了静态特征表示。

B. 动态时间增强（记忆增强型 LSTM-AE）

为了解决静态特征的局限性，该框架采用基于长短期记忆（LSTM）网络的序列到序列（STS）记忆增强型自编码器：

序列构建： 将连续窗口的静态特征向量进行拼接，形成时间序列。为了处理序列的起始，初始向量使用零填充。
编码器-解码器架构：
- 编码器处理由 $q$ 个窗口组成的序列。它利用 LSTM 单元聚合来自先前时间步的信息。
- 解码器尝试从压缩表示（即“代码”）中重建原始输入序列。
- 记忆机制： 编码器的最终隐藏状态（ $h_q$ ）作为增强后的动态特征向量。该状态在不需要活动标签的情况下，将当前输入与来自前序窗口的历史上下文进行整合。
训练目标： 模型进行无监督训练，旨在最小化原始输入序列与重建序列之间的均方误差（MSE）。

C. 分类

在评估过程中，提取的特征（静态特征、LSTM 增强特征或 LSTM-AE 增强特征）被输入到稠密层网络（DLN）分类器中。研究对比了三种配置：

静态特征（仅 HUF）。
由简单 LSTM 增强的特征（LSTM-CF）。
由记忆增强型 LSTM-AE 增强的特征（本文提出的方法）。

3. 核心贡献

本文概述了五项主要贡献：

UTFF 框架： 一种新型无监督框架，可执行静态和动态特征提取。它利用层次化结构，将特征从单个传感器通道融合到全身层面，并在无需监督的情况下利用历史数据更新静态特征。
记忆增强型自编码器： 该架构通过结合前序窗口的相关信息来更新当前窗口的特征。这专门针对在使用循环神经网络（RNN）进行多活动类别无监督训练时的挑战。
处理转换不确定性： 与以往工作不同，该模型专为类间（inter-class）分窗设计，其中窗口可能包含活动之间的转换。这使模型更符合活动边界不精确的现实情况。
超参数分析： 系统地评估了序列长度（ $q$ ）、代码大小和编码器-解码器连接性（ $m$ ）如何影响特征的可分离性。
现实的分割策略： 采用了跨整个信号时间线的连续类间分割，允许单个窗口内出现多种活动，从而提供了更严格的特征提取能力评估。

4. 实验结果

该方法在两个基准数据集上进行了评估：DaLiAc（19 名参与者，14 种活动，4 个传感器）和 PAMAP2（9 名参与者，11 种活动，3 个传感器）。

在 DaLiAc 上的表现：
- 使用短 1 秒窗口（ $N=200$ 个样本）时，所提出的 LSTM-AE 方法实现了 96.6% 的分类准确率。
- 这显著优于静态 HUF 基准（63%）和简单 LSTM-CF（73%）。
- 即使使用较长的 2.56 秒窗口，LSTM-AE（91.6%）也超过了静态基准（86%）。
- 该方法成功区分了静态特征无法分离的困难类别（例如：站立 vs. 吸尘）。
在 PAMAP2 上的表现：
- 使用 1 秒窗口进行类间分割时，该模型达到了 98.4% 的准确率。
- 尽管使用了比许多对比研究（通常使用 5s 到 10s 窗口）显著更短的时间窗口，该结果仍超越了多种有监督基准和现有的无监督方法。
类间分割的影响：
- 作者指出，从类内切换到类间分割使静态模型的分类准确率下降了约 7%。然而，所提出的 LSTM-AE 模型恢复并超过了这些损失，证明了在现实转换场景中的鲁棒性。
超参数洞察：
- 研究发现，最优性能出现在序列长度（ $q$ ）为 6 且代码大小为 1000 时。
- 当编码器-解码器连接单元（ $m$ ）的数量超过 1 时，性能会下降，这表明更紧凑的瓶颈层能产生更具判别性的特征。
- 增加编码器深度（从 1 层到 2 层）并未一致性地提高整体准确率，尽管它对某些复杂活动有所帮助。

5. 意义与主张

论文声称，所提出的 UTFF 框架通过解决传感器融合和时间依赖性的双重挑战，代表了无监督 HAR 领域的重要进步，且无需依赖标注数据。

现实应用性： 通过利用类间分窗和短时间窗口（1 秒），该模型更适用于活动转换频繁且无法获得标签的在线实时应用场景。
高效性： 在更严格且更现实的数据条件（更短的窗口、无标签、高转换频率的数据）下，该方法实现了达到或超越有监督基准的性能。
特征可分离性： 研究表明，记忆增强型无监督学习可以将特征可分离性比静态方法提高达 9%，有效地捕捉了静态空间特征所缺失的动态运动模式。
权衡： 作者承认，与更简单的模型相比，STS 架构需要更长的训练时间和更强大的硬件，但他们认为这是为了在无监督、现实环境下实现高准确度所必须付出的代价。

总之，本文认为，无监督的记忆增强型架构可以有效地弥合受控实验室数据集与现实世界中连续、多噪的人类活动监测之间的差距。