🤖 machine learning

RAG-HAR+: Towards Cost-Efficient LLM-Based Human Activity Recognition for Edge Deployment

本文介绍了 RAG-HAR+，这是一个面向人类活动识别（Human Activity Recognition）的成本优化、检索优先框架，该框架利用离线智能体来设计特定数据集的特征，并采用多数投票机制以在保持不同基准测试中具有竞争力的性能的同时，最大限度地减少大语言模型（LLM）的使用。

原作者： Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hansi Karunarathna, Nirhoshan Sivaroopan, Chamara Madarasingha, Anura Jayasumana, Kanchana Thilakarathna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你的身体就像一个繁忙的管弦乐队，而你手腕或衣服上的微型传感器就是指挥家，它们不断聆听着你步伐的节奏、手臂的摆动以及心跳的律动。这个被称为人类活动识别（Human Activity Recognition, HAR）的领域，是计算机学习如何区分你在慢跑、睡觉还是打字的方法。长期以来，教计算机这种能力的最佳方式是强迫它们记忆庞大的标记样本库，就像一名学生为了应付考试而死记硬背图书馆里的每一本书。但这既昂贵又缓慢，而且一旦更换了传感器或活动类型，系统就会失效。最近，出现了一个新想法：与其死记硬背，为什么不让计算机在巨大的数据库中“查找”相似的过往案例，并请一位超级聪明的 AI（即大语言模型，LLM）来协助判断正在发生什么？这就像拥有一位天才图书管理员，能够瞬间找到最相似的故事来帮你解开谜团。但即使是这种新方法也遇到了一个难题：每走一步都向这位天才图书管理员寻求帮助，速度太慢，成本太高，且需要持续的网络连接。

本文介绍了一种名为 RAG-HAR+ 的巧妙升级方案，它通过改变“何时”以及“如何”寻求帮助来解决这个问题。作者发现，之前的方法就像是在为每一个问题都打电话请教顾问，哪怕是那些简单的问题。RAG-HAR+ 更像是一个精明的侦探机构。首先，它在离线状态下使用 AI（在你开始运动之前）来设计一个更好的“归档系统”，为你的特定活动挑选出最重要的线索。然后，当你在运动时，系统会尝试仅通过查看数据库中最相似的过往案例来破解谜团。只有当线索令人困惑且数据库无法达成一致答案时，它才会调用昂贵的 AI 顾问。通过这种方式，该系统变得极其快速、廉价，并且即使在网络信号不佳的情况下也能正常工作，同时其准确度仍与旧的、更慢的方法不相上下。

问题所在：过度求助的侦探

想象你有一个超级聪明的 AI 助手，它通晓人类运动的一切知识。在原始系统（RAG-HAR）中，每当你迈出一步，系统就会停下来，向 AI 发送一条消息并询问：“我正在做什么？”AI 阅读消息，查看一些过往案例，然后做出回答。这虽然可行，但就像雇佣了一位世界闻名的侦探来解决每一个案件——无论是“谁偷了饼干？”还是“谁谋杀了管家？”。这既浪费了侦探的时间，也浪费了金钱。对于“偷饼干”这种小事，没必要请出侦探。此外，如果侦探在另一个国家（云端），你必须等待消息来回传输，这会让整个过程变得非常缓慢。

研究人员意识到，对于大多数步伐，如果能观察到正确的过往案例，答案是不言自明的。你不需要一个天才来告诉你走路看起来像走路；你只需要在数据库中找到几个其他的走路案例即可。旧系统的缺陷在于，它使用了一种“一刀切”的方式来描述动作，这有时会错过让某种活动变得独特的细微线索。

解决方案：智能归档系统与“歧义解析器”

RAG-HAR+ 通过两个主要技巧改变了游戏规则。

1. 离线“归档系统”设计者
在你开始锻炼之前，系统会利用 AI 进行一次性操作，为你的特定数据集设计一个定制的归档系统。你可以把这想象成 AI 扮演了一名图书管理员，它研究了你的图书馆后决定：“好吧，对于这批藏书，我应该按‘颜色’和‘作者’来分类，而不是按‘题材’和‘页数’。”AI 会观察成千上万种描述运动的方式（例如速度快慢、颠簸程度或节奏感），并选出最适合你特定传感器和活动的三个最优线索组。这只发生一次，且在离线状态下完成，因此不会影响你后续的运动速度。

2. “歧义解析器”（智能备选方案）
现在，当你正在运动时，系统不会立即调用 AI。相反，它会将你当前的运动转化为这些定制的线索，并在数据库中搜索前 10 个最相似的过往案例。

多数票决制： 如果 10 个案例中有 8 个都说“你正在跑步”，系统就会直接判定“好的，你在跑步”，然后继续运行。无需 AI 介入！
备选机制： 如果数据库感到困惑——例如，5 个案例说是“跑步”，另外 5 个说是“慢跑”——这时系统才会调用 AI。这个被称为“歧义解析器”的 AI 会观察这些令人困惑的线索和过往案例，从而做出最终的、明智的决策。

这意味着昂贵的 AI 仅在棘手、混乱的时刻才会被调用。对于简单、明显的时刻，系统依靠自身的运行，通过简单的数学计算来进行投票计数。

结果：速度、节省与智慧

研究人员在六个不同的数据集上测试了这个新系统，涵盖了从行走、跑步到复杂的工业组装任务。结果令人印象深刻：

准确度： 新系统的活动识别能力与旧方法一样出色，甚至更好。在某些数据集上，准确度有了显著提升（例如，在 MHEALTH 数据集上，准确度从 96.91% 提升到了 98.35%）。
成本节省： 由于停止了为每个样本都调用 AI，它减少了发送给 AI 的数据量达 89.3% 至 99.9%。在一种情况下（MHEALTH），在 666 个样本中，它竟然只调用了 1 次 AI！
速度： 系统变得更快了。在 MHEALTH 数据集上，识别活动所需的时间从 18.25 秒 降至仅 0.41 秒。这意味着速度提升了超过 44 倍！即使是在最慢的数据集上，它也实现了约 5.7 倍 的提速。

这对未来意味着什么

论文还通过在真实智能手机上构建了一个原型来证明这不仅仅是一个理论。他们将其转化为了健身应用中的一个组件（Widget）。当他们在真实手机上进行测试时，提速效果更加显著——大约快了 15 倍——因为手机不再需要为了每一步都通过互联网与 AI 进行通信。

作者认为，这种方法是迈向开发随处可用、无需完美网络连接且运行成本低廉的智能健康与健身应用的重要一步。它证明了你并不需要对每一件小事都去请教“天才”；有时，一个聪明的归档系统和简单的投票计数就足够了。论文总结道，通过将 AI 的角色从一个持续在线的工作者转变为一个聪明的规划者和备份专家，我们可以让活动识别变得更便宜、更快速，并真正走向现实世界。

技术摘要：RAG-HAR+ —— 面向边缘部署的高性价比 LLM 驱动型人类活动识别

问题陈述

来自可穿戴传感器的行为识别（HAR）对于医疗保健、健身和智能环境至关重要。然而，现有的深度学习（DL）方法在实际边缘部署方面面临显著障碍：它们需要特定数据集的训练、大量的标注语料库，并且在领域偏移（例如传感器位置变化或受试者变化）下会出现性能退化。虽然大语言模型（LLMs）通过强大的语义推理能力提供了一种无需训练的替代方案，但将其直接应用于 HAR 会受到连续、多通道传感器数据性质的限制，这会耗尽上下文预算并导致高昂的计算成本和延迟。

作者的前期工作 RAG-HAR 通过将 HAR 构建为一个检索增强任务来解决这一问题，利用传感器窗口的统计描述来检索相似的标注样本，以引导 LLM 进行分类。然而，RAG-HAR 在持续的边缘部署中仍保留了两个关键局限性：

固定检索表示：它在所有数据集上都使用一组静态的基础统计量（均值、最大值、最小值等），无法捕捉数据集特有的判别性线索（例如，运动类活动的周期性与姿态类活动的幅度）。
强制性的 LLM 推理：LLM 会针对每个测试样本进行调用，从而产生网络往返、高昂的 Token 成本以及不稳定的延迟，即使检索到的邻居已经提供了置信度很高的答案。

方法论：RAG-HAR+

RAG-HAR+ 引入了一个检索优先、成本优化的框架，将 LLM 的角色从逐样本分类器转变为一种专门的、有条件的资源。该框架由两个截然不同的阶段组成：

1. 离线检索设计智能体 (Offline Retrieval Designer Agent)

在推理之前，一个基于 LLM 的智能体充当检索设计者，用于优化特定数据集的检索表示。

特征池：该智能体被提供了一个多样化的描述符池，涵盖统计、时间、频谱、运动强度和信号形状等类别。
迭代设计：通过一个迭代过程，智能体选择并将特征划分为三个紧凑且互不重叠的特征组（ $G^*_1, G^*_2, G^*_3$ ）。
反馈循环：智能体提出特征组，利用检索 F1 分数（基于检索邻居进行多数投票的性能）和 RAG 命中率（前 $q$ 个邻居中存在正确标签的比例）在验证集上评估这些组，并通过“改进提示词”进行优化，以解决弱类别或冗余问题。
结果：这产生了一种数据集特定的多向量表示，能够更好地对齐目标活动分类法中独特的运动模式。

2. 在线推理流水线 (Online Inference Pipeline)

在实时推理期间，系统按如下方式运行：

多向量搜索：查询窗口使用选定的特征组进行处理，生成三个查询向量。这些向量在多向量索引中进行搜索（其中每个训练样本作为三个独立的向量字段存储）。
加权重排序：来自三个向量字段的结果被合并，并使用优化后的权重进行重排序，以选择前 $q$ 个邻居。
确定性路由（多数投票）：系统对前 $q$ $q$ 个邻居的标签应用无参数的多数投票。
- 明确多数：如果一个标签胜出，则直接预测活动。不调用 LLM。
- 歧义情况：如果两个或更多标签在最高票数上持平，则将样本路由至歧义解决智能体。
歧义解决智能体：对于歧义情况，系统在线调用 LLM。它接收一个包含查询窗口统计描述（在起始、中间、结束及全段计算得出）和检索示例的结构化提示词，从而使其能够针对特定上下文进行推理以解决分歧。

核心贡献

两阶段 LLM 使用策略：本文将 HAR 中的 LLM 使用重新定义为一次性的离线检索设计阶段和有条件的在线歧义解决阶段。这使得推理成本从随样本数量扩展转变为随预测歧义程度扩展。
自适应特征分组：引入了一种由 LLM 引导的智能体，用于构建紧凑的、数据集特定的多向量检索组，取代了以往方法中固定的、通用的统计描述符。
移动端原型：实现了一个基于智能手机的原型（Flutter 应用），展示了这种检索优先方法在真实世界移动边缘环境中的实际可行性，包括端侧延迟测量和增量索引更新。
全面评估：在六个 HAR 基准数据集（USC-HAD, PAMAP2, MHEALTH, GOTOV, HHAR, Skoda）上进行了扩展评估，并通过消融实验分离了检索设计者、特征分组和路由策略各自的贡献。

结果

性能：RAG-HAR+ 达到了与 RAG-HAR 及最先进的非 LLM 基准模型相当或更优的性能。它在四个数据集（USC-HAD, MHEALTH, HHAR, Skoda）上提高了 F1 分数，并在其他数据集上保持了竞争力。
成本降低：该框架大幅降低了在线 LLM 的使用量。在六个数据集中，在线 Token 消耗减少了 89.3% 至 99.9%。例如，在 MHEALTH 数据集上，666 个测试样本中仅有一个样本需要调用 LLM。
延迟：与 RAG-HAR 相比，推理延迟降低了 5.7 倍至 44.5 倍。在移动原型上，延迟从每样本约 5.4 秒降至约 0.36 秒（加速约 15 倍），这主要是因为大多数样本绕过了与 LLM 的网络往返。
检索质量：自适应特征组显著提升了检索 F1（仅靠投票的性能），缩小了仅检索预测与最终 LLM 辅助预测之间的差距。这表明检索步骤提供了更强的证据，从而减少了对回退机制的需求。

重要性与主张

论文声称 RAG-HAR+ 证明了无需训练、检索增强型 HAR 在边缘部署中的实际可行性。通过将 LLM 从每个推理的关键路径中解耦，该系统实现了一个可扩展的操作点，其中：

推理成本随歧义程度而非数据量扩展。
通过 LLM 设计的特定数据集特征表示增强了检索质量，而无需对分类器进行微调。
边缘部署具有可行性，可以进行持续监测，因为系统在保持高准确度的同时，最大限度地减少了对网络的依赖和 Token 成本。

作者将这项工作定位为迈向可扩展、泛化性强的 HAR 系统的一步，这类系统既能利用 LLM 的推理能力，又不会产生过高的计算或财务成本，从而适用于资源受限的穿戴式和移动环境。