Foundation Models Defining A New Era In Sensor-based Human Activity Recognition: A Survey And Outlook

这是一篇关于基于传感器的基础模型（Foundation Models）在人类活动识别（HAR）领域的综述论文。该论文系统性地梳理了该领域从传统机器学习到基础模型范式的演变，提出了统一的分类法，并展望了未来的发展方向。

以下是该论文的详细技术总结：

1. 研究背景与核心问题 (Problem)

基于传感器的 HAR 是泛在计算和可穿戴设备的基石，广泛应用于健康监测、人机交互和智能环境。然而，现有的 HAR 模型面临以下核心挑战：

• 数据稀缺与标注成本高：缺乏像视觉（ImageNet）或语言（Web 文本）那样大规模、标准化的数据集。大多数数据集规模小、标注昂贵且特定于特定场景。
• 传感器异构性：不同设备（加速度计、陀螺仪、PPG、RF 等）的采样率、噪声特性和物理位置差异巨大，导致模型难以泛化。
• 泛化能力弱：现有模型通常在特定用户、设备或上下文中训练，难以跨用户、跨设备或跨环境进行零样本（Zero-shot）或少样本（Few-shot）迁移。
• 语义理解缺失：传统模型输出离散标签，缺乏对活动意图、上下文和长时程行为的深层语义理解。

基础模型（Foundation Models） 通过自监督学习在大规模数据上预训练，学习可复用、可适应的表示，为解决上述问题提供了新的范式。

2. 方法论与分类体系 (Methodology & Taxonomy)

论文首先定义了传感器 HAR 基础模型：一种在大规模异构传感器语料库上预训练，能够跨传感器模态、身体位置、用户、设备和环境泛化，并支持多样化活动理解任务（如识别、检索、推理）的模型。

为了系统分析该领域，作者提出了一个生命周期导向的分类法（Lifecycle-oriented Taxonomy），涵盖四个阶段和九个技术维度：

A. 四个阶段

1. 输入设计 (Input Modeling)：模态范围与语料库设计。
2. 预训练 (Foundational Learning)：基于对比、生成或混合目标的自监督学习。
3. 适应 (Adaptive Specialization)：针对新用户、设备或任务的微调（如 PEFT、指令微调）。
4. 利用与部署 (Utilization & Deployment)：零样本识别、检索、语言 grounding 及端侧部署。

B. 九个关键技术维度 (9 Technical Axes)

1. 模态范围 (Modality Scope)：
   • 单模态：仅针对单一传感器（如 IMU）预训练。
   • 多模态：联合预训练多种传感器（如 IMU+PPG）。
   • 跨模态：对齐传感器与文本/视觉（如 Sensor-Text），实现语义 grounding。
2. 数据景观 (Data Landscape)：包括野外采集的真实数据（IMU, PPG, RF 等）和通过生成模型/仿真生成的合成数据。
3. 分词与表示策略 (Tokenization)：将连续信号转换为机器可读单元，包括窗口化、统计特征聚合、频谱嵌入、离散量化（用于 LLM）及跨模态对齐。
4. 基础架构 (Base Architectures)：
   • Encoder-only：判别式编码器，适合分类和检索。
   • Dual Encoders：类似 CLIP，用于跨模态检索。
   • Encoder-Decoder：结合 LLM，支持生成式任务（如描述、问答）。
   • LLM Stacks：直接将传感器数据作为 Token 输入大语言模型。
5. 预训练范式 (Pretraining Paradigms)：
   • 对比学习：最大化增强视图间的一致性（如 CLIP 风格）。
   • 生成式学习：掩码信号建模（Masked Signal Modeling）或序列预测。
   • 混合范式：结合对比与生成目标，兼顾判别性与时序连续性。
6. 适应策略 (Adaptation Strategies)：参数高效微调（PEFT/LoRA）、全量/部分微调、指令微调（Instruction Tuning）及上下文学习（ICL）。
7. 下游能力 (Downstream Capabilities)：零/少样本识别、跨域泛化、跨模态检索、语言 grounded 推理、生成式重构/预测。
8. 部署设置 (Deployment Settings)：云端大规模训练与集中评估 vs. 端侧/移动执行（低延迟、隐私保护）。
9. 应用领域 (Application Domains)：通用日常活动（ADL）、医疗健康、智能家居、交互式智能体。

3. 三大主要发展方向 (Key Contributions & Directions)

论文识别了当前传感器 HAR 基础模型发展的三条主导路径：

1. 从头构建 HAR 专用基础模型 (HAR-specific FMs from Scratch)：

   • 直接在大规模传感器语料库上训练，不依赖视觉或语言模型。
   • 优势：能直接捕捉传感器特有的时序依赖和生物力学特征。
   • 代表工作：HAR-FM, MASTER, oneHAR。
   • 挑战：受限于公开数据集规模和隐私问题。

2. 适配通用时间序列或多模态基础模型 (Adapting General Time-Series/Multimodal FMs)：

   • 利用现有的通用时间序列模型（如 Chronos, TimeGPT）或多模态模型（如 CLIP），通过投影层或适配器将其迁移到传感器数据。
   • 优势：利用大规模预训练知识，降低训练成本，加速收敛。
   • 代表工作：IMU2CLIP, Time2Lang, FM-Fi 2.0。
   • 挑战：通用模型缺乏运动特定的归纳偏置，可能无法捕捉高频噪声或特定采样率特征。

3. 利用大语言模型（LLM）进行推理与交互 (Leveraging LLMs for Reasoning & Interaction)：

   • 将 LLM 作为多模态推理引擎，连接传感器信号与自然语言，实现语义理解、解释和人类-AI 交互。
   • 优势：将 HAR 从“感知”提升到“认知”，支持开放式问答、活动日志生成和复杂推理。
   • 代表工作：DailyLLM, HARGPT, PhysLLM。
   • 挑战：缺乏大规模传感器 - 文本配对数据，模态对齐困难，端侧部署成本高。

4. 结果与发现 (Results & Findings)

• 性能提升：基础模型在跨用户、跨设备和跨数据集的泛化任务中显著优于传统监督学习模型，特别是在少样本和零样本场景下。
• 混合范式趋势：当前的最佳实践倾向于混合自监督预训练（结合对比学习和掩码重建），以同时获得判别性表示和时序连续性。
• 语义 Grounding 的重要性：引入语言模态（Cross-modal）显著提升了模型的可解释性和零样本推理能力，使模型能够处理开放集活动识别。
• 扩展性：研究表明，随着模型参数量和数据量的增加（Scaling Laws），传感器基础模型的性能在生成式任务和零样本迁移上仍有显著提升空间。

5. 意义与未来展望 (Significance & Future Outlook)

意义：

• 该论文是首个全面综述传感器 HAR 基础模型的工作，填补了该领域缺乏系统性分类和理论框架的空白。
• 它明确了从“特定任务模型”向“通用基础模型”的范式转变，为解决数据稀缺和泛化难题提供了统一路径。
• 强调了负责任部署（Responsible Deployment），包括隐私保护、可解释性和公平性。

开放挑战与未来方向：

1. 数据扩展与隐私：如何在隐私约束下（如联邦学习）构建大规模、非独立同分布（Non-IID）的传感器语料库，或利用合成数据填补空白。
2. 时序层次与语义抽象：开发能更好编码长时程活动（从秒级动作到天级习惯）和层级语义结构的预训练目标。
3. 适应与部署：将适应机制（Adaptation）作为基础模型生命周期的一等公民，设计支持端侧个性化、低延迟且抗分布漂移的轻量级接口。
4. 评估体系：超越传统的准确率指标，建立针对非 IID 条件、开放集识别、鲁棒性（抗噪声/缺失数据）以及语言生成可靠性（幻觉检测）的综合评估协议。

总结：
该论文描绘了传感器 HAR 领域正迈向一个由大规模传感器预训练、模块化适配和语言 grounded 推理共同驱动的新时代。未来的传感器基础模型将不仅是识别工具，更是具备推理、解释和交互能力的智能体，能够深入理解人类行为并服务于日常生活。