Foundation Models Defining A New Era In Sensor-based Human Activity Recognition: A Survey And Outlook

1. 문제 정의 (Problem Statement)

기존의 센서 기반 인간 활동 인식 (Sensor-based Human Activity Recognition, HAR) 은 웨어러블 및 유비쿼터스 컴퓨팅의 핵심 기술이지만, 다음과 같은 근본적인 한계에 직면해 있습니다.

• 데이터 부족 및 레이블 희소성: 대규모로 레이블이 지정된 데이터셋이 부족하여, 과적합 (Overfitting) 을 피하고 일반화 성능을 높이는 데 어려움이 있습니다.
• 센서 이질성 (Heterogeneity): 가속도계, 자이로스코프, 생체 신호 (PPG, ECG), RF 신호 등 다양한 센서와 배치 위치, 사용자 간 차이가 커서 모델의 전이 학습 (Transfer Learning) 이 어렵습니다.
• 약한 일반화 능력: 특정 사용자, 기기, 환경에 최적화된 모델은 다른 조건 (사용자, 기기, 컨텍스트) 에 적용될 때 성능이 급격히 저하됩니다.
• 의미론적 이해의 부재: 기존 모델은 단순한 활동 분류 (예: 걷기, 뛰기) 에 그치며, 활동의 맥락, 의도, 또는 복잡한 일과 (Routine) 를 언어적/의미론적으로 이해하지 못합니다.

이러한 한계를 극복하기 위해, 대규모 데이터로 자기 지도 학습 (Self-supervised Learning) 을 통해 학습된 파운데이션 모델 (Foundation Models) 이 HAR 분야에 새로운 패러다임으로 등장했습니다.

2. 방법론 및 분류 체계 (Methodology & Taxonomy)

저자들은 2025 년 말까지의 132 편의 대표 논문을 분석하여 HAR 파운데이션 모델의 생태계를 체계화했습니다. 주요 방법론적 기여는 다음과 같습니다.

가. 파운데이션 모델의 정의 및 기준

센서 기반 HAR 에 특화된 파운데이션 모델을 다음과 같이 정의하고 6 가지 진단 기준을 제시했습니다.

• 정의: 다양한 센서 모달리티, 시간적 계층, 컨텍스트 (배치, 사용자, 환경) 를 넘어 다양한 활동 이해 작업을 해결할 수 있는 사전 학습된 센서 기반 모델 및 어댑터.
• 기준:
  1. 코퍼스 커버리지: 다양한 사용자, 기기, 배치, 컨텍스트를 아우르는 대규모 데이터.
  2. 크로스 도메인 일반화: 제로/퓨샷 (Zero/Few-shot) 전이 및 비 IID(Non-IID) 환경에서의 강건성.
  3. 모달리티 확장성: 다양한 센서 채널 지원 및 의미론적 정합 (Grounding).
  4. 레이블 효율적 사전 학습: 자기 지도 학습 (Masked modeling, Contrastive learning 등) 을 통한 레이블 의존도 감소.
  5. 적응성 및 재사용성: 경량 어댑터 (LoRA, Adapter 등) 를 통한 빠른 작업 재지정.
  6. 광범위한 적용성 및 발현 능력: 학습된 작업 외의 새로운 작업 (예: 보행 추정, 사용자 식별) 수행 능력.

나. 기술적 분류 체계 (9 가지 축)

모델의 수명 주기 (Lifecycle) 를 중심으로 4 단계 (입력 설계, 사전 학습, 적응, 활용) 와 9 가지 기술적 축으로 분류했습니다.

1. 모달리티 범위 (Modality Scope): 단일 모드 (Unimodal), 다중 모드 (Multimodal), 크로스 모드 (Cross-modal, 예: 센서 - 텍스트 정합).
2. 데이터 환경: 자연계 수집 데이터 (In-the-wild) vs 생성형/시뮬레이션 데이터.
3. 토큰화 전략: 윈도우 기반, 통계적 집계, 스펙트로그램, 이산화/양자화 (LLM 연동을 위한).
4. 기본 아키텍처: Encoder-only, Dual Encoders, Encoder-Decoder, Language Model Stacks.
5. 사전 학습 패러다임: 대비 학습 (Contrastive), 생성적 (Generative/Masked), 하이브리드.
6. 적응 전략: 파라미터 효율적 미세 조정 (PEFT), 전체/부분 미세 조정, 지시 튜닝 (Instruction-tuning).
7. 하류 작업 능력: 제로/퓨샷 인식, 크로스 도메인 일반화, 크로스 모드 검색, 언어 기반 설명/추론, 생성/예측.
8. 배포 환경: 클라우드 중심 vs 엣지/온디바이스 실행.
9. 응용 도메인: 일상 활동 (ADL), 헬스케어, 스마트 홈, 인터랙티브 에이전트.

3. 주요 기여 및 발견 (Key Contributions & Findings)

이 논문은 HAR 분야의 발전 방향을 3 가지 주요 흐름으로 정리했습니다.

① 센서 전용 파운데이션 모델의 제로 (From Scratch) 개발

• 접근: 언어나 비전 모델에서 차용하는 대신, 대규모 센서 데이터 (IMU, 생체 신호 등) 로 처음부터 모델을 학습.
• 대표 모델: HAR-FM, MASTER, NORMWEAR, oneHAR 등.
• 장점: 센서 특유의 시간적 의존성, 생체 역학적 상관관계를 직접 포착하여 크로스 도메인 전이 성능이 우수함.
• 한계: 대규모 고품질 센서 데이터셋 부족 및 프라이버시 문제.

② 일반 시계열/다중 모드 파운데이션 모델의 적응 (Adaptation)

• 접근: Chronos, TimeGPT, CLIP 등 기존에 학습된 범용 시계열/멀티모달 모델을 HAR 데이터에 맞게 적응 (Projection, Fine-tuning).
• 대표 모델: IMU2CLIP, Time2Lang, FM-Fi 2.0 등.
• 장점: 학습 비용 절감, 레이블이 부족한 상황에서도 강력한 성능 발휘, 기존 대규모 지식 활용.
• 한계: 센서 특유의 고주파 노이즈나 다중 속도 샘플링에 대한 인덕티브 바이어스 (Inductive Bias) 부족.

③ 대규모 언어 모델 (LLM) 을 활용한 추론 및 상호작용

• 접근: 센서 데이터를 텍스트 토큰으로 변환하거나 LLM 과 정합시켜 활동 인식, 설명 생성, 추론 수행.
• 대표 모델: DailyLLM, HARGPT, PhysLLM, ContextLLM 등.
• 장점: 활동의 '의미 (Semantics)'와 '맥락 (Context)'을 이해하고, 자연어로 설명하거나 질의응답 가능 (Explainability).
• 한계: 센서 - 텍스트 쌍 데이터 부족, 정합 오차, 엣지 디바이스 배포의 계산 비용 및 프라이버리 문제.

4. 결과 및 성능 (Results)

• 일반화 성능: 대규모 사전 학습 (Pretraining) 을 거친 모델들은 기존 SOTA 모델 대비 크로스 사용자, 크로스 기기, 크로스 데이터셋 환경에서 훨씬 우수한 일반화 성능을 보임.
• 데이터 효율성: 자기 지도 학습 (SSL) 과 파라미터 효율적 미세 조정 (PEFT) 을 통해 소량의 레이블로도 높은 정확도를 달성 가능.
• 다중 모드 정합: 센서와 텍스트/비전을 정합한 모델들은 제로샷 (Zero-shot) 활동 인식 및 검색 (Retrieval) 에서 획기적인 성능을 입증함.
• 확장성: 모델 크기와 데이터 양이 증가함에 따라 성능이 향상되는 '스케일링 법칙 (Scaling Laws)'이 센서 기반 모델에서도 관찰됨 (LSM 연구 등).

5. 의의 및 향후 과제 (Significance & Future Directions)

의의

• 패러다임 전환: HAR 를 단순한 '분류 문제'에서 '일반적인 활동 이해 및 추론 문제'로 전환시킴.
• 통합적 프레임워크: 산발적으로 존재하던 연구들을 체계적인 분류 체계 (Taxonomy) 로 통합하여, 연구자들이 모델 설계 시 고려해야 할 핵심 축을 명확히 제시함.
• 인간 중심 AI: 활동 인식의 목적을 단순 모니터링에서 인간과 상호작용하고 설명 가능한 AI 로 확장.

남은 과제 (Open Challenges)

1. 프라이버시 및 데이터 분할: 대규모 통합 데이터셋 부재와 프라이버시 문제로 인해, 연산 중심의 학습이 아닌 연방 학습 (Federated Learning) 과 프라이버시 보호 학습 기술이 필수적임.
2. 시간적 계층 구조 표현: 초 단위 동작부터 일/주 단위의 루틴까지 다양한 시간 스케일을 포괄하는 계층적 표현 학습 필요.
3. 적응 및 배포: 클라우드 학습과 엣지 디바이스 배포 간의 간극을 좁히는 경량화, 양자화, 온디바이스 적응 기술 개발.
4. 책임 있는 평가: 단순 정확도 (Accuracy) 를 넘어, 비 IID 환경에서의 강건성, 할루시네이션 (Hallucination) 방지, 불확실성 추정 (Uncertainty Estimation) 등을 포함한 종합적 평가 프로토콜 정립 필요.

결론

이 논문은 센서 기반 HAR 분야에서 파운데이션 모델이 어떻게 데이터 부족, 이질성, 일반화 문제를 해결하고, 의미론적 이해와 인간 - AI 상호작용을 가능하게 하는지 체계적으로 조명했습니다. 향후 연구는 센서 전용 대규모 사전 학습, 모듈형 적응, LLM 기반 의미론적 추론이 융합된 차세대 센서 파운데이션 모델의 등장을 예고하며, 이는 보다 강력하고 신뢰할 수 있는 유비쿼터스 컴퓨팅 시스템의 기반이 될 것입니다.