CLAD-Net: Continual Activity Recognition in Multi-Sensor Wearable Systems

이 논문은 웨어러블 센서 기반의 인간 활동 인식에서 새로운 사용자의 데이터로 학습할 때 발생하는 catastrophic forgetting 문제를 해결하기 위해, 자기지도 학습 트랜스포머와 지식 증류 기반 CNN 을 결합한 CLAD-Net 을 제안하고, 제한된 라벨 데이터 환경에서도 기존 방법들보다 뛰어난 성능과 낮은 망각률을 보임을 입증합니다.

핵심

🏥 문제: "기억력 감퇴"에 시달리는 의사의 이야기

상상해 보세요. 한 명의 훌륭한 의사가 있습니다. 이 의사는 환자 A를 치료하며 그분의 걷는 습관, 몸짓, 활동 패턴을 완벽하게 익혔습니다. 그런데 다음 날 환자 B가 찾아옵니다. 환자 B 는 환자 A 와는 완전히 다른 방식으로 걷고 움직입니다.

의사는 환자 B 를 치료하기 위해 새로운 지식을 배우는데, 이상하게도 이전 환자 A 에 대한 기억이 점점 희미해집니다. 환자 B 를 잘 치료할수록 환자 A 에 대한 진단은 엉뚱해집니다.

이것이 인공지능, 특히 웨어러블 기기의 인간 활동 인식 (HAR) 시스템이 겪는 큰 문제입니다.

• 현실: 사람들은 각자 다릅니다. 나이, 건강 상태, 몸짓이 모두 달라서 데이터 분포가 계속 바뀝니다.
• 문제: 새로운 사람 (데이터) 을 배우면, 이전에 배운 사람 (데이터) 을 잊어버리는 '재앙적 망각 (Catastrophic Forgetting)' 현상이 발생합니다.
• 제약: 의료 데이터는 매우 민감해서, 과거 환자의 데이터를 저장해 두었다가 다시 학습에 쓰는 것 (기억 재생) 은 개인정보 보호 때문에 금지되거나 어렵습니다.

💡 해결책: CLAD-Net (기억과 학습의 두뇌)

저자들은 인간의 뇌가 어떻게 오래된 기억과 새로운 지식을 동시에 유지하는지 영감을 받아 CLAD-Net을 만들었습니다. 이 시스템은 마치 두 개의 뇌 영역이 협력하는 것처럼 작동합니다.

1. 장기 기억부 (Self-Supervised Transformer) 🧠

• 역할: "무엇이 일어났는지"의 큰 그림을 기억하는 곳입니다.
• 비유: 이 부분은 라벨 (정답) 이 없이도 작동합니다. 마치 아기가 세상을 관찰하듯 센서 데이터만 보고 "손이 움직이면 발도 움직이는구나", "걸을 때는 이런 패턴이 나오구나"라는 보편적인 규칙을 스스로 찾아냅니다.
• 특징: 사람마다 다르다는 점 (개인차) 에 집착하지 않고, 모든 사람에게 공통적으로 적용되는 활동의 본질을 학습합니다. 그래서 새로운 사람이 와도 당황하지 않고, 이전에 배운 '보편적 규칙'은 잊지 않습니다.

2. 단기 학습부 (Supervised CNN + 지식 증류) 📝

• 역할: "누가, 무엇을 했는지"를 구체적으로 분류하는 곳입니다.
• 비유: 이 부분은 새로운 환자를 만날 때, **이전 의사의 노트 (이전 모델의 지식)**를 참고하며 학습합니다.
• 핵심 기술 (지식 증류): 새로운 환자 B 를 가르칠 때, "너는 환자 B 를 잘 가르치되, 환자 A 에 대해 배웠던 방식은 절대 망치지 마라"라고 엄격하게 지도합니다. 마치 스승이 제자에게 "새로운 과목도 배우되, 예전에 배운 수학 공식은 잊지 마라"라고 말해주는 것과 같습니다.

🚀 CLAD-Net 의 놀라운 성과

이 시스템은 실제 데이터 (PAMAP2, DnSA, RealWorld 등) 로 실험해 보았습니다.

1. 기억을 잃지 않음: 다른 방법들 (기존의 학습 방식) 은 새로운 사람을 배우면 이전 사람을 잊어버렸지만, CLAD-Net 은 이전 환자들도 여전히 잘 기억했습니다.
2. 비밀 유지: 과거 환자의 데이터를 저장해 두지 않아도 (기억 재생 없이) 뛰어난 성능을 냈습니다. 이는 개인정보 보호 측면에서 매우 중요합니다.
3. 데이터가 부족해도 강함: 라벨 (정답) 이 거의 없는 상황에서도 (예: 10~20% 만 라벨링됨) 잘 작동했습니다. 아기가 라벨 없이도 세상을 배우듯, CLAD-Net 은 라벨이 없어도 스스로 학습하는 능력을 통해 이를 극복했습니다.

🌟 한 줄 요약

"CLAD-Net 은 웨어러블 기기가 새로운 사람을 만나도, 과거의 환자를 잊지 않고 계속 똑똑하게 성장할 수 있도록 도와주는 '기억력 좋은 디지털 비서'입니다."

이 기술은 노인을 위한 낙상 감지, 뇌졸중 환자의 재활 모니터링, 만성 질환 관리 등 장기적이고 신뢰할 수 있는 의료 서비스의 미래를 열어줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

이 논문은 웨어러블 센서를 활용한 인간 활동 인식 (HAR, Human Activity Recognition) 시스템이 직면한 두 가지 주요 과제를 해결하고자 합니다.

• 치명적인 망각 (Catastrophic Forgetting): 기존 HAR 모델은 대부분 고정된 데이터 분포를 가정합니다. 그러나 실제 의료 및 헬스케어 환경에서는 새로운 환자 (Subject) 가 순차적으로 추가될 때, 각 환자의 신체 조건, 이동 패턴, 센서 부착 위치 차이로 인해 데이터 분포가 크게 달라집니다 (Domain Shift). 기존 모델을 새로운 환자에 맞춰 미세 조정 (Fine-tuning) 하면, 이전에 학습했던 환자의 활동 패턴을 잊어버리는 '치명적인 망각' 현상이 발생합니다.
• 레이블 데이터의 부족 (Label Scarcity): 실제 임상 환경에서는 의료진이나 환자가 모든 활동에 대한 정확한 레이블을 매번 제공하는 것이 어렵습니다. 레이블이 희소하거나 불규칙하게 존재하는 상황에서도 모델이 효과적으로 학습하고 기억해야 하는 문제가 있습니다.
• 개인정보 보호 (Privacy): 기존 continual learning 기법 중 성능이 좋은 방법들은 과거 데이터를 저장하여 재학습 (Experience Replay) 하는 방식을 사용하는데, 이는 민감한 환자 센서 데이터를 보관해야 하므로 의료 규정 (HIPAA 등) 상 개인정보 보호 문제가 발생합니다.

2. 제안 방법론: CLAD-Net (Methodology)

저자들은 **CLAD-Net (Continual Learning with Attention and Distillation)**을 제안했습니다. 이는 인간의 장기 기억과 단기 기억을 모방한 **상호 보완적 학습 시스템 (Complementary Learning Systems)**에서 영감을 얻은 2 단계 아키텍처입니다.

A. 시스템 아키텍처

CLAD-Net 은 크게 두 가지 모듈로 구성됩니다.

1. 자기지도 학습 Transformer (Self-Supervised Transformer) - 장기 기억:

   • 역할: 레이블 없이도 일반화된 활동 표현 (Representation) 을 학습하는 장기 기억 모듈입니다.
   • 구조: 다양한 신체 부위 (손, 가슴, 발목 등) 에 부착된 센서 데이터 간의 크로스 어텐션 (Cross-Attention) 메커니즘을 사용합니다. 특정 신체 부위 (Query) 가 다른 부위 (Key/Value) 와의 관계를 학습하여 전신적인 활동 패턴을 포착합니다.
   • 학습 방식: 레이블이 필요 없는 BYOL (Bootstrap Your Own Latent) 손실 함수를 사용합니다. 입력 데이터에 노이즈, 마스킹 등의 증강 (Augmentation) 을 가해 두 개의 다른 뷰를 생성하고, Transformer 가 이 두 뷰에서 일관된 표현을 학습하도록 유도합니다. 이를 통해 환자별 고유한 편차에 영향을 받지 않는 강건한 특징을 추출합니다.

2. 지도 학습 CNN (Supervised CNN) - 단기 기억/분류기:

   • 역할: 활동 분류를 수행하는 주 분류기입니다.
   • 학습 방식: Transformer 에서 추출한 특징 벡터와 CNN 의 특징을 결합하여 분류를 수행합니다. 새로운 환자 (Task) 가 들어올 때, 지식 증류 (Knowledge Distillation) 기법을 적용합니다.
   • 지식 증류: 이전 환자 (Subject $t-1$) 로 학습된 모델의 파라미터를 동결 (Frozen) 시켜 '교사 모델'로 두고, 새로운 환자 (Subject $t$) 로 학습할 때 현재 모델의 출력 분포가 교사 모델의 출력과 크게 벗어나지 않도록 KL 발산 (KL Divergence) 손실 항을 추가합니다. 이를 통해 과거 지식을 유지하면서 새로운 지식을 학습합니다.

B. 학습 프로세스

• 새로운 환자가 들어오면 Transformer 는 해당 환자의 모든 데이터 (레이블 유무 상관없음) 를 사용하여 자기지도 학습으로 특징을 업데이트합니다.
• CNN 분류기는 해당 환자의 레이블이 있는 데이터로 학습하되, 지식 증류 손실을 통해 이전 모델의 지식을 보존합니다.
• 데이터 재사용 금지: 과거 환자의 원시 데이터를 저장하거나 재생성 (Replay) 하지 않으므로, 메모리 제한이 있는 웨어러블 기기나 개인정보 보호가 중요한 환경에 적합합니다.

3. 주요 기여 (Key Contributions)

1. 도메인 증분 학습 (Domain-Incremental Learning) 프레임워크: HAR 분야에서 새로운 환자 순차 학습 시 발생하는 분포 변화와 망각 문제를 동시에 해결하는 새로운 프레임워크를 제시했습니다.
2. 하이브리드 아키텍처 (CLAD-Net): 자기지도 학습 Transformer(표현 학습) 와 지식 증류 CNN(분류기) 을 결합하여, 레이블이 부족한 상황에서도 망각을 최소화하는 효율적인 구조를 설계했습니다.
3. 프라이버시 보호형 continual learning: 과거 데이터 저장 (Replay) 없이도 기존 Replay 기반 방법 (ER, DER++ 등) 과 경쟁력 있는 성능을 달성하여, 의료 데이터의 프라이버시 문제를 해결하는 대안을 제시했습니다.

4. 실험 결과 (Results)

저자들은 PAMAP2, DnSA, RealWorld라는 3 개의 벤치마크 데이터셋을 사용하여 실험을 수행했습니다.

• 성능 비교:
  • Replay-free Baselines 대비: Learning without Forgetting (LwF) 및 Elastic Weight Consolidation (EWC) 과 같은 기존 방법들보다 **최종 정확도 (Final Accuracy)**가 높고 **망각 지표 (Forgetting Measure)**가 낮았습니다.
    • 예: PAMAP2 에서 CLAD-Net 은 80.78% 정확도, 11.05% 망각을 기록 (LwF 는 77.02% 정확도, 11.41% 망각).
  • Replay-based Baselines 대비: 과거 데이터를 저장하는 ER, ER-ACE, DER++ 방법들과 비교했을 때, 데이터를 저장하지 않는다는 제약 하에 매우 경쟁력 있는 성능을 보였습니다.
• 레이블 부족 상황 (Semi-supervised):
  • 레이블이 10~20% 만 있는 상황에서도 CLAD-Net 은 다른 모든 기법 (LwF, EWC, DER++) 보다 망각 저항성이 뛰어났습니다. 이는 자기지도 학습 모듈이 레이블이 없는 데이터로부터 유용한 표현을 학습하여 모델의 안정성을 높였기 때문입니다.
• Ablation Study:
  • Transformer 제거 시 망각이 급격히 증가했고, 지식 증류 제거 시 전체 성능이 저하됨을 확인하여 두 모듈의 상호 보완적 역할을 입증했습니다.
  • Cross-Attention vs Self-Attention: 신체 부위 간 상호작용을 학습하는 Cross-Attention 이 단순 Self-Attention 보다 성능이 우수함을 보였습니다.
  • 손실 함수: BYOL 이 SimCLR, Barlow Twins 보다 continual learning 환경에서 더 좋은 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 웨어러블 기반 헬스케어 시스템의 실용성을 크게 높이는 의미를 가집니다.

• 실제 임상 적용 가능성: 환자가 순차적으로 추가되는 실제 환경에서, 모델을 처음부터 다시 학습하거나 과거 데이터를 보관할 필요 없이 지속적으로 업데이트할 수 있는 체계를 제공했습니다.
• 프라이버시 준수: 민감한 환자 데이터를 영구적으로 저장하지 않고도 높은 성능을 유지하므로, GDPR 및 HIPAA 같은 의료 데이터 보호 규정을 준수하는 시스템 구축에 필수적입니다.
• 데이터 효율성: 레이블이 부족한 현실적인 환경에서도 자기지도 학습을 통해 모델의 일반화 능력을 확보하여, 의료진이나 환자의 부담을 줄였습니다.

결론적으로 CLAD-Net 은 **안정성 (Stability, 과거 기억 유지)**과 가소성 (Plasticity, 새로운 지식 학습) 사이의 균형을 효과적으로 맞추어, 웨어러블 센서를 활용한 장기적인 환자 모니터링 시스템의 핵심 기술로 자리매김할 수 있음을 입증했습니다.