Embedded Inter-Subject Variability in Adversarial Learning for Inertial Sensor-Based Human Activity Recognition

이 논문은 관성 센서 기반 인간 활동 인식에서 개인 간 변이성을 적대적 학습에 통합하여 새로운 사용자에게도 일반화되는 주체 불변의 특징 표현을 학습하고 기존 방법보다 우수한 성능을 달성하는 새로운 심층 적대적 프레임워크를 제안합니다.

핵심

이 논문은 **"누가 했든 상관없이, 같은 행동을 똑같이 인식하는 똑똑한 AI"**를 만드는 방법에 대해 이야기합니다.

간단히 말해, 우리가 손목에 차는 스마트워치 같은 장치가 "이 사람이 걷고 있구나"라고 알아차리는 기술인 **인간 활동 인식 (HAR)**에 대한 연구입니다. 하지만 여기서 큰 문제가 하나 있었습니다.

🚧 문제: "내 손목은 내 손목일 뿐, 남의 손목은 다르다"

우리가 걷거나 뛰는 모습을 상상해 보세요.

• 나: 천천히, 어깨를 으쓱이며 걷습니다.
• 친구: 빠르게, 팔을 크게 흔들며 걷습니다.

두 사람 모두 '걷기'를 하고 있지만, 손목에 달린 센서가 느끼는 진동과 움직임은 완전히 다릅니다. 기존 AI 는 '나'를 훈련시켰을 때는 잘 작동했지만, '친구'의 데이터를 보면 "이건 걷는 게 아니야?"라고 헷갈려 하거나 아예 못 알아챕니다. 이를 **'사람마다 다른 차이 (Inter-subject Variability)'**라고 합니다.

기존 방법들은 이 문제를 해결하려고 많은 데이터를 모으거나, "누가 했는지"까지 기억하게 만들었습니다. 하지만 이는 사생활 침해 문제가 있거나, 새로운 사람이 나타나면 다시 처음부터 훈련해야 하는 번거로움이 있었습니다.

---

💡 해결책: "비밀스러운 도박 게임"을 시키다

이 논문은 **적대적 학습 (Adversarial Learning)**이라는 새로운 방식을 도입했습니다. 이를 쉽게 비유하자면, AI 에게 **"도박 게임"**을 시킨 것과 같습니다.

1. 게임의 규칙 (적대적 훈련)

AI 는 두 가지 역할을 동시에 수행합니다.

• 역할 A (탐정): "이 데이터가 '걷기'인지 '뛰기'인지"를 맞춥니다. (원래 목적)
• 역할 B (도박꾼): "이 두 데이터가 같은 사람의 것인지, 서로 다른 사람의 것인지"를 맞춥니다.

여기서 핵심은 **역할 A(탐정)**가 **역할 B(도박꾼)**를 속이려고 노력한다는 점입니다.

• 탐정은 "이 데이터가 걷기다!"라고 말하면서도, "도박꾼이 이 데이터가 누구의 것인지 절대 못 알아내게!"라고 노력합니다.
• 즉, **"누가 했는지 (개인 정보)"**는 완전히 지워버리고, **"무엇을 했는지 (행동 정보)"**만 남도록 데이터를 변형시키는 것입니다.

2. 창의적인 비유: "가면 쓴 춤추기"

이 과정을 춤추는 것에 비유해 볼까요?

• 기존 AI: 무대 위에서 춤을 추는데, 관객이 "아, 저건 김철수 씨 춤이네!"라고 바로 알아봅니다. 김철수 씨가 무대에 오르면 잘하지만, 이영희 씨가 오르면 "이건 김철수 씨 춤이 아니야!"라고 오해합니다.
• 이 논문의 AI: 춤추는 사람이 가면을 쓰고 춤춥니다. 관객 (AI) 은 "누가 춤추는지"는 절대 모릅니다. 대신, 가면 뒤에 숨겨진 **춤의 동작 (걸음걸이, 팔 흔들기)**에만 집중합니다.
• 결과적으로, 가면 쓴 김철수 씨든 이영희 씨든, **"이건 걷는 춤이다!"**라고 정확히 맞춥니다.

---

🏆 결과: 왜 이 방법이 특별한가요?

이 연구팀은 PAMAP2, MHEALTH, REALDISP 라는 세 가지 큰 데이터셋으로 실험을 했습니다. 마치 **새로운 사람 (LOSO)**이 나타날 때마다 테스트를 하는 방식입니다.

1. 압도적인 성능: 기존에 있던 최고의 방법들보다 정확도가 훨씬 높았습니다.
2. 편차 감소: 사람마다 다른 차이 (데이터의 흩어짐) 가 줄어들어, AI 가 더 안정적으로 작동했습니다.
3. 사생활 보호: "누가 했는지"를 기억하는 대신 지워버리는 방식이라, 사용자의 개인 정보가 유출될 위험이 적습니다.
4. 확장성: 새로운 사람이 추가되어도 AI 를 다시 처음부터 훈련할 필요가 없습니다.

📝 한 줄 요약

"누가 했는지 잊게 만들고, 무엇을 했는지에만 집중하게 함으로써, 어떤 사람이든 똑똑하게 알아맞히는 AI 를 만들었습니다."

이 기술은 앞으로 스마트워치, 헬스케어 기기, 로봇 등이 우리 모두에게 더 자연스럽게, 더 정확하게 반응할 수 있는 기반이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 주제: 웨어러블 관성 센서 (Inertial Sensors) 데이터를 활용한 인간 활동 인식 (Human Activity Recognition, HAR).
• 핵심 문제: 기존 HAR 모델의 가장 큰 한계는 **주체 간 변이성 (Inter-Subject Variability)**으로 인한 일반화 능력 부족입니다.
  • 동일한 활동이라도 개인의 신체적 특성, 선호도, 수행 강도 및 속도에 따라 센서 신호가 다르게 나타납니다.
  • 이로 인해 훈련 데이터에 포함되지 않은 새로운 사용자 (Unseen Users) 에게 모델을 적용할 때 성능이 급격히 저하되는 '일반화 격차 (Generalization Gap)'가 발생합니다.
• 기존 방법의 한계:
  • 기존 adversarial learning 기반 방법들은 사용자를 식별하는 작업을 통해 특징을 추출하지만, 사용자 수가 증가함에 따라 분류기 복잡도가 커지거나 (확장성 문제), 특정 사용자에 대한 편향이 발생할 수 있습니다.
  • 다중 작업 학습 (Multi-task learning) 은 사생활 보호 문제와 확장성 문제를 야기할 수 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 주체 간 변이성을 명시적으로 고려한 새로운 적대적 학습 (Adversarial Learning) 프레임워크를 제안합니다.

가. 핵심 아이디어: 활동 기반 주체 변이성 임베딩

• 기존의 적대적 학습이 단순히 "두 특징 벡터가 같은 사용자인가?"를 판단하는 것과 달리, 제안된 방법은 **"두 특징 벡터가 같은 활동 (Activity) 을 수행한 것인데, 같은 사용자인가, 다른 사용자인가?"**를 판단하도록 설계되었습니다.
• 입력 데이터 구성 ($A'$):
  • 동일한 활동 레이블 ($y$) 을 공유하지만 서로 다른 사용자 ($s_a, s_b$) 의 데이터 쌍 $(x_a, x_b)$를 생성합니다.
  • 레이블 $g_i$는 두 데이터가 같은 사용자일 때 1, 다른 사용자일 때 0 으로 정의됩니다.
• 목적: 동일한 활동에 대해 서로 다른 사용자들 간의 특징 공간 (Feature Space) 을 일치시키고, 활동 레이블 정보를 적대적 작업에 통합하여 주체 불변 (Subject-invariant) 특징을 학습하도록 유도합니다.

나. 프레임워크 구조

네 가지 주요 모듈로 구성됩니다:

1. 특징 추출기 (Feature Extractor, F): 입력 센서 데이터를 잠재 공간 (Latent Space) 으로 인코딩합니다.
2. 재구성기 (Reconstructor, R): 잠재 공간을 원래 입력 공간으로 디코딩하여 훈련을 안정화합니다 (Autoencoder 구조).
3. 활동 분류기 (Activity Classifier, C): 잠재 공간에서 활동 레이블을 예측합니다.
4. 판별기 (Discriminator, D): 두 특징 벡터의 쌍이 같은 사용자인지 다른 사용자인지 (동일 활동 조건 하에서) 이진 분류를 수행합니다.

다. 학습 프로세스 (3 단계)

1. Step 1 (재구성 훈련): $F$와 $R$을 재구성 손실 ($L_R$) 로 사전 훈련합니다.
2. Step 2 (지도 학습): $F, R, C, D$를 동시에 훈련합니다. 활동 분류 손실 ($L_C$), 재구성 손실 ($L_R$), 판별 손실 ($L_D$) 을 최소화합니다.
3. Step 3 (적대적 학습): GAN(Generative Adversarial Networks) 의 비포화 손실 (Non-saturating loss) 을 도입합니다.
   • Step 3.1: $F$와 $C$를 고정하고 $D$를 훈련하여 실제 데이터 구분을 잘하도록 합니다.
   • Step 3.2: $D$를 고정하고 $F$를 훈련하여 $D$가 서로 다른 사용자의 데이터를 같은 사용자로 오인하도록 (Feature extractor 가 사용자 정보를 제거하도록) 유도합니다.
   • 손실 함수: $L_{step3.1} = w_A L_A + w_R L_R + w_C L_C$ (적대적, 재구성, 분류 손실의 가중 합).

3. 주요 기여 (Key Contributions)

1. 새로운 적대적 프레임워크: 주체 간 변이성 개념을 적대적 작업에 통합하여, 동일한 활동에 대한 공통된 잠재 특징 공간을 학습하도록 설계했습니다.
2. 이진 분류 기반 판별 작업: 사용자 수에 비례하여 클래스 수가 증가하지 않는 이진 분류 문제를 통해 확장성 (Scalability) 을 확보했습니다.
3. 새로운 결합 손실 함수: 비포화 GAN 손실 (Non-saturating GAN loss) 을 통합하여 주체 불변 특징을 효과적으로 학습합니다.
4. 광범위한 실험 검증: 3 개의 표준 HAR 데이터셋 (PAMAP2, MHEALTH, REALDISP) 에서 Leave-One-Subject-Out (LOSO) 교차 검증을 수행하여 새로운 사용자에 대한 일반화 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 비교 (Table 1):
  • 제안된 방법은 PAMAP2, MHEALTH, REALDISP 모든 데이터셋에서 기존 최첨단 방법들 (MCCNN, DCLSTM, METIER, UIDFE, DDLearn 등) 보다 **정확도 (Accuracy)**와 F1-Score에서 우위를 점했습니다.
  • 특히 PAMAP2 에서 87.03% 정확도, REALDISP 에서 97.10% 정확도를 기록하며 기존 방법 대비 큰 개선을 보였습니다.
  • IQR(사분위 범위) 이 낮아 모델의 변동성이 적고 더 강건함을 입증했습니다.
• 분포 거리 감소 (Figure 2):
  • Wasserstein 거리를 측정한 결과, 적대적 학습 단계 (Step 3) 를 거친 후 훈련 데이터와 테스트 데이터 (새로운 사용자) 간의 분포 거리가 유의미하게 감소했습니다. 이는 모델이 사용자 간 변이성을 효과적으로 줄였음을 의미합니다.
• 추상화 연구 (Ablation Study, Table 2):
  • 재구성기 (Reconstructor) 와 적대적 학습 단계가 성능 향상에 결정적인 역할을 함을 확인했습니다.
• 판별 작업 비교 (Table 3):
  • 기존 연구 [8, 10] 의 판별 작업과 비교했을 때, 제안된 "활동 + 사용자" 기반의 이진 판별 작업이 가장 높은 분류 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 추가적인 데이터 수집 없이도 새로운 사용자에게 적용 가능한 HAR 모델을 개발할 수 있는 방법을 제시했습니다.
• 사생활 보호: 사용자를 직접 식별하는 네트워크를 학습시키지 않고, 오히려 사용자 정보를 제거하는 방향으로 학습하므로 사생활 보호 측면에서도 유리합니다.
• 확장성: 사용자 수가 증가해도 판별기의 복잡도가 증가하지 않아 대규모 사용자 환경에 적용하기 용이합니다.
• 결론: 제안된 프레임워크는 웨어러블 센서 기반 HAR 시스템의 보편적 적용 (User-agnostic) 을 위한 핵심 기술로, 주체 간 변이성 문제를 해결하여 모델의 일반화 능력을 획기적으로 향상시켰습니다.