FED-HARGPT: A Hybrid Centralized-Federated Approach of a Transformer-based Architecture for Human Context Recognition

이 논문은 프라이버시를 보호하면서도 비 IID 데이터 환경에서 인간 활동 인식 (HAR) 모델의 정확도와 견고성을 향상시키기 위해 Flower 프레임워크를 활용한 하이브리드 중앙집중형 - 연방 학습 기반의 트랜스포머 아키텍처를 제안하고 그 유효성을 입증합니다.

핵심

1. 문제 상황: "모두가 각자 다른 생활을 한다"

우리는 스마트폰이나 스마트워치를 통해 걷기, 뛰기, 잠자기, 스트레스 받는 상황 등 다양한 활동을 기록합니다.

• 기존 방식 (중앙 집중형): 모든 사람의 데이터를 한곳 (예: 구글 서버) 으로 보내서 분석합니다.
  • 비유: 모든 학생의 시험지를 한 교실로 가져와서 선생님이 일일이 채점하는 방식입니다. 정확할 수는 있지만, 학생들의 개인적인 답안지 (사생활) 가 모두 공개되는 셈이라 위험합니다.
• 새로운 방식 (연방 학습): 데이터를 보내지 않고, 각 학생의 책상 (기기) 에서 직접 공부하게 합니다.
  • 비유: 각 학생이 자신의 책상에서 문제를 풀고, 정답만 (데이터는 남기지 않고) 선생님에게 보내는 방식입니다.

2. 이 연구의 핵심 아이디어: "하이브리드 (혼합) 학습"

이 연구는 두 가지 방식을 섞은 FED-HARGPT를 제안합니다.

① "기본 지식"을 먼저 심어주기 (중앙 집중형)

먼저, 48 명의 사람들 데이터를 모아 AI 에게 "걷기는 이런 모양, 뛰기는 저런 모양"이라는 기본 상식을 가르칩니다.

• 비유: 요리 학교에서 모든 재료를 한곳에 모아 셰프가 "이건 소금, 저건 설탕"이라는 기본 레시피를 먼저 익히는 단계입니다.

② "개인 맞춤형"으로 다듬기 (연방 학습)

그런 다음, 이 기본 레시피를 60 명의 각 개인에게 나눠줍니다. 각자는 자신의 스마트폰 (기기) 에서 자신의 생활 데이터로만 추가 학습을 합니다.

• 비유: 기본 레시피를 배운 요리사들이 각자 자신의 주방으로 돌아가, 자신의 취향과 재료에 맞춰 요리를 다듬는 것입니다.
• 중요한 점: 각 요리사 (기기) 는 자신의 레시피를 다른 사람에게 보여주지 않고, 오직 "맛있는 요리가 완성된 결과"만 공유합니다.

3. 왜 '트랜스포머 (Transformer)'를 썼을까?

이 연구는 최신 AI 기술인 '트랜스포머' (GPT-2 기반) 를 사용했습니다.

• 비유: 기존 AI 가 "한 글자씩 읽는" 방식이라면, 트랜스포머는 "문맥을 통째로 이해하는" 방식입니다.
• 예를 들어, "나는 지금 달리고 있다"라고 할 때, '달리고'라는 단어 하나만 보는 게 아니라, 그 전후의 맥락 (숨이 차다, 심장이 뛰다 등) 을 종합해서 상황을 파악합니다.
• 이 연구에서는 이 거대한 AI 모델을 스마트폰에서도 가볍게 돌아갈 수 있도록 경량화해서 만들었습니다.

4. 실험 결과: "비밀은 지키면서 똑똑해졌다"

연구팀은 실제 60 명의 사람들이 자유롭게 생활하며 모은 데이터 (ExtraSensory 데이터셋) 로 실험했습니다.

• 결과: 이 방식은 데이터를 한곳에 모아서 학습한 전통적인 방식과 거의 비슷한 정확도를 냈습니다.
• 의미: 내 스마트폰이 내 활동을 90% 이상 정확히 알아맞히면서도, 내 데이터는 내 폰 안에만 남아있어 해킹이나 유출의 위험이 없다는 뜻입니다.

5. 한 줄 요약

"이 연구는 AI 가 내 스마트폰 안에서 내 생활 패턴을 스스로 배우게 하여, 사생활은 보호하면서도 매우 정확한 활동 인식 (HAR) 을 가능하게 하는 새로운 방법을 제시했습니다."

이 기술이 발전하면, 앞으로 건강 관리 앱이 내 상태를 더 정확히 알려주거나, 스마트 시티가 사람들의 움직임을 분석하더라도 개인의 프라이버시는 철저히 지켜지는 세상이 올 수 있을 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 스마트폰 및 웨어러블 기기의 보편화로 인해 가속도계, 자이로스코프 등 다양한 센서를 통해 방대한 양의 개인 활동 데이터 (휴식, 수면, 걷기 등) 가 생성되고 있습니다.
• 문제점:
  • 개인정보 보호: 센서 데이터는 민감한 개인 정보를 포함하므로, 중앙 서버로 모든 데이터를 수집하여 학습하는 전통적인 방식은 프라이버시 침해 우려가 있습니다.
  • 비균일 데이터 (Non-IID): 실제 환경 (Real-world) 에서 수집된 데이터는 사용자마다 활동 패턴이 다르고 클래스 불균형 (Class Imbalance) 이 심하며, 통제된 실험실 환경과 달리 데이터 분포가 균일하지 않습니다 (Non-IID).
  • 기존 모델의 한계: 기존 HAR(Human Activity Recognition) 연구는 주로 MLP 나 CNN 을 사용했으며, Transformer 기반 모델을 비균일 데이터에 적용하거나 프라이버시를 보호하며 학습한 사례가 부족했습니다.

2. 제안된 방법론 (Methodology)

이 연구는 **중앙 집중식 학습 (Centralized)**과 **연방 학습 (Federated Learning, FL)**을 결합한 하이브리드 접근법을 제안하며, Transformer 기반 아키텍처를 활용합니다.

가. 데이터셋: ExtraSensory

• 60 명의 참가자가 일상생활에서 자유롭게 수집한 데이터로, 51 개의 활동 라벨을 포함합니다.
• 센서 데이터 (가속도계, 자이로스코프, GPS 등) 와 맥락 정보가 결합되어 있으며, 라벨 분포가 심하게 불균형한 비균일 (Non-IID) 데이터셋입니다.

나. 모델 아키텍처: FED-HARGPT

• 베이스 모델: 경량화된 GPT-2 아키텍처를 기반으로 합니다.
• 수정 사항:
  • 기존 GPT-2 의 임베딩 레이어를 제거하고, 연속적인 센서 데이터 처리를 위한 **학습 가능한 선형 레이어 (Trainable Linear Layer)**로 대체.
  • 분류를 위해 추가적인 선형 레이어와 tanh 활성화 함수를 가진 출력 레이어를 추가하여 51 개 라벨의 다중 레이블 (Multi-label) 분류 문제를 해결.
• 목적: 모바일 엣지 디바이스에서도 실행 가능한 경량 모델을 구현.

다. 학습 전략: 하이브리드 중앙 - 연방 접근법

1. 중앙 집중식 사전 학습 (Centralized Pre-training):
   • 60 명 중 48 명의 데이터를 사용하여 글로벌 모델의 초기 가중치를 학습합니다.
   • 하이퍼파라미터 최적화 (Random Search) 를 통해 최적의 구조 (Transformer 레이어 4 개, Hidden size 384 등) 를 찾습니다.
   • 이 단계에서 얻은 가중치를 연방 학습의 초기값으로 사용합니다.
2. 연방 학습 (Federated Fine-tuning):
   • Flower Framework를 사용하여 구현.
   • 남은 12 명의 데이터를 각 클라이언트로 할당하여 5 번의 교차 검증 (Cross-validation) 폴드를 구성합니다.
   • 각 클라이언트는 로컬 데이터로 모델을 미세 조정 (Fine-tuning) 하고, 가중치만 서버로 전송합니다 (FedAvg 전략 사용).
   • 데이터는 서버로 이동하지 않으므로 프라이버시가 유지됩니다.

3. 주요 기여 (Key Contributions)

1. Transformer 기반 경량 HAR 모델 제안: 제한된 HAR 문제에 맞춰 파인튜닝된 경량 GPT-2 기반 모델을 제시했습니다.
2. 하이브리드 학습 프레임워크: Non-IID 환경에서 성능, 프라이버시, 개인화를 균형 있게 달성하기 위한 중앙 집중식 - 연방 학습 하이브리드 방식을 도입했습니다.
3. 비제약 (Unrestricted) 데이터셋 평가: 참가자에게 특정 행동을 지시하지 않고 자연스러운 환경에서 수집된 데이터 (ExtraSensory) 를 사용하여 실용성을 검증했습니다.

4. 실험 결과 (Results)

• 성능:
  • 평균 균형 정확도 (Balanced Accuracy): 약 0.747을 기록했습니다.
  • 최고 성능: 개별 클라이언트 중 가장 좋은 성능을 보인 경우 0.909의 균형 정확도를 달성하여 기존 State-of-the-Art(SotA) 를 능가했습니다.
  • 비교: 기존 연구 (MLP 기반) 의 평균 성능 (약 0.772~0.773) 과 유사하거나, 일부 클라이언트에서는 더 우수한 결과를 보였습니다.
• Non-IID 환경에서의 견고성: 데이터 분포가 다른 5 개 폴드 간 성능 편차는 있었으나 (0.718 ~ 0.779), 전반적으로 일관된 성능을 유지하며 연방 학습이 데이터 프라이버시를 유지하면서도 높은 성능을 낼 수 있음을 입증했습니다.
• 데이터 다양성과의 상관관계: 수집된 데이터의 다양성이 높을수록 분류 성능이 향상되는 경향을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 프라이버시와 성능의 균형: 민감한 센서 데이터를 중앙 서버로 전송하지 않고도 Transformer 기반의 강력한 모델을 학습할 수 있음을 증명했습니다. 이는 의료, 금융 등 프라이버시가 중요한 분야에서 적용 가능한 중요한 진전입니다.
• LLM 의 엣지 적용 가능성: 대규모 언어 모델 (LLM) 이 아닌 경량화된 GPT-2 를 활용하여 복잡한 HAR 문제를 해결할 수 있음을 보여주었습니다.
• 실용성: 엣지 디바이스 (스마트폰 등) 에 배포 가능한 경량 아키텍처와 연방 학습의 결합은 실제 생활 환경에서의 맥락 인식 (Context Recognition) 시스템 구축에 새로운 방향을 제시합니다.
• 향후 과제: FedAvg 외의 다른 연방 학습 전략 (예: FedPer) 적용, 계층적 연방 학습, 차등 프라이버시 등을 통해 통신 오버헤드 감소 및 모델 수렴성 향상을 모색할 수 있습니다.

요약하자면, 이 논문은 Transformer 기반 모델을 연방 학습 환경에 성공적으로 적용하여, 개인 활동 인식 (HAR) 분야에서 데이터 프라이버시를 보호하면서도 높은 정확도를 달성할 수 있는 새로운 하이브리드 아키텍처를 제시한 연구입니다.