Multilevel neural networks with dual-stage feature fusion for human activity recognition

1. 연구 배경 및 문제 정의 (Problem)

• 인간 활동 인식 (HAR) 의 중요성: 헬스케어 모니터링, 보안 시스템, 지능형 환경 등 다양한 분야에서 센서 데이터를 기반으로 인간의 행동을 정확하게 식별하는 것이 필수적입니다.
• 기존 모델의 한계: CNN(합성곱 신경망), LSTM(장단기 기억망), 그리고 이들의 하이브리드 모델은 HAR 분야에서 뛰어난 성능을 보이지만, 각 모델의 강점을 어떻게 전략적으로 통합하고 구조를 배치할지에 대한 체계적인 비교 평가가 부족합니다.
• 특징 융합 (Feature Fusion) 의 필요성: 서로 다른 네트워크 층이나 모달리티 (가속도계, 자이로스코프 등) 에서 추출된 특징을 어떻게 결합하느냐 (Late Fusion vs. Intermediate Fusion) 가 전체 성능에 결정적인 영향을 미칩니다. 기존 연구들은 주로 단일 단계의 융합에 의존하거나, CLSTM(Convolutional LSTM) 을 HAR 에 적용한 사례가 드뭅니다.

2. 제안된 방법론 (Methodology)

이 연구는 이중 단계 (Two-level) 네트워크 아키텍처와 이중 단계 특징 융합 (Dual-stage feature fusion) 전략을 제안합니다.

A. 데이터 전처리 및 입력

• 데이터셋: USC-HAD(14 명, 12 가지 활동, 가속도계 + 자이로스코프) 와 UCI-HAR(30 명, 6 가지 활동, 스마트폰 IMU) 두 개의 공개 벤치마크 데이터셋을 사용했습니다.
• 전처리: 원시 센서 데이터에 필터링과 정규화를 적용하여 평균이 0 이고 노름이 1 인 저주파 신호로 변환합니다.
• 입력: 가속도계 (3 채널) 와 자이로스코프 (3 채널) 신호를 각각 별도의 처리 경로를 통해 첫 번째 신경망에 입력합니다.

B. 네트워크 아키텍처

제안된 모델은 두 단계의 신경망으로 구성됩니다.

1. 1 단계 네트워크 (First Network): 가속도계와 자이로스코프 데이터를 병렬로 처리하여 특징 맵을 생성합니다.
2. 2 단계 네트워크 (Second Network): 1 단계의 출력을 받아 추가적인 추상화 계층을 적용합니다.
3. 사용된 아키텍처: CNN, LSTM, CLSTM(Convolutional LSTM) 을 1D 및 2D 형태로 조합하여 총 15 가지의 다양한 구성을 실험했습니다.
   • CLSTM: 기존 LSTM 의 행렬 곱셈 대신 합성곱 연산을 사용하여 시공간적 (Spatio-temporal) 의존성을 동시에 포착합니다.

C. 특징 융합 전략 (핵심 기여)

• Late Fusion (후기 융합): 1 단계 네트워크의 출력들을 결합하여 2 단계로 전달하는 방식.
• Intermediate Fusion (중간 융합): 1 단계와 2 단계 네트워크의 특징을 모두 통합하여 최종 분류기에 전달하는 방식.
• 글로벌 평균 풀링 (GAP): 각 네트워크 단계의 출력에 GAP 을 적용하여 공간 정보를 요약하고 파라미터 수를 줄입니다.
• 최종 분류: 결합된 특징 벡터를 Dense 레이어와 Softmax 분류기를 통해 활동 클래스로 매핑합니다.

3. 주요 실험 결과 (Results)

5-fold 교차 검증을 통해 다양한 구성의 성능을 평가했습니다.

A. USC-HAD 데이터셋 결과

• 최고 성능: 1 단계와 2 단계 모두 1D CNN을 사용하고 **중간 융합 (Intermediate Fusion)**을 적용한 구성이 **94.40%**의 정확도를 기록하여 최고 성능을 보였습니다.
• 1D vs 2D: IMU 데이터는 본질적으로 1 차원 시계열 신호이므로, 1D 합성곱 (1D CNN, 1D CLSTM) 이 2D 아키텍처보다 일관되게 더 높은 정확도와 효율성을 보였습니다.
• 융합 효과: 대부분의 구성에서 중간 융합을 적용했을 때 후기 융합만 사용한 경우보다 정확도가 향상되었습니다.

B. UCI-HAR 데이터셋 결과

• 특징 벡터 기반: UCI-HAR 의 전처리된 특징 벡터 (561 차원) 를 사용한 경우, 1D CNN + 1D CNN (중간 융합) 구성이 **96.75%**의 최고 정확도를 달성했습니다.
• 원시 데이터 기반: 원시 센서 데이터 기준에서는 LSTM 과 2D CNN 의 하이브리드 모델이 중간 융합 시 88.90% 의 성능을 보였으나, 전체적으로는 1D CNN 기반 모델들이 더 우세했습니다.
• 일반화 능력: 제안된 모델은 두 데이터셋 모두에서 일관된 높은 성능을 보여주었습니다.

C. 기존 최첨단 (SOTA) 방법과의 비교

• USC-HAD: 기존 CNN+HC(90.67%), H-LSTM, 다양한 CNN-LSTM 모델들을 모두 상회하는 94.40% 를 기록했습니다.
• UCI-HAR: H-LSTM(91.65%), CNN-LSTM 변형들, 멀티헤드 CNN-LSTM(95.76%) 을 모두 능가하는 96.75% 를 기록했습니다.

4. 주요 기여 및 의의 (Key Contributions & Significance)

1. CLSTM 의 HAR 적용: CLSTM 을 개별 및 하이브리드 구성으로 HAR 에 적용한 최초의 연구 중 하나이며, 시공간적 특징 추출의 유효성을 입증했습니다.
2. 이중 단계 융합 전략의 검증: 단순한 후기 융합뿐만 아니라, 네트워크의 중간 단계에서 특징을 융합하는 것이 HAR 성능을 유의미하게 향상시킨다는 것을 체계적인 실험 (Ablation Study) 을 통해 증명했습니다.
3. 1D 아키텍처의 우위성 입증: IMU 센서 데이터의 특성상 1D 합성곱 레이어가 2D 레이어보다 더 효율적이고 정확한 특징 추출이 가능함을 보여주었습니다.
4. 강건한 벤치마크 설정: 두 가지 주요 데이터셋에서 기존 최첨단 모델들을 능가하는 새로운 기준점 (Baseline) 을 제시했습니다.

5. 결론 및 향후 과제

• 결론: 제안된 이중 1D CNN 과 중간 특징 융합을 결합한 아키텍처는 HAR 문제에서 가장 효과적이고 일반화 능력이 뛰어난 모델임을 입증했습니다.
• 향후 작업:
  • 단순한 연결 (Concatenation) 대신 어텐션 (Attention) 기반의 적응형 특징 융합 메커니즘 도입.
  • 엣지 디바이스 배포를 위한 모델 경량화 (Pruning, Quantization) 및 신경 아키텍처 탐색 (NAS) 을 통한 계산 복잡도 최적화.

이 논문은 센서 기반 인간 활동 인식 분야에서 네트워크 구조 설계와 특징 융합 전략의 최적 조합을 찾는 데 중요한 통찰을 제공하며, 높은 정확도와 효율성을 동시에 달성할 수 있는 실용적인 솔루션을 제시합니다.