기술 요약: GenHAR – 마지막 마일 배송을 위한 범용 교차 도메인 인간 활동 인식

1. 문제 제기

관성 측정 장치 (IMU) 센서를 활용한 인간 활동 인식 (HAR) 은 스마트 헬스케어 및 마지막 마일 배송 물류와 같은 응용 분야에서 필수적입니다. 그러나 실제 세계 배포를 가로막는 주요 장벽은 교차 도메인 분포 이동입니다. 특정 소스 도메인 (예: 특정 사용자, 장치 배치, 또는 환경) 의 데이터로 훈련된 모델은 센서 위치, 개별 행동 패턴, 환경적 노이즈의 차이로 인해 보이지 않는 타겟 도메인에서 테스트될 때 성능이 현저히 저하되는 경향이 있습니다.

기존 솔루션들은 주로 **도메인 적응 (Domain Adaptation)**에 의존하는데, 이는 훈련 중에 타겟 도메인 데이터 (종종 레이블이 없는) 에 접근할 수 있어야 합니다. 그러나 마지막 마일 배송과 같은 실제 시나리오에서는 타겟 도메인 데이터를 수집하고 레이블링하는 것이 종종 불가능하거나, 시간이 많이 소요되며 비용이 많이 듭니다. 따라서 **도메인 일반화 (Domain Generalization)**를 달성하는 것이 과제입니다. 즉, 타겟 데이터 접근 없이 오직 소스 도메인 데이터만으로 모델을 훈련하여 보이지 않는 타겟 도메인에도 효과적으로 일반화할 수 있어야 합니다. 또한 이러한 모델은 실시간으로 리소스가 제한된 모바일 및 엣지 장치에서 실행될 만큼 계산 효율적이어야 합니다.

2. 방법론: GenHAR 프레임워크

GenHAR 는 오직 소스 도메인 데이터로부터 도메인 불변의 센서 표현을 학습하도록 설계된 새로운 프레임워크입니다. 이는 분포 이동과 계산 효율성이라는 두 가지 과제를 해결하기 위해 세 가지 핵심 설계 원칙을 통해 구현됩니다:

A. 주파수 공간 변환

대부분의 기존 HAR 방법이 시간 영역에서 작동하는 것과 달리, GenHAR 는 고속 푸리에 변환 (FFT) 을 사용하여 원시 IMU 시계열 데이터를 주파수 영역으로 변환합니다.

• 근거: 시간 영역 특징은 노이즈와 미세한 운동 선호도와 같은 무작위 요인에 매우 민감하여 도메인 간 분포 이동이 큽니다. 반면, 주파수 특징 (특히 진폭) 은 시간 이동에 더 강인하며 소스 도메인과 타겟 도메인 간의 분포 격차가 더 작습니다.
• 진폭 대 위상: 이 프레임워크는 위상이나 복소수 값이 아닌 진폭 특징을 구체적으로 활용합니다. 실증 분석에 따르면 위상 특징은 장치 방향과 노이즈에 매우 민감한 반면, 진폭 특징은 서로 다른 도메인 간에 상대적으로 안정적으로 유지됩니다. 진폭 공간에서의 도메인 간 지구 이동 거리 (EMD) 는 위상 또는 시간 공간에 비해 현저히 낮습니다.

B. 센서 단위 자기 주의 (Self-Attention) 메커니즘

GenHAR 는 Transformer 기반 아키텍처를 사용하지만, 주파수 공간에서 새로운 센서 단위 자기 주의 메커니즘을 도입합니다.

• 토큰화: 개별 시간 단계를 토큰으로 취급하는 대신, 단일 센서 채널에 대한 진폭 성분의 전체 시퀀스를 하나의 토큰으로 간주합니다.
• 상관관계 학습: 주의 메커니즘은 시간 시퀀스를 따라가 아니라 센서 채널 차원 (예: 가속도계와 자이로스코프의 X, Y, Z 축 간) 에서 계산됩니다. 이는 저자들이 개별 채널 신호보다 도메인 불변성이 더 강하다고 주장하는 서로 다른 센서 채널 간의 고유한 물리적 상관관계를 포착합니다.
• 선택적 마스킹: 효율성과 물리적 관련성을 높이기 위해 선택적 마스킹 전략이 적용됩니다. 이는 물리적으로 관련 없는 측정치 간의 상관관계 (예: 가속도계의 X 축과 자이로스코프의 Y 축) 는 마스킹하면서 동일한 센서 유형 내 또는 대응하는 축 간의 상관관계 (예, $Acc_x$와 $Gyro_x$) 는 보존합니다. 이는 불필요한 계산을 줄이고 모델이 의미 있는 센서 내부 및 센서 간 관계에 집중하도록 합니다.

C. 효율성 최적화

모바일 장치의 실시간 요구 사항을 충족하기 위해 GenHAR 는 계산 복잡성을 크게 줄입니다:

• 전체 시간 시퀀스 길이가 아닌 센서 채널 차원 (일반적으로 6 축) 을 따라 주의를 계산함으로써 복잡성이 극적으로 감소합니다.
• 선택적 마스킹 메커니즘은 행렬 곱셈 연산을 약 33.3% 추가로 줄입니다.
• 프레임워크는 입력 크기를 더 최소화하기 위해 FFT 스펙트럼의 "DC 성분"과 대칭적인 두 번째 절반을 제거합니다.

3. 주요 기여

이 논문은 다음과 같은 기여를 주장합니다:

1. 최초의 주파수 공간 교차 도메인 HAR: 저자들의 지식 범위 내에서, 이는 타겟 도메인 훈련 데이터를 전혀 요구하지 않고 신호 주파수 공간 내에서 센서 주의를 학습함으로써 교차 도메인 HAR 을 해결한 첫 번째 연구입니다.
2. 새로운 아키텍처: 채널 단위 자기 주의 모듈을 통해 센서 상관관계를 포착하는 주파수 공간 Transformer 인 GenHAR 의 설계는, 일반화 가능한 IMU 표현이 오직 주파수 영역으로부터만 학습될 수 있음을 보여줍니다.
3. 우수한 성능과 효율성: 광범위한 실험을 통해 GenHAR 이 최첨단 (SoA) 베이스라인을 능가하면서도 훨씬 더 효율적임을 입증했습니다.
4. 실제 세계 배포: 이 프레임워크는 마지막 마일 배송을 위한 대규모 산업 환경에서 성공적으로 배포되었습니다.

4. 실험 결과

저자들은 네 가지 공유 활동 (걷기, 서기/앉기, 계단 오르기, 계단 내리기) 을 포함하는 네 가지 실제 세계 데이터셋 (UCI, Shoaib, Motion, HHAR) 에서 GenHAR 를 평가했습니다.

• 정확도: GenHAR 는 평균 교차 도메인 정확도 **81.42%**를 달성하여 두 번째로 좋은 모델 (UniHAR) 보다 9.97% 더 높은 성능을 보였습니다. 사전 훈련 방법 (LIMUBERT, ContraTSC) 과 도메인 적응/일반화 방법 (SDMix, UniHAR) 을 포함한 다른 베이스라인들을 일관되게 능가했습니다.
• 효율성:
  • FLOPs: GenHAR 는 가장 좋은 베이스라인 모델 대비 부동 소수점 연산 (Floating Point Operations) 을 6.4 배 줄였습니다.
  • 자기 주의 계산: 센서 단위 주의 설계는 표준 주파수 주의에 비해 자기 주의 계산을 43.2 배 줄였습니다.
  • 추론 시간: 모바일 장치 (PDA) 에서 평균 추론 시간은 0.00647 초였으며, 스마트워치에서는 0.02505 초였습니다.
• 애블레이션 연구:
  • 주파수 특징을 제거하고 (시간 영역 입력 사용) 정확도가 13.51% 하락했습니다.
  • 진폭을 위상 특징으로 대체하면 정확도가 31.19% 하락하여 도메인 불변성을 위한 진폭 특징의 우수성을 확인했습니다.
  • 센서 단위 주의를 표준 시간 주의로 대체하면 정확도가 17.10% 하락했습니다.

5. 실제 세계 배포 및 중요성

이 논문은 JD Logistics에서 9,985 명의 배송 기사가 참여하는 4 개 도시에서 GenHAR 를 배포한 사례를 강조합니다.

• 규모: 한 달 동안 시스템은 21.5 억 개의 실시간 활동을 감지했습니다 (18.4 억 개 정지, 2.15 억 개 걷기, 5,480 만 개 계단 오르기, 3,980 만 개 계단 내리기).
• 응용 분야:
  • 작업량 이해: 시스템은 엘리베이터가 없는 건물과 같은 고강도 배송 시나리오를 식별하여 공정한 보상 및 공정한 배차 알고리즘을 지원합니다.
  • 주소 위치 마이닝: 활동 인식과 GPS 궤적을 결합하여 시스템은 680 만 개 이상의 배송 주소 위치를 93.3% 정확도 (100 미터 이내) 로 추론하여 물류 탐색 및 화물 배분을 개선했습니다.

6. 주장된 중요성

저자들은 GenHAR 를 마지막 마일 배송 및 일반적인 센서 기반 AI 를 위한 중요한 발전으로 위치 짓습니다. 그 중요성은 다음과 같습니다:

• 데이터 부족 문제 해결: 이는 실제 물류에서 흔한 제약 조건인 타겟 도메인 데이터가 없는 상황에서의 교차 도메인 HAR 을 위한 실현 가능한 솔루션을 제공합니다.
• 물리 기반 설계: 주파수 공간 및 센서 단위 주의 접근법의 성공은 IMU 신호의 통계적 패턴뿐만 아니라 물리적 생성 원리를 모델링하는 것이 더 강력하고 일반화 가능한 모델로 이어짐을 시사합니다.
• 엣지 배포 가능성: 높은 정확도를 유지하면서 계산 비용을 극적으로 줄임으로써, GenHAR 는 정교한 도메인 일반화 모델이 실시간 대규모 산업 응용을 위해 리소스가 제한된 모바일 장치에 배포될 수 있음을 입증합니다.