🤖 AI

Rotation-Invariant Multi-IMU Activity Recognition under Independent Per-Location Orientation Shifts

이 논문은 SO(3)-동변(equivariant) 백본과 불변 특징 융합을 채택함으로써 명시적인 교정이나 증강 없이도 다중 센서 인간 행동 인식에서 각 위치별 독립적인 IMU 방향 변화에 대한 강건성을 구조적으로 보장하는 회전 불변 프레임워크인 TRI-HAR을 소개하며, 이를 통해 기존의 회전 증강 방식보다 우수한 성능을 보여준다.

원저자: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seungyeol Baek, Yoonbyung Chai, Yonghyeon Lee, Sungjoon Choi, Sungho Suh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간 행동 인식(Human Activity Recognition)은 신체의 미세한 움직임을 감지하여 컴퓨터가 사람이 무엇을 하고 있는지 이해하도록 가르치는 과학입니다. 이 기술은 손목, 가슴 또는 발목에 부착하여 가속도와 회전을 기록하는 관성 측정 장치(IMU)라고 불리는 작은 센서에 의존합니다. 이러한 장치들은 재활 프로그램, 피트니스 추적, 의료 모니터링의 이면에 있는 조용한 관찰자로서, 가공되지 않은 물리적 움직임을 "걷기", "달리기", 또는 "앉기"와 같은 디지털 레이블로 변환합니다. 그러나 오랫동안 이러한 시스템에는 고질적인 문제가 존재해 왔습니다. 바로 센서가 매번 정확히 동일한 방식으로 부착되지 않는다는 점입니다. 환자가 두 번째로 손목에 센서를 착용하거나 다른 사람이 동일한 장치를 착용할 때, 방향이 바뀔 수 있습니다. 센서가 왼쪽으로 약간 기울어지거나 앞으로 회전할 수 있으며, 이로 인해 동일한 물리적 움직임이라도 완전히 다른 숫자 세트를 생성하게 됩니다. 수년간 컴퓨터는 기울어진 센서로 기록된 "달리기"가 똑바로 된 센서로 기록된 "달리기"와 같다는 것을 인식하는 데 어려움을 겪었으며, 장치가 조금만 움직여도 인식을 실패하곤 했습니다.

고려대학교와 매사추세츠 공과대학교(MIT)의 연구진은 이 특정 문제를 해결하기 위해, 센서가 무작위 방향으로 다시 부착되더라도 정확도를 유지할 수 있는 새로운 접근 방식을 개발했습니다. TRI-HAR 프레임워크로 발표된 이들의 연구는 여러 개의 센서를 신체 각 부위에 동시에 사용하는 자가 관리형 건강 모니터링에서 흔히 발생하는 시나리오를 다룹니다. 이러한 환경에서는 각 센서가 서로 독립적으로 뒤틀리거나 회전할 수 있으며, 이는 표준 컴퓨터 모델을 혼란에 빠뜨리는 상황입니다. 연구진은 각 센서 위치의 데이터를 별도의 3차원 벡터로 취급하고 이를 특수한 수학적 구조를 통해 처리함으로써, 회전으로 인한 혼란을 제거할 수 있다는 사실을 발견했습니다. 이를 통해 시스템은 장치가 어떻게 들려 있는지와 상관없이 순수하게 움직임의 형태 자체에 집중할 수 있습니다.

그들의 발견의 핵심은 데이터를 결합하기 전 이를 어떻게 처리하느냐에 있습니다. 전통적인 방식은 센서의 올바른 방향을 추측하려고 시도하거나, 컴퓨터가 패턴을 학습할 수 있도록 수천 개의 인위적으로 회전된 예시를 가지고 훈련하는 것에 의дает, 운 좋게 패턴을 인식하기를 기대합니다. 연구진은 이러한 방식들이 취약하다고 주장했습니다. 만약 컴퓨터가 훈련받지 않은 회전을 보게 되면 실패하기 때문입니다. 대신, 그들은 수학적 규칙 자체가 회전이 최종 결과값을 바꾸는 것을 방지하는 시스템을 구축했습니다. 그들은 소프트웨어가 먼저 가슴이나 허벅지와 같은 각 신체 부위의 데이터를 개별적으로 살펴보로 설계했습니다. 각 위치에 대해 시스템은 원시 센서 신호를 센서와 함께 회전하는 형태로 변환한 다음, 즉시 그 정보를 안정적이고 회전에 영향을 받지 않는 요약 정보로 압축합니다. 각 센서의 데이터가 각자의 기울기에 면역력을 갖춘 후에야 시스템은 모든 신체 부위의 요약본을 결합하여 사람이 무엇을 하고 있는지 결정합니다.

이러-방식은 다양한 활동을 수행하는 사람들의 기록이 담긴 네 가지 공개 데이터셋을 대상으로 테스트했을 때 매우 효과적인 것으로 증명되었습니다. 연구진이 재부착 상황을 시뮬레이션하기 위해 각 센서 위치의 데이터를 고정된 무작위 양만큼 인위적으로 회전시킨 실험에서, 이 새로운 시스템은 거의 완벽하게 정확도를 유지했습니다. 반면, 이 특수한 구조를 사용하지 않는 기존 모델들은 성능이 급격히 떨어졌으며, 기본적인 활동조차 인식하지 못하는 경우가 많았습니다. 심지어 이러한 회전을 모사하기 위해 추가 데이터를 사용하여 훈련된 모델들과 비교했을 때도, 새 시스템은 추가 훈련 없이 더 나은 성능을 보여주었습니다. 연구진은 또한 센서가 물리적으로 이동하고 방향이 재설정되는 시나리오, 즉 회전과 위치 변화가 동시에 발생하는 실제 환경 데이터셋에서도 시스템을 테스트했습니다. 이 도전적인 테스트에서도 새로운 시스템은 기존의 가장 우수한 방법들을 다시 한번 능가하며, 센서가 예측 불가능한 방식으로 움직일 때도 회전을 무시하는 능력이 유효함을 입증했습니다.

연구진은 또한 실시간 건강 모니터링에 있어 속도가 매우 중요하기 때문에, 이 새로운 시스템이 표준 컴퓨터 하드웨어에서 얼마나 빠르게 실행되는지도 조사했습니다. 그들은 이 시스템이 더 단순한 모델들보다 복잡하지만, 라이브 센서 스트림을 따라갈 수 있을 만큼 충분히 빠르게 데이터를 처리한다는 것을 발견했습니다. 세 개의 센서를 사용하는 설정의 경우, 시스템은 데이터 윈도우를 분석하는 데 100밀리초 미만이 소요되며, 이는 센서가 다음 데이터 배치를 수집하는 데 걸리는 시간보다 훨씬 빠릅니다. 이는 이 기술가 원격 서버로 데이터를 보낼 필요 없이 개인의 컴퓨터나 휴대폰에서 실시간으로 활동을 모니터링하는 데 실제로 사용될 수 있음을 의미합니다. 이 연구는 단순히 더 많은 예시를 제공하는 것이 아니라, 컴퓨터가 데이터를 보는 근본적인 구조를 변경함으로써 사람들이 실제로 기기를 착용하는 복잡한 현실에 강건한 활동 인식 시스템을 구축하는 것이 가능하다는 것을 보여줍니다.

기술 요약: 독립적인 위치별 방향 변화에 대한 회전 불변 다중 IMU 활동 인식

문제 정의

사용자가 직접 착용하는 관성 측정 장치(IMU)를 이용한 인간 활동 인식(HAR)은 센서를 여러 세션에 걸쳐 다시 부착할 때 발생하는 독립적인 방향 오프셋이라는 중요한 분포 변화(distribution shift) 문제에 직면해 있습니다. 다중 IMU 설정(예: 가슴, 손목, 허벅지, 발목)에서 각 센서는 모니터링하는 신체 부위에 대해 서로 다른 임의의 회전을 가질 수 있습니다.

기존의 스칼라 기반 HAR 모델은 이러한 회전에 대한 구조적 강건성이 부족하여 성능이 크게 저하됩니다. 기존 솔루션은 두 가지 주요 접근 방식을 사용하지만 각각 한계가 있습니다:

회전 증강(Rotation Augmentation): 합성된 회전 데이터를 사용하여 모델을 학습시킵니다. 그러나 이는 샘플링에 의존적이며, 관측되지 않은 임의의 $SO(3)$ 회전에 대한 불변성을 보장하지 못합니다.
교정 파이프라인(Calibration Pipelines): 기준 프레임, 정적 구간 또는 자기 데이터를 사용하여 방향을 정규화하는 전처리 단계입니다. 이는 제어되지 않은 자가 관리 환경에서 흔히 실패하는 엔지니어링 오버헤드와 가정(예: 신뢰할 수 있는 자기장)을 수반합니다.

핵심 과제는 회전 증강이나 명시적인 테스트 타임 교정 없이, 독립적인 위치별 $SO(3)$ 방향 변화에 대한 **구조적 불변성(structural invariance)**을 달하는 것입니다.

방법론: TRI-HAR

저자들은 회전 불변성을 모델 아키텍처에 직접 내장하는 프레임워크인 **TRI-HAR(Truly Rotation-Invariant HAR)**을 제안합니다. 이 방법은 가속도계와 자이로스코프 스트림을 스칼라 채널이 아닌 삼축 벡터로 처리합니다.

1. 위치 그룹화된 벡터 표현

입력 데이터는 평탄화된 스칼라 채널( $X_{raw} \in \mathbb{R}^{T \times 3S}$ )에서 삼축 벡터 스트림( $X \in \mathbb{R}^{T \times S \times 3}$ )으로 재구성됩니다. 결정적으로, 이 스트림들은 물리적 IMU 위치( $L$ 개 위치)별로 그룹화됩니다. 각 그룹 $X^{(l)}$ 은 독립적인 회전 $R_l \in SO(3)$ 의 대상인 하나의 단위로 취급됩니다. 이 공식화는 서로 다른 신체 부위의 센서가 서로 다른 오프셋을 가지고 다시 부착되는 시나리오를 명시적으로 모델링합니다.

2. 공유 $SO(3)$-등변(Equivariant) 백본

TRI-HAR은 FER-VN-DGCNN(Frequency-based Equivariant Feature Representation with Vector Neurons and Dynamic Graph Convolutional Neural Networks)으로 인스턴스화된 공유 백본을 사용합니다.

벡터 뉴런(Vector Neurons, VN): 스칼라 은닉 특징을 3D 회전에 따라 예측 가능하게 변환되는 3D 벡터 값 채널로 격상시킵니다.
다중 주파수 등변성(Multi-Frequency Equivariance): 백본은 입력 벡터를 다중 주파수 등변 공간으로 격상시킵니다. 입력 벡터의 방향은 각도 성분을 결정하며, 학습 가능한 방사 함수(radial function)가 크기 의존적 주파수 계수를 조절합니다.
그래프 처리: 각 위치 그룹 내에서 백본은 시간 인덱스가 지정된 IMU 상태에 대해 동적 그래프를 구축하여, 등변성을 유지하면서 운동학적으로 유사한 동작 상태로부터 특징을 집계합니다.

3. 불변 투영 및 융합

이 설계의 핵심 혁신은 연산 순서에 있습니다: 불변 투영이 위치 간 융합보다 먼저 수행됩니다.

불변 투영(Invariant Projection): 각 위치 그룹에 대해, 등변 특징은 회전 불변 스칼라 표현으로 투영됩니다. 이는 은닉 특징과 학습된 공회전 프레임(co-rotating frame) 사이의 내적을 계산함으로써 달성됩니다. 수학적으로, $V_t$ 가 특징이고 $F_t$ 가 프레임이라면, 불변 특징 $z_t = V_t F_t^\top$ 는 회전 $R_l$ 을 상쇄합니다.
위치별 집계: 불변 시간 단계 특징은 풀링(global max/average)되어 각 위치에 대한 단일 불변 특징 벡터 $h_l$ 을 생성합니다.
고정 순서 융합: 불변 벡터 $\{h_1, \dots, h_L\}$ 은 고정된 신체 위치 순서로 연결되어 최종 MLP 분류기로 전달됩니다.

이 설계는 회전 $R_l$ 이 서로 다른 위치에서 독립적으로 발생하더라도, 서로 다른 위치의 특징들이 결합되기 전에 로컬에서 회전이 상쇄되도록 함으로써 모델이 각 위치에 대한 독립적인 회전에 불변하도록 보장합니다.

주요 기여

TRI-HAR 프레임워크: 회전 증강이나 테스트 타임 교정 없이, 물리적 위치별로 등변-불변 표현을 학습하여 독립적인 방향 오프셋에 대한 구조적 강건성을 제공하는 다중 IMU HAR 아키텍처입니다.
독립적 위치별 변화 프로토콜: 각 IMU 위치에 서로 다른 고정된 $SO(3)$ 회전을 부여하여, 센서 재부착 시나리오를 정확하게 시뮬레이션하는 특정 평가 프로토콜을 구성했습니다.
실증적 검증: 네 가지 공개 벤치마크(PAMAP2, DSADS, Opportunity, RealDISP)를 통해, TRI-HAR이 샘플링에 의존하는 회전 증강 기반 모델보다 우수한 성능을 보이면서도 고정된 독립적 위치별 회전 하에서도 macro-F1 점수를 유지함을 입증했습니다.

실험 결과

저자들은 다섯 가지 지도 학습 베이스라인(MC-CNN, DeepConvLSTM, MLP-HAR, TinyHAR, SA-HAR)을 원본 테스트 데이터( $I$ )와 고정된 독립적 위치별 $SO(3) $오프셋($ SO(3)_{loc-fix}$)이라는 두 가지 조건 하에서 평가했습니다.

회전에 대한 강건성: $SO(3)_{loc-fix}$ 조건에서 비등변(non-equivariant) 베이스라인들은 치명적인 성능 저하를 겪었습니다(예: PAMAP2에서 macro-F1이 약 80%에서 30%로 급락). 반면, TRI-HAR은 원본 테스트 데이터에서의 성능을 유지하며 무시할 만한 수준의 성능 저하(상대적 불변 에러 $< 10^{-10}$ )를 보였습니다.
증강과의 비교: 베이스라인들이 일치하는 위치별 회전 증강(loc-sample)을 사용하여 훈련되었음에도 불구하고, TRI-HAR은 회전 증강을 사용하지 않고도 모든 데이터셋에서 더 높은 macro-F1을 달성했습니다.
RealDISP 상호 변위(Mutual-Displacement): 센서가 물리적으로 재배치되고 재방향 설정된 도전적인 RealDISP "Mutual-displacement" 폴드에서, TRI-HAR은 가장 강력한 회전 증강 베이스라인(TinyHAR, 78.49%)을 6.8 포인트 차이로 앞질러 가장 높은 macro-F1(85.29%)을 기록했습니다.
융합 전략의 절제 연구(Ablation): 모든 위치의 특징을 연결하여 (공유된 전역 회전을 가정하는) 제어 모델인 TRI-HAR-joint는 독립적인 위치별 변화 하에서 심각하게 실패했습니다(약 37~50 포인트의 macro-F1 손실). 이는 타겟 배포 환경에서 위치별 불변 투영이 필수적임을 확인시켜 줍니다.
지연 시간(Latency): 3-IMU 및 5-IMU 스트림에 대한 호스트 측 지연 시간 측정 결과, TRI-HAR은 위치별 등변 처리를 위해 스칼라 베이스라인보다 느리지만, p99 윈도우-투-레이블 지연 시간(3-IMU 67.61 ms, 5-IMU 85.78 ms)은 윈도우 업데이트 주기(~2.5s)보다 훨씬 낮아 실시간 스트리밍 추론을 지원할 수 있음을 보여주었습니다.

의의 및 주장

본 논문은 TRI-HAR이 자가 관리형 다중 IMU HAR의 방향 가변성 문제에 대한 구조적 솔루션을 제공한다고 주장합니다. 이 프레임워크는 다음과 같은 필요성을 제거합니다:

훈련 중 합성 회전 증강.
추론 중 명시적인 방향 교정 또는 기준 프레임 가정.

저자들은 TRI-HAR을 센서 재부착이 빈번하고 사용자 수행 교정이 불가능한 가정 내 재활 및 운동 모니터링에 적합한 "교정 경량(calibration-light)" 접근 방식으로 포지셔닝합니다. 이 연구는 현재 구현이 스칼라 모델보다 높은 계산 비용을 초래할 수 있지만, 통제되지 않은 실제 배포 시나리오에서 얻는 강건성이 이러한 아키텍처적 트레이드오프를 정당화한다는 점을 강조합니다. 향ical 향후 연구는 엣지 배포를 위한 인코더 내부 비용 최적화에 집중될 예정입니다.