Hierarchical and Multimodal Data for Daily Activity Understanding

1. 문제 정의 (Problem)

기존의 인간 활동 인식 (Human Activity Recognition, HAR) 연구는 주로 시각 데이터 (RGB, 깊이 영상) 에 의존해 왔으나, 실제 환경에서는 다음과 같은 한계점이 존재합니다.

• 시각적 제약: 가림 현상 (occlusion), 조명 변화, 카메라 각도 및 시점 의존성, 사생활 침해 우려 등으로 인해 시각 데이터만으로는 정확한 활동 인식이 어렵습니다.
• 단일 모달리티의 한계: 활동의 미세한 차이 (예: 가벼운 물체 vs 무거운 물체 들기) 는 시각적으로는 구별하기 어렵지만, 생체 신호나 압력 센서 등 다른 모달리티에서는 명확하게 나타납니다.
• 계층적 구조 부재: 대부분의 기존 데이터셋은 활동 (Activity) 을 단일 레이블로만 정의하거나, 단순한 단계별 분할만 제공하여, 활동의 내부 구조 (행동, 절차) 와 시간적 의존성을 심층적으로 분석하기 어렵습니다.
• 대조적 실행 (Counterfactuals) 데이터 부족: 동일한 상위 활동 (L1) 을 수행하더라도 조건 (무게, 환경, 도구) 에 따라 수행 방식이 달라지는 '대조적 실행' 데이터를 체계적으로 수집한 데이터셋이 부족합니다.

2. 방법론 (Methodology)

저자들은 DARai라는 새로운 다중 모달 (Multimodal), 계층적 (Hierarchical), 연속 기록 데이터셋을 구축하고 이를 활용한 머신러닝 벤치마크를 수행했습니다.

A. 데이터 수집 및 구성

• 참가자 및 환경: 50 명의 참가자가 5 개 위치 (주거 공간, 홈 오피스, 주방 등) 의 10 개 서로 다른 환경에서 200 시간 이상의 데이터를 기록했습니다.
• 센서 구성: 총 12 개의 센서 장치를 사용하여 20 가지 이상의 데이터 모달리티를 수집했습니다.
  • 시각: Kinect (RGB, Depth), LiDAR 카메라, 1 차 및 3 차원 시점.
  • 웨어러블: 손목/팔 IMU, 전근 EMG, 발바닥 압력 센서 (Insole), 안구 추적기 (Gaze), 생체 모니터링 센서 (ECG, 호흡 등).
  • 환경: 고정형 IMU, 레이더, 환경 센서 (CO2, 온도, 습도 등).
• 동기화: 12 개의 서로 다른 센서와 샘플링 주파수를 동기화하기 위해 글로벌 타임스탬프 신호를 사용하는 멀티스레드 시스템을 구축하여 24 시간 기준 1ms 이내의 오차로 동기화했습니다.

B. 계층적 주석 (Hierarchical Annotation)

활동 인식을 3 단계 계층 구조로 주석 처리했습니다.

1. L1 (Activities): 고수준의 독립적 작업 (예: "물체 이동하기").
2. L2 (Actions): 여러 활동에서 공통적으로 나타나는 하위 행동 (예: "들기", "옮기기", "놓기").
3. L3 (Procedures): 행동을 수행하는 구체적인 세부 절차 (예: "허리 굽히기", "들기", "배치하기").

• 대조적 실행 (Action Counterfactuals): 동일한 L1/L3 라벨을 가지되 L2(행동) 나 수행 조건 (무게, 크기, 위치) 이 다른 경우를 포함하여, 모델이 활동의 본질적 특징과 맥락적 편향을 구분하도록 설계했습니다.

C. 실험 설정

• 모델 아키텍처: Transformer 기반 모델 (Swin-T, MViT 등) 과 CNN, RNN 기반 모델을 사용하여 단일 모달리티 및 다중 모달리티 융합 실험을 수행했습니다.
• 평가 태스크: 활동 인식, 시간적 분할 (Temporal Segmentation), 미래 행동 예측 (Action Anticipation), 교차 시점/교차 신체 (Cross-view/Cross-body) 일반화 성능 평가.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 다중 모달 계층적 데이터셋: 200 시간 이상의 데이터, 20 가지 모달리티, 12 개 센서, 50 명 참가자, 10 개 환경으로 구성된 DARai 데이터셋을 오픈소스로 공개했습니다.
2. 3 단계 계층적 주석: 활동 (L1), 행동 (L2), 절차 (L3) 로 세분화된 160 개의 클래스를 포함하며, 자연어 설명도 제공합니다.
3. 대조적 실행 데이터: 동일한 활동의 다양한 수행 변형 (예: 가벼운 상자 vs 무거운 상자) 을 포함하여, 센서별 민감도와 모델의 편향성을 분석할 수 있는 환경을 제공합니다.
4. 포괄적인 벤치마크: 시각적 견고성 (Cross-view), 웨어러블 일반화 (Cross-body), 다중 모달 융합, 시간적 의존성 분석을 위한 표준 평가 프로토콜과 코드, 모델을 공개했습니다.

4. 실험 결과 및 통찰 (Results & Insights)

• 시각적 견고성: 시각 모델은 교차 시점 (Cross-view) 테스트에서 정확도가 급격히 하락했습니다 (예: 89% → 15%). 반면, 웨어러블 센서 (특히 발바닥 압력) 는 교차 신체 (Cross-body) 테스트에서도 상대적으로 강건했습니다.
• 모달리티별 강점:
  • 시각 (RGB/Depth): 고수준 활동 (L1) 인식에는 우수하지만, 미세한 절차 (L3) 로 갈수록 성능이 크게 저하됩니다.
  • 웨어러블 (IMU, Insole, EMG): L1 에서 L2 로 넘어갈 때 시각 모델보다 성능 저하가 적었습니다. 특히 발바닥 압력 (Insole) 은 물체 이동 시 무게 변화를 잘 포착하여 L2 수준에서 높은 성능을 보였습니다.
  • 생체 신호 (Bio-monitoring): 심박수 변화 등 생리적 변화 감지는 뛰어나지만, 유사한 노력 수준의 활동 (예: 다양한 요리 활동) 을 구분하는 데는 한계가 있었습니다.
• 다중 모달 융합: 단일 센서만 사용할 때보다 여러 센서를 융합했을 때 모든 계층 (L1-L3) 에서 성능이 향상되었습니다. 특히 웨어러블 센서들을 모두 결합했을 때 L3 수준에서도 42% 이상의 정확도를 유지했습니다.
• 시간적 의존성 (Temporal Dependencies):
  • 단기 예측 (Short-horizon): L2(행동) 수준에서는 중간 정도의 관찰 시간만으로도 충분한 맥락을 제공받지만, 과도한 관찰은 불필요한 정보를 초래할 수 있습니다.
  • 장기 예측 (Long-horizon): L3(절차) 수준에서는 관찰 시간이 길어질수록 예측 성능이 지속적으로 향상되어, 미세한 절차적 활동은 긴 시간적 맥락에 의존함을 보여줍니다.
• 대조적 실행 분석: 모델은 종종 활동의 본질적 특징보다는 배경 맥락 (예: 소파에 앉아 있으면 '전화 대화'로 오인) 에 편향되는 경향이 있음을 발견했습니다.

5. 의의 및 중요성 (Significance)

• 실제 환경 적용 가능성: 시각 데이터의 한계를 보완하고 사생활 보호 (Privacy-preserving) 가 가능한 웨어러블 및 비시각 센서 기반의 인간 활동 이해를 위한 핵심 데이터셋을 제공합니다.
• 복잡한 활동 분석: 단순한 활동 인식을 넘어, 활동의 계층적 구조와 시간적 의존성을 심층적으로 연구할 수 있는 기반을 마련했습니다.
• 차세대 AI 연구 촉진: 로봇 공학, 보조 기술, 건강 모니터링, 질병 진단 등 인간 중심 응용 분야에서 더 강건하고 정교한 AI 모델 개발을 위한 표준 벤치마크로 자리 잡을 것으로 기대됩니다.
• 편향성 탐지: 대조적 실행 데이터를 통해 모델이 맥락적 편향에 얼마나 취약한지 평가할 수 있어, 신뢰할 수 있는 AI 개발에 기여합니다.

이 논문은 인간 활동 인식을 위한 새로운 패러다임을 제시하며, 다중 모달 센서 융합과 계층적 학습의 중요성을 실증적으로 입증했습니다.