기술 요약: AnyMo

문제 정의

웨어러블 및 모바일 장치는 야외에서 인간의 움직임을 지속적으로 감지할 수 있는 실용적인 수단을 제공합니다. 그러나 관성 측정 장치 (IMU) 신호는 신체 위치, 장착 위치, 센서 방향, 장치 하드웨어 및 샘플링 프로토콜을 포함한 감지 설정에 크게 의존합니다. 이러한 "설정 의존성"은 상당한 장벽을 만듭니다. 한 구성에서 훈련된 모델은 종종 다른 구성으로 이전되지 못하여, 폐쇄형 인식 작업을 넘어 웨어러블 IMU 의 광범위한 활용을 제한합니다.

또한, 연속적인 다중 센서 관성 신호와 이산적인 텍스트 개념 (언어) 간의 간극을 연결하는 것은 여전히 어렵습니다. 기존 접근 방식은 세 가지 결합된 한계에 직면해 있습니다:

1. 데이터 및 감독의 부족: 실제 IMU 데이터는 장착 위치와 장치 간에 단편화되어 있으며, 종종 풍부한 설명보다는 거친 폐쇄형 활동 레이블로 제한됩니다.
2. 합성 증강의 제한된 현실성: 기존 합성 생성 파이프라인은 종종 특정 레이블이나 희소 센서 장착 위치에 의존하여 밀집된 신체 표면 변이의 물리적 현실성을 포착하지 못합니다.
3. 모달리티 간극: 원시 IMU 스트림을 직접 대규모 언어 모델 (LLM) 에 연결하는 것은 토큰 확장 문제로 인해 비효율적이며, 단순한 대비 정렬은 센서 복잡도가 증가함에 따라 간극을 해결하지 못합니다.

방법론

저자들은 설정에 구애받지 않는 인간 운동 모델링을 위한 기하학적 인식 프레임워크인 AnyMo를 제안합니다. 이 프레임워크는 세 가지 주요 단계를 통해 작동합니다:

1. 물리 기반 기하학적 인식 IMU 시뮬레이션

AnyMo 는 관절 중심 시뮬레이션 대신 23 개의 해부학적 세그먼트를 가진 Nymeria 신체 모델을 사용하여 밀집된 신체 표면 장착 위치에서 IMU 신호를 합성합니다.

• 표면 모델링: 각 해부학적 세그먼트에 대해 시스템은 신체 메쉬에서 후보 표면 정점을 선택합니다. 그런 다음 세그먼트 중심을 계산하고 표면 법선, 해부학적 축 및 접선 방향을 기반으로 로컬 센서 프레임을 정의합니다.
• 물리 기반 합성: 시스템은 글로벌 신체 운동을 로컬 센서 프레임으로 변환하여 장착 방향 변이 (평면 회전 및 기울기) 와 실제 데이터에서 추정된 장치 노이즈 사전 확률을 고려하여 가상 센서 궤적을 시뮬레이션합니다.
• 결과: 이는 전체 신체 표면에 걸쳐 다양한 분포의 타당한 합성 IMU 신호를 생성하여, 합성 사전 훈련과 실제 희소 관측 사이의 간극을 연결합니다.

2. 기하학적 인식 설정 무관 사전 훈련

이 프레임워크는 임의의 노이즈가 아닌 구조화된 신체 표면 변이로 설정 변이를 처리함으로써 견고한 표현을 학습합니다.

• 그래프 인코더: 시공간 그래프 인코더는 노드가 해부학적 세그먼트를 나타내고 에지가 운동학적 트리를 따르는 그래프로 전체 신체를 모델링합니다.
• 마스크된 교차 뷰 예측 대비 학습: 모델은 그래프의 마스크된 희소 뷰에서 전체 신체 운동 잠재 변수를 재구성하도록 훈련됩니다. 구체적으로, 서로 다른 표면 장착 위치와 방향을 샘플링하여 두 개의 전체 그래프 뷰 (A 와 B) 를 구성합니다. 그런 다음 한 뷰의 노드를 마스크하고 다른 뷰의 전체 뷰 잠재 변수를 예측합니다. 이는 인코더가 서로 다른 센서 장착 위치에서 안정적으로 유지되는 설정 무관 운동 표현을 학습하도록 강제합니다.

3. 전체 신체 IMU 토큰화 및 운동 - 언어 정렬

희소 웨어러블 입력을 LLM 과 연결하기 위해 AnyMo 는 컴팩트한 토큰화 전략을 도입합니다.

• 토큰화: 제품 양자화 VAE 토크나이저는 인코더에서 나온 연속적이고 설정에 안정적인 시퀀스 잠재 변수를 컴팩트한 IMU 토큰으로 이산화합니다. 이는 원시 IMU 스트림을 LLM 에 직접 입력하는 비효율성을 피합니다.
• 운동 - 언어 모델링: LLM(Qwen2.5-0.5B) 은 IMU 어휘로 확장됩니다. 토크나이저의 코드북 벡터는 운동 인식 임베딩을 제공하기 위해 LLM 임베딩 공간에 투영됩니다.
• 다중 작업 대비 지시 미세 조정: 모델은 다음을 결합하여 미세 조정됩니다:
  • 지시 생성: 운동 캡션 작성 및 다중 선택 인식을 위해.
  • 대비 정렬: 대칭 IMU-텍스트 대비 손실은 IMU 토큰을 운동 내레이션 및 활동 레이블과 정렬합니다. 학습 가능한 소프트 프롬프트는 수동 템플릿 엔지니어링 없이 텍스트 컨텍스트를 최적화하는 데 사용됩니다.

주요 기여

1. 기하학적 인식 시뮬레이션: 저자들은 밀집된 신체 표면 장착 위치에서 물리 기반 시뮬레이션 방법을 제안하여, 관절 중심 방법보다 효과적으로 합성 - 실제 간극을 연결하는 다양한 합성 신호를 생성합니다.
2. 설정 무관 표현 학습: 그들은 마스크된 교차 뷰 예측 대비 학습과 전체 신체 토큰화를 사용한 사전 훈련 방법을 개발하여, 모델이 서로 다른 센서 장착 위치와 방향에서 일반화되는 운동 표현을 학습할 수 있도록 합니다.
3. IMU-언어 범용 모델: AnyMo 는 제로샷 활동 인식, 교차 모달 검색 및 운동 캡션 작성을 지원하는 통합 모델을 도입하여 웨어러블 감지를 언어에 효과적으로 정착시킵니다.

실험 결과

AnyMo 는 EgoExo4D, Ego4D 와 같은 야외 벤치마크 및 UCI-HAR, Opportunity 등의 표준 HAR 데이터셋을 포함한 14 개의 완전히 보이지 않는 하류 데이터셋에서 세 가지 보완적 작업에 대해 평가되었습니다.

• 제로샷 활동 인식: AnyMo 는 평균 정확도 35.7%, 매크로 F1 29.5%, Recall@2 57.5% 를 달성했습니다. 이는 가장 강력한 베이스라인 (UniMTS) 대비 정확도 11.7%, F1 11.6%, **Recall@2 22.6%**의 개선을 의미합니다.
• 교차 모달 검색: Nymeria 홀드아웃 세트 (시뮬레이션에서 실제로의 전이) 에서 AnyMo 는 IMU-to-Text 평균 역순위 (MRR) 를 10.0 에서 44.6으로, Text-to-IMU MRR 을 6.7 에서 46.7로 개선했습니다.
• 운동 캡션 작성: EgoExo4D 에 대한 제로샷 캡션 작성에서 AnyMo 는 BERT-F1 점수 67.1을 달성하여 GPT-5.4 Mini 및 Gemma 4 26B 와 같은 프롬프트 기반 베이스라인을 크게 능가했습니다.

탈레이션 연구는 기하학적 인식 시뮬레이션이나 마스크된 교차 뷰 대비 목적 함수를 제거하면 심각한 성능 저하가 발생함을 확인시켜 주었으며, 이는 밀집된 표면 모델링과 특정 사전 훈련 목적 함수의 필요성을 검증했습니다.

중요성 및 주장

이 논문은 AnyMo 가 범용 웨어러블 운동 이해를 향한 새로운 길을 확립한다고 주장합니다. 웨어러블 설정 변이를 임의의 노이즈가 아닌 구조화된 신체 표면 변이로 취급하고, 이러한 변이를 컴팩트한 전체 신체 토큰을 통해 언어와 연결함으로써, AnyMo 는 작업별 미세 조정이 필요 없이 다양한 장치, 장착 위치 및 데이터셋 간에 이전되는 견고한 표현을 학습할 수 있음을 보여줍니다.

저자들은 AnyMo 를 단순히 더 나은 분류기가 아니라, 언어의 풍부하고 개방적인 의미론을 사용하여 야외에서 인간의 움직임을 해석할 수 있는 사전적, 상황 인식 AI 시스템으로 나아가는 기초적인 단계로 위치시킵니다. 이러한 결과는 기하학적 인식 시뮬레이션과 운동 - 언어 모델링을 결합하는 것이 역사적으로 웨어러블 IMU 응용을 제한해 온 데이터 부족 및 설정 의존성 문제를 극복하기 위한 유망한 방향임을 시사합니다.