Learning Generalizable Action Representations via Pre-training AEMG

기술 요약: AEMG 사전 학습을 통한 일반화 가능한 동작 표현 학습

1. 문제 제기

근전도 (EMG) 는 근전도 기반 인간 - 컴퓨터 인터페이스, 의수 제어, 운동 의도 해독을 위한 핵심 신호원이다. 그러나 해당 분야는 서로 다른 피험자, 장치, 작업 간 낮은 일반화라는 근본적인 병목 현상에 직면해 있다. 현재의 딥러닝 모델은 특정 데이터셋에 특화되어 있어, 다음과 같은 이유로 새로운 사용자나 하드웨어 구성에 적응하지 못한다:

• 데이터 이질성: 공개 데이터셋 간 전극 유형, 채널 수, 토폴로지 배치, 샘플링 주파수에서 발생하는 상당한 편차.
• 비정상 신호: 개인 및 세션 간 EMG 신호의 고유한 변동성이 피험자 간 및 세션 간 성능을 제한함.
• 통합 프레임워크 부재: 기존 접근법은 고정된 크기의 슬라이딩 윈도우와 작업별 아키텍처에 의존하며, 방대하고 레이블이 없으며 이질적인 데이터로부터 일반화 가능한 표현을 학습할 수 있는 통합된 자기지도 학습 패러다임이 부족함.

결과적으로 모델들은 종종 피험자 내 정확도 (>95%) 는 높게 달성하지만, 엄격한 Leave-One-Subject-Out(LOSO) 교차 검증 시나리오에서는 성능이 급격히 저하되는 (종종 50% 미만) 문제를 겪는다.

2. 방법론: AEMG 프레임워크

저자들은 EMG 를 위한 최초의 대규모 자기지도 표현 학습 프레임워크인 AEMG(Any Electromyography) 를 제안한다. 이 프레임워크는 EMG 신호를 "생리학적 언어"로 간주하여, 근육 활성화의 보편적 문법을 학습하기 위해 Transformer 기반 아키텍처를 활용한다. 파이프라인은 다섯 가지 핵심 구성 요소로 이루어져 있다:

A. 통합 데이터 전처리
하드웨어 이질성을 해결하기 위해 저자들은 8 개의 다양한 공개 EMG 데이터셋 (500 시간 이상의 개인 시간) 을 표준화된 입력 공간으로 집계한다. 이는 다양한 채널 수와 센서 토폴로지를 정규화하여 장치 간 사전 학습을 가능하게 한다.

B. 신경 수축 토크나이저 (NCT)
전통적인 고정 윈도우 슬라이싱을 탈피하여 AEMG 는 언어적 패러다임을 도입한다:

• 토큰화: 에너지 임계값을 기반으로 원시 신호를 분할하여 이산적인 근육 수축 이벤트를 감지한다. 이러한 이벤트는 "의미 있는 단어"로 간주된다.
• 정규화: 각 세그먼트는 피험자 간 및 채널 간 변동성을 완화하기 위해 z-score 정규화를 거친다.
• 문장 구성: 이러한 토큰들의 시퀀스가 "EMG 문장"을 형성하여 일관된 시간적 활성화 패턴을 나타낸다.

C. 신경 구문 Transformer(NST) 백본
NST 는 시공간적 의존성과 근육 시너지를 포착하도록 설계되었다:

• 임베딩: 원시 토큰은 1D 컨볼루션을 통해 잠재 의미 공간으로 투영된다.
• 맥락 풍부화: 토큰은 해부학적 출처 (전극 배치), 활성화 단계, 시간적 순서를 인코딩하는 구조적 임베딩으로 풍부해진다.
• 자기 주의: Transformer 인코더가 이러한 풍부화된 시퀀스를 처리하여 장거리 신경근 상관관계를 모델링한다.

D. 신경 코드북 구축 (벡터 양자화)
보편적 어휘를 생성하기 위해 프레임워크는 벡터 양자화 (VQ) 를 활용한다:

• 연속적인 은닉 상태는 표준화된 근육 활성화의 공유 코드북 ( "신경 어휘") 으로 이산화된다.
• 이는 모델이 다양한 입력 신호를 공유된 생리학적 원형에 매핑하도록 강제하여 피험자 간 표현 추출을 가능하게 한다.
• 학습 과정에는 재구성 손실, 어휘 학습 손실, 인코더 커미트먼트 손실이 포함된다.

E. 교차 패치 마스킹 모델링
사전 학습 목표는 EMG 문장 내 근육 수축 토큰의 부분 집합을 마스킹하고, 마스킹되지 않은 맥락에 기반하여 마스킹된 위치의 집단적 토큰을 예측하는 것이다. 이는 모델이 근육 시너지와 운동 구문의 근본적인 "문법"을 학습하도록 장려한다.

3. 주요 기여

1. 통합 표현 공간: 매우 이질적인 EMG 데이터셋 (다양한 채널, 토폴로지, 샘플링 주파수) 을 대규모 사전 학습을 위한 표준화된 입력 공간으로 투영하는 최초의 엄격한 파이프라인.
2. 운동 의도를 위한 언어적 패러다임: 비동기적 근육 폭발을 "단어"로, 다중 채널 조정을 "문장"으로 개념화하는 새로운 접근법. 이는 비정상성 문제를 해결하고 표면 형태를 복잡한 제스처 구문과 연결한다.
3. AEMG 프레임워크: 동적 신경근 원시 요소를 컴팩트한 코드북으로 이산화하고 마스킹 재구성을 통해 시공간적 의존성을 모델링하는 시너지 인식형 자기지도 프레임워크로, 단일 학습으로 보편적으로 적용 가능한 기반 모델을 달성함.

4. 실험 결과

이 프레임워크는 피험자 간 일반화를 위한 가장 엄격한 테스트인 Leave-One-Subject-Out 교차 검증 (LOSO-CV) 패러다임을 사용하여 평가되었다.

• Zero-Shot 일반화: AEMG-Large 는 네 개의 벤치마크 제스처 분류 데이터셋에서 MDD, CDEM, VADA 를 포함한 여섯 가지 최첨단 베이스라인을 능가했다.
  • 이는 최상의 베이스라인 대비 Zero-Shot LOSO 정확도를 **5.79% 에서 9.25%**까지 향상시켰다.
  • 평균적으로 AEMG-Large 는 **89.81%**의 정확도를 달성하여 특정 데이터셋에서는 피험자 내 베이스라인에 근접하거나 이를 능가했다.
• Few-Shot 적응: 새로운 대상 사용자의 데이터 중 **5%**만으로 파인튜닝 시, AEMG-Large 는 전체 데이터 파인튜닝 성능의 90% 이상을 달성하여 빠른 적응력을 입증했다.
• Ablation 연구:
  • EMG 어휘 (VQ) 를 제거하면 치명적인 성능 저하 (~25-28%) 가 발생하여, 신호를 공유된 생리학적 코드북으로 이산화하는 것의 필요성을 입증했다.
  • 마스킹 사전 학습을 제거하면 약 10% 의 성능 저하가 발생하여, 운동 "구문"(시너지) 학습이 형태 학습과 구별되며 상호 보완적임을 확인했다.
  • NCT(에너지 기반) 와 전통적인 고정 윈도우 슬라이싱을 비교한 결과, 고정 윈도우는 예측 가능한 노이즈로 인해 더 높은 사전 학습 마스킹 예측 정확도를 보였으나, NCT 는 하류 작업 정확도가 훨씬 높게 나타났으며 (+9.13% 평균), 이는 정적 노이즈 모델링보다 실제 생리학적 이벤트 모델링이 우수함을 확인했다.

5. 의의 및 주장

본 논문은 단일 학습으로 보편적으로 적용 가능한 EMG 기반 모델의 토대를 마련했다고 주장한다. EMG 를 장치 간 생리학적 언어로 재개념화함으로써, 이 연구는 광범위한 사용자 보정이 필요한 수많은 고립된 커스텀 모델을 구축하는 것에서 벗어나 데이터 효율적이고 신속하게 배포 가능한 기반 모델로 분야를 전환한다.

저자들은 그들의 접근법이 이질적인 하드웨어와 다양한 피험자 간의 간극을 성공적으로 메우며, 개인적 차이를 초월하는 "보편적 근전도 언어"를 학습했다고 주장한다. 이는 개별화 모델링에서 범용 사전 학습으로의 패러다임 전환을 의미하며, 최소한의 사용자별 데이터로 직관적인 인간 - 컴퓨터 상호작용과 고급 의수 제어를 가능하게 할 잠재력을 지닌다.