기술 요약: BioHuman – 비디오로부터 생체역학적 인간 표현 학습

1. 문제 제기

비디오를 통한 인간 운동 이해는 전통적으로 표면 운동학 (예: SMPL 을 통한 관절 위치와 신체 형태) 에 초점을 맞추어 왔으며, 이는 인간이 어떻게 움직이는지를 설명하지만, 근본적인 생리학적 메커니즘 측면에서 인간이 왜 그렇게 움직이는지를 설명하지는 못합니다. 비디오로부터 생체역학적 이해를 발전시키는 데 있어 주요한 장벽은 시각적 관찰, 인간 운동, 그리고 내부 생체역학적 상태 (특히 근육 활성화) 를 동시에 제공하는 대규모 데이터셋의 부재입니다. 기존 데이터셋은 이러한 모달리티 간에 종종 불완전하며, 동기화된 비디오, 모션 캡처, 그리고 근전도 (EMG) 를 갖춘 실제 세계 데이터를 수집하는 것은 비용이 과도하게 많이 들고 희소합니다.

또한, 현재의 계산적 접근법은 일반적으로 해리된 2 단계 파이프라인을 사용합니다. 먼저 비디오로부터 운동학적 운동을 재구성한 후, 생체역학적 시뮬레이션 또는 신경 근사화를 통해 근육 활성화를 별도로 추정하는 방식입니다. 이러한 분리는 운동 재구성 오류가 필연적으로 하류 생체역학적 추론으로 전파되며, 두 과정이 근골격계 시스템에 의해 본질적으로 결합되어 있기 때문에 최적이지 않습니다.

2. 방법론

2.1 BioHuman10M: 대규모 생체역학 데이터셋

데이터 부족 문제를 해결하기 위해 저자들은 실제 세계의 시각적 운동을 물리 기반 근골격 상태와 정렬시킨 1000 만 개의 짝을 이루는 프레임을 포함하는 BioHuman10M 데이터셋을 소개합니다.

• 데이터 소스: 이 데이터셋은 MotionPRO, EMDB, 3DPW, Human3.6M, BEDLAM 등 기존 모션 캡처 데이터셋 5 개에서 시퀀스를 집계합니다.
• 시뮬레이션 프레임워크 (BioSim): 대부분의 소스에서 실제 근육 활성화 데이터가 구할 수 없으므로, 저자들은 이를 생성하기 위해 BioSim이라는 시뮬레이션 파이프라인을 개발했습니다.
  1. SMPL 에서 OpenSim 으로: SMPL 운동 시퀀스는 112 개의 근육을 가진 커스텀 전신 근골격 모델 (ULBS-112) 을 사용하여 OpenSim 호환 운동학으로 변환됩니다.
  2. 역운동학 (IK): 마커 궤적이 SMPL 에서 추출되어 ULBS-112 모델을 스케일링하고 IK 를 수행하여 관절 각도 궤적을 복원합니다.
  3. 지면 반력 (GRF): SMPL 데이터에 GRF 가 포함되어 있지 않으므로, 관절 운동학과 추정된 신체 매개변수를 기반으로 GaitDynamic을 사용하여 합성됩니다.
  4. 근육 활성화 추정: 역동역학 (ID) 을 사용하여 관절 모멘트를 계산하고, 정적 최적화 (SO) 를 통해 근육 중복성을 해결함으로써, 동적 제약 조건 하에서 노력 비용 함수 ($\sum a_i^p$) 를 최소화하여 근육 활성화 ($a_i(t)$) 를 추정합니다.
  5. 후처리: 신뢰할 수 없는 시퀀스는 필터링되고, 일관된 활성화 역학을 보장하기 위해 시간적 평활화가 적용됩니다.

2.2 BioHuman: 엔드 - 투 - 엔드 프레임워크

저자들은 단일 카메라 비디오로부터 인간 운동 (SMPL 포즈) 과 근육 활성화를 직접 예측하는 통합된 엔드 - 투 - 엔드 프레임워크인 BioHuman을 제안하며, 해리된 파이프라인을 우회합니다.

• 아키텍처:
  • 프론트엔드 인코더: 각 프레임에 대한 초기 SMPL 포즈 추정치와 이미지 조건부 HMR 특징을 추출하기 위해 PromptHMR(동결된 이미지 인코더) 을 활용합니다.
  • 시각 - 운동학 인터페이스: 원시 포즈와 시각적 특징은 시간적 포즈 토큰과 시각적 토큰으로 인코딩됩니다. 학습된 게이팅 메커니즘이 시각적 증거를 포즈 스트림에 주입하여, 운동학 데이터가 모호할 때 모델이 이미지 단서 (예: 가림 처리, 방향) 를 활용할 수 있도록 합니다.
  • 운동 - 시각 시간적 Transformer: 포즈 토큰과 시각적 토큰이 번갈아 나타나는 인터리브된 토큰 시퀀스가 Transformer 디코더에 의해 처리됩니다. 이 구조는 모델이 장기 시간적 의존성과 교차 모달 상호작용에 대해 추론할 수 있게 하여, 근육 활성화가 순간적인 포즈뿐만 아니라 위상, 속도, 접촉에 의존한다는 사실을 포착합니다.
  • 디코딩 헤드: 융합된 상태는 두 개의 헤드에 의해 디코딩됩니다.
    1. 포즈 헤드: 초기 SMPL 포즈에 대한 잔차 보정을 예측합니다.
    2. 근육 헤드: 112 차원 근육 활성화 벡터를 예측합니다.
• 훈련 목적: 모델은 포즈 정확도, 근육 활성화 정확도, 시간적 차이 매칭, 활성화 상관관계, 그리고 진폭 보정을 결합한 다중 작업 감독으로 훈련됩니다.

3. 주요 기여

1. BioHuman10M 데이터셋: 기존 모션 캡처 데이터를 보강하는 새로운 시뮬레이션 파이프라인 (BioSim) 을 통해 구축된, 비전, 운동, 전신 근육 활성화를 연결하는 대규모 (1000 만 프레임) 데이터셋의 도입.
2. BioHuman 프레임워크: 단일 카메라 비디오로부터 인간 운동과 근육 활성화를 결합하여 모델링하는 엔드 - 투 - 엔드 신경 아키텍처로, 이를 순차적 작업이 아닌 결합된 표현 학습 문제로 취급합니다.
3. 실증적 검증: 결합 모델링이 생체역학적 예측과 운동학적 재구성 모두에서 2 단계 베이스라인을 크게 능가함을 보여주는 광범위한 실험.

4. 실험 결과

저자들은 BioHuman10M 테스트 프로토콜에서 BioHuman 을 평가하여, 강력한 2 단계 베이스라인 (PromptHMR + MinT) 과 기존 단일 카메라 HMR 방법들과 비교했습니다.

• 근육 활성화 예측: BioHuman 은 피어슨 상관계수 (PCC) 0.71을 달성하여 2 단계 베이스라인 (PCC 0.42) 을 크게 능가합니다. 또한 더 낮은 RMSE(0.065 대 0.071) 를 보이며, 활성 근육 발화 (Active MAE 0.10 대 0.12) 에서도 더 나은 성능을 보입니다.
• 운동 추정: 결합 훈련이 운동학적 정확도를 저하시킬 것이라는 우려와 달리, BioHuman 은 포즈 추정을 개선합니다. RMSEPose 0.30 rad와 PA-MPJPE 35.21 mm를 달성하여 PromptHMR(0.53 rad, 40.89 mm) 과 같은 최첨단 HMR 베이스라인을 능가합니다.
• 절대 실험 (Ablation Study): 엔드 - 투 - 엔드 시각 - 운동학 결합을 제거하고 (고정된 HMR 포즈를 사용하는 2 단계 캐스케이드 사용), PCC 가 0.71 에서 0.58 로 하락하여 결합 최적화의 이점을 확인했습니다.

5. 의의 및 주장

본 논문은 BioHuman 이 비디오 기반 생체역학 이해를 위한 새로운 벤치마크를 확립한다고 주장합니다. 표면 운동학을 넘어 내부 근골격 상태를 추론함으로써, 이 연구는 재활, 스포츠 분석, 보조 기술 (예: 외골격) 분야의 응용에 새로운 가능성을 엽니다.

저자들은 그들의 접근 방식이 시각적 관찰과 생리학적 현실 사이의 간극을 메운다고 강조합니다. 데이터셋이 시뮬레이션 기반이며 현재 발 - 지면 상호작용에 국한되어 있고 (목의 자유도와 손 - 물체 상호작용이 결여됨) 하지만, 생체역학적으로 근거된 인간 표현을 학습하기 위한 확장 가능한 기반을 제공한다고 지적합니다. 향후 작업은 이러한 예측을 실제 EMG 데이터와 비교 검증하고, 더 해부학적으로 정밀한 신체 모델 (예: OSSO) 을 통합할 계획입니다.