🤖 machine learning

Pose-to-Biomechanics: Bridging 3D Human Pose Estimation and Biomechanical Attribute Prediction

이 논문은 표준 스켈레톤으로부터 물리적 운동 속성을 예측함으로써 3D 인간 포즈 추정과 생체 역학적 분석 사이를 연결하는 가볍고 추정기 불가지론적인(estimator-agnostic) 시계열 트랜스포머인 BioModule을 소개하며, 이는 새롭게 정렬된 데이터셋과 7개의 최첨단 포즈 추정기에 걸친 체계적인 평가를 통해 검증되었다.

원저자: Ayda Eghbalian, Kevin Desai

게시일 2026-07-10

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Ayda Eghbalian, Kevin Desai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 사람의 걷는 영상을 보고 즉각적으로 그 위에 졸라맨 형태의 해골(스틱 피겨)을 그려낼 수 있는 아주 똑똑한 로봇 눈을 가지고 있다고 상상해 보세요. 이것이 현대의 "3D 포즈 에스티메이션(3D pose estimation)"이 하는 일입니다. 이는 팔꿈치, 무릎, 골반이 공간의 어디에 위치하는지 파악하는 데 매우 뛰어납니다. 하지만 여기에는 함정이 있습니다. 관절이 '어디에' 있는지 아는 것만으로는 근육이 얼마나 강하게 작동하는지, 발이 지면을 얼마나 세게 치는지, 혹은 그 움직임을 만들기 위해 뇌가 어떤 신호를 보내고 있는지 알 수 없습니다. 이는 자동차 바퀴가 회전하고 있다는 것은 알지만, 연료가 얼마나 들어있는지 또는 브레이크를 얼마나 세게 밟고 있는지는 전혀 모르는 것과 같습니다.

오랫동안 이러한 더 깊은 "생체역학적(biomechanical)" 세부 정보를 얻으려면, 피부에 마커를 붙이고 바닥에는 힘 측정판(force plates)을 설치하며 온갖 전선을 연결한 채 고가의 하이테크 실험실에 사람을 가두어야 했습니다. 이는 비용이 많이 들고 번거로우며, 누군가 공원에서 축구를 하는 동안에는 불가능한 일이었습니다.

여기에 BioModule이 등장합니다. 연구자 Ayda Eghbalian과 Kevin Desai가 제안한 이 새로운 "플러그인" 도구는 마치 마법 같은 번역기처럼 로봇 눈 바로 뒤에 위치합니다. 당신이 로봇 눈이 만든 스틱 피겨 해골을 입력값으로 넣어주면, BioModule은 숨겨진 물리 법칙, 즉 근육의 힘, 관절의 힘, 그리고 신경 신호를 즉각적으로 추측해 냅니다.

마법의 기술: 재구축이 아닌 번역

이 아이디어의 가장 멋진 점은 BioModule이 하지 '않는' 일에 있습니다. 논문은 근육의 힘을 알기 위해 매번 로봇 눈 전체를 다시 만들거나 복잡한 물리 시뮬레이션을 사용할 필요가 없다는 점을 명시적으로 주장합니다. 대신 BioModule은 기존의 어떤 포즈 에스티메이터(pose estimator)에도 달라붙을 수 있는 가벼운 "템포럴 트랜스포머(temporal transformer, 움직임의 시퀀스를 살펴보는 특수한 형태의 AI)"입니다.

이것은 마치 범용 어댑터와 같습니다. 당신의 로봇 눈이 구형 모델이든, 아주 진보된 최신 모델이든 상관없이 BioModule은 그냥 꽂아서 사용할 수 있습니다. BioModule은 대부분의 컴퓨터 비전에서 사용하는 표준적인 17개 관절의 스틱 피겨를 받아 다음과 같은 17가지 생체역학적 속성을 예측합니다:

운동학(Kinematics, 기하학): 관절의 위치, 이동 속도, 그리고 가속 및 감속 정도.
운동역학(Kinetics, 힘): 무릎의 토크(회전력)나 근육이 생성하는 파워, 지면 반력(발이 지면을 미는 힘)과 같이 눈에 보이지 않는 밀고 당기는 힘.
신경근육(Neuromuscular, 뇌-근육 연결): 움직임을 만들어내는 전기적 신호(흥분)와 그로 인한 근육 활성화.

훈련의 장: 거대한 비디오 게임

BioModule이 이 일을 수행하도록 가르치기 위해, 연구자들은 단순히 추측만 한 것이 아닙니다. 그들은 Human3.6Mplus라는 거대한 데이터셋을 구축했습니다. 7명의 사람이 걷기, 앉기, 춤추기 등 30가지의 다양한 활동을 하는 유명한 "Human3.6M" 영상 데이터셋에, 모든 프레임마다 매우 상세한 물리 시뮬레이션을 결합한다고 상상해 보세요.

그들은 OpenSim이라는 시스템을 사용하여 영상 속의 모든 움직임에 대해 근육과 뼈가 실제로 어떻게 움직여야 하는지를 시뮬레이션했습니다. 그런 다음, 영상의 "스틱 피겨" 좌표가 "물리 시뮬레이션" 좌표와 완벽하게 일치하도록 정밀한 탐정 작업을 수행했습니다. 두 세계가 프레임 단위로 완벽하게 일치하도록 모든 것을 골반(hip area)에 고정했습니다. 이를 통해 BioModule이 "관절의 위치"와 "근육의 움직임" 사이의 비밀스러운 지도를 학습할 수 있었습니다.

결과: 작동하지만, 완벽하지는 않다

연구자들은 7가지의 최첨단 포즈 에스티메이터로 생성된 스켈레톤을 BioModule에 입력하여 테스트를 진행했습니다. 그들은 단순히 스켈레톤이 제대로 보이는지만 확인한 것이 아니라, 예측된 근육의 힘이 타당한지를 확인했습니다.

측정 결과는 다음과 같습니다:

"플러그 앤 플레이"의 성공: BioModule은 7가지 서로 다른 포즈 에스티메이터와 모두 잘 작동했습니다. 이는 모든 카메라에 맞춤형 시스템을 만들 필요 없이, 표준적인 스켈레톤만으로도 물리 법칙을 충분히 잘 추측할 수 있음을 입증했습니다.
"쓰레기가 들어가면 쓰레기가 나온다(Garbage In, Garbage Out)"의 현실: 생체역학적 추측의 품질은 원래의 스켈레톤이 얼마나 좋은지에 달려 있었습니다. 만약 포즈 에스티메이터가 무릎 각도에서 작은 오류를 범한다면, 예측된 근육의 힘은 엉뚱한 값으로 튀어버릴 수 있습니다.
다양한 민감도: 연구진은 **평균 절대 오차(MAE)**를 사용하여 오류를 측정했습니다.
- 운동학(Kinematic) 요소(속도, 위치 등)의 경우, 오류가 비교적 작았습니다. 예를 들어, 실제 데이터(ground truth)를 사용할 때 속도 오차는 0.193이었으나, MHFormer 모델을 사용했을 때는 0.403으로 증가했습니다.
- 운동역학(Kinetic) 요소(힘 등)의 경우, 오류가 훨씬 크고 민감했습니다. "지면 반력(GRF)"의 경우, 실제 데이터의 오차는 28.900이었으나, MHFormer를 사용하자 39.000까지 치솟았습니다.
- 신경근육(Neuromuscular) 요소(근육 활성화 등)의 경우에도 상당한 오차가 나타났습니다. 실제 데이터의 활성화 신호 오차는 0.058이었던 반면, MHFormer는 0.189였습니다.

논문은 기하학적 정보(관절의 위치)를 예측하는 것이 가장 쉽지만, 힘과 근육 신호를 예측하는 것은 훨씬 어렵다고 시사합니다. 포즈에서의 작은 실수가 물리 법칙에서의 큰 오차로 이어질 수 있기 때문입니다.

이것이 '아닌' 것들

이 논문이 주장하지 않는 바를 명확히 하는 것이 중요합니다.

아직 "실제 환경(in-the-wild)" 영상을 위한 마법의 해결책이 아닙니다. 논문은 자신들의 결과가 조명이 완벽하고 카메라가 크게 움직이지 않는 통제된 실험실 영상(Human3.6M)에 기반하고 있음을 명시적으로 밝히고 있습니다. 가려짐(occlusion), 이상한 옷차로, 흔들리는 카메라 등이 존재하는 실제 세상의 영상에 적용하는 것은 여전히 향후의 과제라고 인정했습니다.
물리 시뮬레이션을 완전히 대체하는 것이 아닙니다. BioModule은 시뮬레이션의 결과를 '예측'하는 법을 배우는 것이지, 시뮬레이션 그 자체는 아닙니다. 저자들은 예측의 정확도가 훈련에 사용된 기초 시뮬레이션 데이터의 품질에 따라 제한될 수 있다고 언급했습니다.
"해결된 문제"가 아닙니다. 저자들은 이를 "베이스라인(baseline)"이자 "가교(bridge)"라고 설명합니다. 즉, 특정 조건에서는 잘 작동하지만, 복잡하고 무질서한 실제 환경을 다루기 위해서는 더 많은 연구가 필요하다는 것입니다.

요약

BioModule은 카메라에 끼울 수 있는 새로운 렌즈와 같습니다. 컴퓨터가 이미 잘 만들어내는 단순한 "스틱 피겨"를 가져와서, 그 위에 "물리적 의미"라는 층을 덧입힙니다. 이는 우리가 일반적인 영상만 보고도 사람이 어떻게 움직이는지, 근육이 얼마나 열심히 일하는지, 관절에 가해지는 부하가 어느 정도인지를 분석할 수 있는 시대가 올 것임을 시사합니다.

하지만 논문은 이것이 시작일 뿐이라고 신중하게 말합니다. 현재 이 시스템은 입력 영상이 깨끗하고 포즈 에스티메이터가 정확할 때 가장 잘 작동하는 "플러그인" 단계입니다. 스포츠 코치부터 물리 치료사에 이르기까지 모두가 생체역학을 쉽게 접할 수 있게 만드는 유망한 단계이지만, 아직 하이테크 실험실을 완전히 대체할 준비는 되지 않았습니다. "무릎이 어디인가?"에서 "무릎이 얼마만큼의 힘을 받는가?"로 가는 길은 이제 조금 더 짧아졌지만, 그 길은 여전히 건설 중입니다.

기술 요약: BioModule – 3D 인간 포즈 추정과 생체역학적 속성 예측 간의 가교 역할

문제 정의

최근 3D 인간 포즈 추정의 발전은 마커리스 골격 모션 복구의 정확도를 크게 향상시켰다. 그러나 기하학적 포즈 추정(MPJPE와 같은 키포인트 정확도 지표에 최적화됨)과 재활, 스포츠 과학 및 임상 평가를 위해 물리적으로 유의미한 동작 분석에 필요한 생체역학적 양 사이에는 여전히 결정적인 격차가 존재한다. 전통적인 생체역학 분석은 마커 기반 모션 캡처, 힘 판(force plates), 근전도 검사를 포함하는 고가의 제약된 실험실 환경에 의존한다. 최근의 마커리스 파이프라인(예: OpenCap, BioPose)들이 이 격차를 메우려 시도하고 있으나, 이들은 종종 멀티뷰 캘리브레이션, 피험자별 최적화 또는 전신 메쉬 재구성을 요구하며, 이는 확장성과 표준 단일 뷰 포즈 추정기와의 호환성을 제한한다. 또한, 기존의 신체 모델들은 해부학적 사실성에 초점을 맞추고 있지만, 추가적인 장비 없이 표준 17-관절 3D 스켈레톤 출력을 포괄적인 생체역학적 상태 공간(토크, 힘, 근육 활성화)으로 변환하는 일반적인 메커니즘을 제공하지 못한다.

방법론

BioModule 아키텍처

저자들은 기존의 3D 포즈 추정기 하단에 부착할 수 있는 경량 플러그인 템포럴 트랜스포머인 BioModule을 제안한다. 이 모델은 상위 모델을 수정하지 않고 작동하며, 루트 중심(root-centered)의 3D 관절 위치 시퀀스를 입력으로 받는다.

입입력: 17개 관절의 3D 스켈레톤(Human3.6M 컨벤션)을 포함하는 $W=81$ 프레임(50 fps 기준 약 1.62초)의 시퀀스로, 전역 이동을 제거하기 위해 골반을 중심으로 중심화되어 있다.
인코더: 모델은 4개의 레이어, 프리 레이어 정규화(pre-layer normalization), 8개의 어텐션 헤드를 갖춘 템포럴 트랜스포머 인코더를 채택한다. 고정된 사인형 위치 인코딩(sinusoidal positional encodings)과 양방향 어텐션을 사용하여 전체 윈도우에 걸친 시간적 의존성을 모델링한다.
예측 헤드: 인코딩된 잠재 표현(latent representation)은 17개의 독립적인 다층 퍼셉트론(MLP) 헤드로 전달된다. 이 헤드들은 세 가지 단계의 생체역학적 속성을 예측한다:
1. 운동학적(Kinematic): 좌표, 속도, 가속도 (Human3.6M 관절을 OpenSim 일반화 마커 좌표로 매핑).
2. 운동역학적(Kinetic): 능동/수동/이상적 토크, 순시 동력, 지면/좌석 반력, 그리고 이진 발 접촉(binary foot contact).
3. 신경근적(Neuromuscular): 활성화 신호, 흥분 신호, 정규화된 능동 토크, 각도/속도 스케일링, 그리고 최대 관절 토크.
손실 함수: 서로 다른 물리적 의미와 차원을 가진 속성들의 예측 균형을 맞추기 위해 계층적 가중치 멀티태스크 손실(tiered weighted multi-task loss)이 사용된다. 운동학적 속성에 가장 높은 가중치(1.0)를 부여하며, 운동역학적(0.5), 신경근적(0.3) 속성이 그 뒤를 잇는다.

데이터셋 및 정렬

BioModule을 훈련하고 평가하기 위해, 저자들은 표준 Human3.6M 비디오 및 3D 키포인트를 OpenSim에서 유도된 근골격계 시뮬레이션 라벨과 정렬시킨 대규모 데이터셋인 Human3.6Mplus를 구축하였다.

정렬 전략: Human3.6M(카메라-월드 프레임)과 OpenSim(바디-프레임)은 서로 다른 좌표계를 사용하므로, 저자들은 캘리브레이션 행렬을 사용하여 두 데이터셋을 동일한 4개의 카메라 이미지 평면에 투영함으로써 해부학적 대응 관계를 확립하였다. 이 정렬은 공유된 골반 루트에 앵커링되며, 2D 키포인트에 대해서는 서브 픽셀 정확도(< 0.28 px), 골반 마커에 대해서는 머신 정밀도(machine precision)로 검증되었다.
데이터 분할: 데이터셋은 30가지 활동을 수행하는 7명의 피험자를 포함한다. S1, S5, S6, S7, S8은 훈련 세트를 구성하며, S9와 S11은 테스트를 위해 분리되었다.

평가 프로토콜

저자들은 7개의 최첨단 3D 포즈 추정기(VideoPose3D, MHFormer, D3DP, PoseMamba, MotionAGFormer, KTPFormer, TCPFormer)를 대상으로 체계적인 벤치마크를 수행하였다.

가중치 고정(Frozen Weights): BioModule을 그라운드 트루스 포즈로 훈련시킨 후, 추가적인 가중치 업데이트 없이 7개 추정기의 출력값에 대해 평가하였다.
미세 조정(Fine-Tuning): 별도의 BioModule 체크포인트를 훈련 대상 피험자의 예측된 포즈를 사용하여 각 추정기에 대해 미세 조정하였다.

주요 기여

BioModule: 표준 3D 포즈 출력으로부터 17가지 생체역학적 기준(운동학, 운동역학, 신경근)을 예측하는 플러그인 템포럴 트랜스포머로, 아키텍처 변경 없이 기존 포즈 추정기를 물리적으로 해석 가능한 동작 분석으로 확장할 수 있게 한다.
정렬된 포즈 및 생체역학 데이터셋: Human3.6M 비디오/스켈레톤을 프레임 단위로 정확한 감독(supervision)을 위한 기하학적 검증을 포함한 전체 근골격계 시뮬레이션 라벨과 쌍을 이루는 Human3.6Mplus를 큐레이션하였다.
교차 추정기 생체역학 벤치마크: 상위 포즈 추정 아키텍처와 정확도가 다운스트림 생체역학 예측 충실도에 어떻게 전파되는지에 대한 최초의 정량적 분석을 제공한다.

결과

정량적 결과

오차 전파: 생체역학적 예측 품질은 입력 포즈 시퀀스의 해부학적 타당성과 시간적 일관성에 강하게 의존한다. 운동학적 속성(좌표, 속도)은 다양한 추정기 사이에서 비교적 안정적이지만, 운동역학적 및 신경근적 양(토크, 근육 활성화)은 관절 각도와 시간적 협응의 미세한 오류에 매우 민감하다.
추정기 성능: 연구 결과, 높은 기하학적 정확도(낮은 MPJPE)가 반드시 높은 생체역학적 충실도를 보장하는 것은 아니다. 일부 추정기는 기하학적 지표에는 미미한 영향을 주지만 토크 및 근육 활성화 예측을 크게 저하시키는 오류(예: 일관되지 않은 무릎 굴곡 또는 불안정한 고관절 방향)를 유발한다.
미세 조정의 이점: 특정 추정기 출력에 대해 BioModule을 미세 조정하면 모든 단계에서 오차가 유의미하게 감소하여 예측값이 그라운드 트루스 상한선에 가까워졌다. 예를 들어, 미세 조정된 모델은 능동 토크 및 근육 활성화 신호에 대해 그라운드 트루스 베이스라인과 유사한 평균 절대 오차(MAE)를 달 Achieved 했으나, 고정된 모델은 더 큰 편차를 보였다.
접촉 예측: 이진 발 접촉(foot contact) 예측 정확도는 미세 조정된 모델이 ~67-68%의 정확도를 달성한 반-면 고정된 모델은 ~41-43%를 기록하여, 불완전한 스켈레톤으로부터 접촉을 추론하는 것이 어렵다는 점을 보여주었다.

정성적 결과

걷기 시퀀스의 시각화를 통해 BioModule이 생체역학적으로 유의미한 구조를 드러낼 수 있음을 입증하였다. 국소적인 골격 왜곡을 가진 모델들은 특히 하지(고관절, 무릎, 발목)에서 부자연스러운 토크 집중이나 변화된 활성화 패턴을 생성했다. 이러한 시각화는 다운스트림 생체역학 맵이 특정 유형의 포즈 오류를 증폭시켜, 기하학적 오차 지표로는 보이지 않는 방식으로 이를 가시화한다는 점을 확인시켜 주었다.

의의 및 주장

본 논문은 BioModule을 컴팩트하고 모듈화된 가교로서, 비전 기반 포즈 추정과 생체역학적으로 유의미한 인간 동작 분석 사이의 역할을 수행한다. 주요 의의는 다음과 같다:

추정과 분석의 분리: 연구자들이 기존의 포즈 추정기를 재학습시키거나 복잡한 역역학(inverse dynamics) 파이프라인을 구축하지 않고도 생체역학적 충실도를 평가할 수 있게 한다.
비디오-투-생체역학의 실현 가능성: 통제된 조건 하에서 표준 17-관절 3D 포즈 시퀀스로부터 생체역학적 속성(토크, 힘, 활성화)을 직접 학습할 수 있음을 보여주며, 추론 시 전체 근골격계 시뮬레이션이 필요하지 않음을 입증한다.
진단 도구: 포즈 추정기를 평가하는 새로운 지표를 제공하여, 초점을 "관절이 어디에 있는가"에서 "신체가 어떻게 움직이고 부하를 받는가"로 전환하며, 이는 임상 및 스포츠 응용 분야에서 매우 중요하다.

저자들은 현재의 작업이 (Human3.6M과 같은) 통제된 환경을 위한 베이스라인임을 인정하며, 향후 폐쇄(occlusion), 의류 변화, 복잡한 야외 활동과 같은 실제 세계의 과제를 해결하기 위한 추가 연구가 필요함을 명시하며 신중한 입장을 유지한다. 이들은 BioModule이 생체역학적 추정이 항상 포즈 추정의 다운스트림이어야 한다는 주장이 아니라, 이러한 모듈식 접근 방식이 현재의 격차를 효과적으로 메울 수 있다는 것을 보여주는 연구 설계의 선택임을 강조한다.