Improving 3D Foot Motion Reconstruction in Markerless Monocular Human Motion Capture

이 논문은 부정확한 주석과 제한된 데이터로 인해 기존 방법들이 한계를 보였던 발의 정밀한 3D 모션 재구성을 위해, 2D 발 키포인트를 3D 로 승격시키고 무릎 및 발 모션 맥락을 활용하는 'FootMR'과 복잡한 발 움직임을 평가할 수 있는 새로운 데이터셋 'MOOF'를 제안하여 기존 최첨단 방법보다 발 관절 각도 오차를 최대 30% 까지 줄이는 성과를 거두었다고 요약할 수 있습니다.

핵심

1. 문제: "발에 대한 지도가 엉망이었어요" 🗺️🦶

지금까지의 3D 동작 인식 기술들은 유튜브 같은 일반 영상 (와일드 카드) 을 학습했습니다. 하지만 문제는 이 영상들의 정답 (Ground Truth) 이 발 부분에서 엉망이라는 점입니다.

• 비유: 마치 "사람의 몸은 잘 그린 지도"가 있는데, 발 부분은 그냥 대충 점 하나 찍어둔 지도를 가지고 길을 안내하는 것과 같습니다.
• 현실: 기존 데이터는 발목까지만 표시되어 있어, 발이 어떻게 구부러지고, 발가락이 어떻게 움직이는지 알 수 없었습니다. 그래서 AI 는 발을 움직이는 법을 제대로 배우지 못해, 발이 공중에 떠 있거나 땅에 박히는 어색한 3D 애니메이션을 만들어냈습니다.

2. 해결책: "발만 따로 가르치는 전문 코치 (FootMR)" 🎓👟

저자들은 "발은 몸통과 따로 가르쳐야 한다"는 아이디어를 냈습니다. 이를 FootMR이라고 이름 붙였습니다.

• 이미지 대신 '점'을 본다: 기존 기술은 영상 (이미지) 을 직접 보며 학습했지만, FootMR 은 **이미지 대신 2D 발의 '점'들 (발뒤꿈치, 엄지발가락 등)**만 봅니다.
  • 비유: 그림을 그릴 때, 복잡한 배경이나 옷차림을 다 신경 쓰지 않고, 오직 발의 윤곽선 (점) 만 보고 3D 모양을 상상하는 것입니다. 이렇게 하면 엉망인 3D 지도에 의존할 필요가 없습니다.
• 무거운 모션 캡처 데이터를 활용: FootMR 은 실제 배우들이 특수 장비 (모션 캡처) 를 입고 춤추거나 운동하는 정확한 데이터를 학습합니다.
  • 비유: 발의 움직임을 배우려면, 일반인들이 걷는 영상보다는 발레리나나 운동선수가 정밀하게 움직이는 영상을 보는 게 훨씬 도움이 된다는 뜻입니다.

3. 핵심 기술: "발만 고치는 '수정' 기술" 🛠️

FootMR 은 처음에 대략적인 발 위치를 잡은 뒤, 발만 따로 수정합니다.

• 무릎을 참고하다: 발이 어떻게 움직일지 알기 위해 무릎의 위치를 함께 봅니다.
  • 비유: 발이 어디로 갈지 알기 위해, 무릎이 어느 방향으로 꺾였는지 보면 훨씬 수월합니다. (무릎이 구부러지면 발은 자연스럽게 위로 올라가야 하니까요.)
• 잔여 운동 (Residual Motion) 예측: 처음에 대략적으로 잡은 발 위치에서, 얼마나 더 움직여야 정확한지만 계산합니다.
  • 비유: 이미 대충 그린 그림 위에, 정확한 선만 덧그리는 작업입니다. 처음부터 완벽하게 그리려고 하면 실수하기 쉽지만, 틀린 부분만 고치면 훨씬 정확해집니다.

4. 새로운 시험지: "MOOF (발 운동 전용 데이터)" 📝💃

이 기술을 검증하기 위해 연구진은 MOOF라는 새로운 데이터셋을 만들었습니다.

• 내용: 사람들이 의자에 앉아 발을 돌리거나, 발끝으로 걷거나, 발레와 춤 동작을 하는 영상들입니다.
• 의미: 기존에는 발이 거의 움직이지 않는 일상 영상만 있었지만, 이제 발이 복잡하게 움직이는 상황을 평가할 수 있게 되었습니다.

5. 결과: "발레리나도 인정하는 정밀도" 🩰✨

실험 결과, FootMR 은 기존 최고 기술들보다 발목 각도 오차를 30% 이상 줄였습니다.

• 성공 사례: 발레리나가 발끝으로 서는 극단적인 자세나, 발가락을 구부리는 복잡한 동작도 자연스럽고 정확하게 3D 로 재현했습니다.
• 의의: 이제 게임 캐릭터의 발이 땅에 미끄러지거나, 발가락이 비틀리는 어색한 현상이 사라질 수 있습니다.

---

🌟 한 줄 요약

"발의 움직임을 제대로 그리려면, 엉망인 지도를 버리고 발의 '점'과 '무릎'을 보고, 발레리나의 정확한 동작을 따라 배워야 한다!"

이 기술은 향후 게임, 애니메이션, 가상현실 (VR), 그리고 재활 치료 분야에서 훨씬 더 생생하고 자연스러운 사람의 움직임을 만들어내는 데 큰 역할을 할 것입니다.

기술 요약

1. 문제 정의 (Problem)

• 발 모션 재구성의 부재: 최신 3D 인간 모션 복원 방법 (GVHMR 등) 은 야외 (in-the-wild) 비디오에서 전체 신체 모션은 정확하게 복원하지만, 발의 정밀한 관절 운동 (fine-grained articulations) 을 재구성하는 데 실패합니다. 이는 보행 분석, 애니메이션, AR/VR 등 다양한 응용 분야에서 치명적인 결함입니다.
• 데이터의 한계:
  • 부정확한 주석 (Annotations): 기존 데이터셋의 3D 발 주석은 2D 키포인트에 3D 모델을 피팅 (fitting) 하여 생성된 '가짜 정답 (pseudo-GT)'입니다. 발목 (ankle) 까지만 키포인트가 정의되어 있어 발의 3D 자세가 충분히 제약되지 않아 부정확합니다.
  • 다양성 부족: 기존 비디오 데이터셋은 일상적인 활동 위주라 발의 복잡한 움직임 (댄스, 발레, 스포츠 등) 이 부족하며, 합성 데이터는 신발이 없는 경우가 많아 실제 발 모션을 학습하기 어렵습니다.

2. 방법론 (Methodology: FootMR)

저자들은 이미지 직접 입력을 피하고, **2D 발 키포인트 시퀀스를 3D 로 '리프팅 (lifting)'**하는 새로운 정제 (Refinement) 모듈인 FootMR을 제안합니다.

• 기본 아이디어: 기존 3D 모션 추정 모델 (예: GVHMR) 이 예측한 초기 발목 회전값을 기반으로, 2D 발 키포인트 정보를 활용하여 잔차 (residual) 회전값을 예측하여 보정합니다.
• 입력 데이터:
  • 2D 발 키포인트: 엄지발가락, 새끼발가락, 뒤꿈치, 발목 (총 4 개) 의 시퀀스.
  • 전역 (Global) 관절 회전: 무릎과 초기 발목의 회전값 (SMPL-X 모델에서 추정).
    • 중요: 부모 관절 기준 (parent-relative) 이 아닌 전역 기준 (global) 회전값을 사용하여 발의 극단적인 자세 (extreme poses) 에 대한 일반화 성능을 높였습니다.
• 아키텍처:
  • Transformer 기반: Rotary Position Embedding (RoPE) 을 사용한 Transformer 인코더를 적용하여 시퀀스 의존성을 학습합니다.
  • 잔차 학습: 전체 3D 회전값을 예측하는 것이 아니라, 초기 추정값에 대한 **잔차 (Residual)**를 예측하여 2D-to-3D 매핑의 모호성 (ambiguity) 을 해결하고 노이즈에 강인하게 만듭니다.
• 학습 전략:
  • 이미지 비사용: 직접적인 이미지 입력을 사용하지 않으므로, 부정확한 이미지 -3D 주석 쌍에 의존하지 않습니다.
  • 대규모 모션 캡처 데이터 활용: AMASS 와 같은 대규모 모션 캡처 데이터와 비디오 데이터를 결합하여 2D 키포인트를 합성 (synthesis) 하고 학습합니다.
  • 데이터 증강 (Data Augmentation): 3D 루트 (root) 방향에 무작위 3D 회전을 적용하여 발 모션의 다양성을 극대화하고 일반화 능력을 향상시켰습니다.

3. 주요 기여 (Key Contributions)

1. FootMR 제안: 기존 3D 모션 복원 모델이 예측한 발 모션을 2D 발 키포인트를 활용하여 정제하는 새로운 방법론 제시.
2. 모호성 해결 기법: 무릎과 초기 발목 회전 정보를 컨텍스트로 활용하고 잔차 회전만 예측함으로써 2D-to-3D 리프팅의 모호성을 효과적으로 해결.
3. MOOF 데이터셋 구축: 복잡한 발 움직임 (발목 원 그리기, 발레, 댄스 등) 을 포함하는 새로운 2D 비디오 데이터셋 MOOF를 구축하고 공개함.
4. 성능 입증: 다양한 벤치마크에서 기존 최첨단 방법 (SOTA) 보다 월등히 우수한 발 모션 재구성 성능 달성.

4. 실험 결과 (Results)

• 평가 데이터셋: MOYO (요가, 복잡한 발 자세), RICH (일상 및 스포츠 활동), 새로 구축된 MOOF.
• 성능 지표: 발목 관절 각도 오차 (AJAE), 발 키포인트 오차 (N-MPJPEF), 2D 정렬 오차 (N-FKE2d) 등 발 특화 지표 사용.
• 주요 결과:
  • MOYO: 기존 최상위 시계열 방법 대비 발목 각도 오차 (AJAE) 를 30.6%(37.3° → 25.9°) 감소.
  • MOOF: 2D 발 키포인트 오차 (N-FKE2d) 를 58.1%(1.60 → 0.67) 감소.
  • 일반화: 댄스, 발레, 스포츠 등 기존 데이터셋에서 보지 못한 극단적인 발 자세에서도 정확한 재구성이 가능함을 확인.
  • 비교: CameraHMR 등 다른 방법들은 전체 신체 자세는 좋지만 발 모션에서는 FootMR 보다 훨씬 낮은 성능을 보임.

5. 의의 및 결론 (Significance)

• 데이터 의존성 탈피: 이미지 기반 학습의 한계 (부정확한 발 주석) 를 우회하여, 대규모 모션 캡처 데이터와 2D 키포인트만으로도 고품질 3D 발 모션을 학습할 수 있음을 증명했습니다.
• 응용 가능성: 애니메이션, 게임, 의료 (보행 분석), 스포츠 과학 등 발의 미세한 움직임이 중요한 분야에서 실용적인 기술로 활용 가능.
• 미래 전망: 현재는 발목 관절 위주이지만, SUPR-Foot 와 같은 더 정교한 발 모델로 확장하여 발가락 움직임까지 재구성하는 것이 향후 연구 방향입니다.

요약하자면, FootMR 은 마커 없는 단안 비디오에서 발의 복잡한 3D 모션을 정확하게 복원하기 위해, 부정확한 이미지 주석에 의존하지 않고 2D 키포인트와 대규모 모션 데이터를 결합한 혁신적인 정제 기법을 제시한 연구입니다.