Deep-Learning-Based Markerless Pose Estimation Systems in Gait Analysis: DeepLabCut Custom Training and the Refinement Function

본 연구는 보행 분석에서 DeepLabCut 의 커스텀 학습과 정제 (refinement) 함수 적용이 OpenPose 및 사전 학습된 DeepLabCut 모델보다 정밀도가 높아, 저비용·비제어 환경에서의 최적 마커리스 자세 추정 솔루션임을 입증했습니다.

핵심

1. 배경: 왜 새로운 방법이 필요할까요?

과거에는 사람의 움직임을 분석할 때 몸에 작은 반사경 (마커) 을 붙이고 특수한 카메라로 찍는 방식이 '황금 표준'이었습니다.

• 장점: 매우 정밀함.
• 단점: 비싸고, 전문가가 필요하며, 실험실 같은 통제된 환경에서만 가능함. 마치 고가의 정밀한 수술용 로봇처럼요.

이제 마커 없이 카메라만 찍어서 AI 가 사람의 관절 위치를 알아내는 기술 (마커리스 포즈 추정) 이 나왔습니다. 이는 자유롭게 뛰어놀 수 있는 개처럼 자연스러운 환경에서도 데이터를 얻을 수 있게 해줍니다.

2. 실험: 세 명의 '사냥개'를 비교하다

연구진은 40 명의 건강한 사람이 5 미터 길을 걷는 모습을 찍었습니다. 그리고 이 영상을 분석하는 세 가지 AI 시스템을 비교했습니다.

1. 오픈포즈 (OpenPose, OPPT):

   • 비유: 이미 유명해진 '천재 아이돌'.
   • 설명: 처음부터 수많은 사람 사진으로 훈련되어 세상에 나와 있는 제품입니다. 따로 가르칠 필요가 없으니 바로 쓸 수 있지만, 특정 상황 (이 연구의 걷기) 에는 완벽하지 않을 수 있습니다.

2. 딥랩컷 기본 모델 (DeepLabCut Pre-Trained, DLCPT):

   • 비유: 유명한 학교를 졸업한 '일반 대학생'.
   • 설명: 역시 미리 훈련된 모델이지만, 연구진이 직접 가르치지 않아서 이 특정 임무 (걸음걸이 분석) 에는 조금 서툴 수 있습니다.

3. 딥랩컷 커스텀 모델 (DeepLabCut Custom-Trained, DLCCT):

   • 비유: 연구진이 직접 훈련시킨 '수석 사냥개'.
   • 설명: 연구진이 직접 400 장 정도의 사진에 "여기는 무릎, 여기는 발목"이라고 손으로 표시해 주며 AI 를 훈련시켰습니다. 마치 새끼를 낳아 직접 키우고 훈련시킨 사냥개처럼, 이 특정 임무에 가장 최적화되어 있습니다.

3. 핵심 발견: "수정 (Refinement)"의 마법

이 연구의 가장 큰 하이라이트는 '수정 (Refinement)' 과정입니다.

• 상황: AI 가 처음에 "이건 발목이 아니야!"라고 잘못 추측한 사진들이 있었습니다.
• 해결: 연구진이 이 틀린 사진들만 골라내서 다시 정답을 가르쳐 주고, AI 를 다시 훈련시켰습니다.
• 결과: 마치 실수한 학생을 다시 가르쳐서 시험 점수를 100 점 만점에 가깝게 만든 것과 같습니다.
  • 이 과정을 거친 '수석 사냥개 (DLCCT + 수정)'는 다른 어떤 시스템보다도 정확도가 압도적으로 높았습니다.
  • 심지어 미리 훈련된 '일반 대학생'이나 '천재 아이돌'보다 훨씬 잘했습니다.

4. 결론: 무엇을 배울 수 있을까요?

1. 맞춤형 훈련이 최고입니다:
   일반적인 AI(미리 훈련된 모델) 도 나쁘지 않지만, **자신의 목적에 맞게 직접 가르친 AI(커스텀 모델)**가 훨씬 더 정확합니다. 특히 걷기 분석처럼 구체적인 작업에서는 직접 훈련이 필수적입니다.

2. 실수를 교정하는 것이 중요:
   처음부터 완벽할 필요는 없습니다. AI 가 틀린 부분을 찾아내서 **다시 가르쳐 주는 과정 (수정 기능)**을 거치면, 적은 데이터로도 놀라운 성능을 낼 수 있습니다.

3. 임상적 의미:
   이제 병원에서 비싼 장비 없이, 일반 카메라와 이 AI 기술만으로도 환자의 걸음걸이를 정밀하게 분석할 수 있게 되었습니다. 이는 환자가 편안하게 자연스러운 환경에서 검사를 받을 수 있게 해주는 저비용 고효율의 혁신입니다.

한 줄 요약

"기존의 비싼 장비 대신, 카메라와 AI 를 쓰되, AI 가 실수한 부분을 우리가 직접 가르쳐 주면 (수정), 병원에서도 아주 정밀한 걷기 분석이 가능해진다!"

기술 요약

논문 요약: 딥러닝 기반 마커리스 보행 분석 시스템 (DeepLabCut 커스텀 학습 및 정제 기능)

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 인간 운동 분석의 금표준 (Gold Standard) 은 마커 기반 모션 캡처 시스템이지만, 고비용, 통제된 실험실 환경 필요, 숙련된 운영자 요구, 그리고 피부 부착 마커의 이동으로 인한 오차 (연조직 아티팩트) 등의 한계가 있습니다.
• 대안: 마커리스 포즈 추정 (Markerless Pose Estimation) 기술은 자연스러운 환경에서 비침습적으로 데이터를 수집할 수 있는 대안으로 부상했습니다.
• 연구 필요성: 기존 연구들은 주로 OpenPose(OP) 와 DeepLabCut(DLC) 의 **사전 학습된 모델 (Pre-trained)**만을 비교하거나, 다중 카메라를 사용한 실험실 환경에 국한되었습니다. 단일 2D 카메라 환경에서 DLC 의 커스텀 학습 (Custom-trained) 모델과 **정제 기능 (Refinement function)**이 보행 분석 정확도에 미치는 영향을 체계적으로 비교한 연구는 부족했습니다.

2. 연구 방법론 (Methodology)

• 실험 설계:
  • 대상: 40 명의 건강한 성인 (남성 21 명, 여성 19 명).
  • 환경: 5 미터 길이의 실내 보행로, 중앙에 4 개의 힘 플랫폼 (Force Platforms, 기준 시스템) 설치.
  • 장비: 힘 플랫폼과 동기화된 단일 RGB 카메라 (25 fps, 640x480 해상도) 를 사용하여 측면 보행 영상을 촬영.
• 비교 대상 시스템:
  1. OPPT: OpenPose 의 사전 학습된 모델 (BODY_25).
  2. DLCPT: DeepLabCut 의 사전 학습된 모델 (Model Zoo full_human).
  3. DLCCT (Custom-Trained): DeepLabCut 의 커스텀 학습 모델.
     • 학습 데이터: 40 개의 비디오에서 k-means 클러스터링을 통해 추출한 400 프레임 (16 개의 관절 포인트: 어깨, 팔꿈치, 손목, 엉덩이, 무릎, 발목, 발뒤꿈치, 발가락 등).
     • 학습 과정: ResNet-101 아키텍처 사용, 80 만 회 반복 학습, 데이터 증강 (Data Augmentation) 적용.
     • 데이터셋 변형: 학습 프레임 수를 100, 200, 300 으로 줄인 모델 (DLCCT100, 200, 300) 과, 정제 (Refinement) 과정을 거친 모델 (DLCCT180R, 280R, 380R) 을 비교 분석.
       • 정제 과정: 모델이 오류를 범한 프레임 (아웃라이어) 을 수동으로 수정하여 학습 데이터에 추가하고 재학습.
• 분석 지표:
  • 힘 플랫폼에서 추출한 기준 (Heel Contact, Toe-off) 과 비교하여 보행 시간적 파라미터 (보폭 시간, 보폭 수, 지지기 시간, 두 발 지지 시간) 를 계산.
  • 통계 분석: 피어슨 상관계수 (선형 관계), Bland-Altman 분석 (일치도 및 편차), 절대 오차 (정확도 및 정밀도) 평가.

3. 주요 기여 (Key Contributions)

• 커스텀 학습의 효용성 입증: DLC 의 사전 학습 모델 (DLCPT) 이 OpenPose(OPPT) 보다 성능이 낮았으나, **커스텀 학습 (DLCCT)**을 수행하면 두 시스템 모두를 능가하는 성능을 보임을 처음 입증했습니다.
• 학습 데이터 양과 정제 기능의 중요성 규명:
  • 학습 데이터 양이 증가할수록 오차가 감소함을 확인했습니다.
  • **정제 기능 (Refinement Function)**을 적용한 모델 (예: 380 프레임) 이 더 많은 초기 데이터 (400 프레임) 를 사용한 모델보다도 우수한 성능을 보였습니다. 이는 적은 데이터로도 정제 과정을 통해 모델 성능을 극대화할 수 있음을 시사합니다.
• 임상 적용 가능성 제시: 저비용 단일 카메라 환경에서도 정확한 보행 분석이 가능함을 보여주어, 임상 및 실외 환경에서의 활용 가능성을 높였습니다.

4. 연구 결과 (Results)

• 모델 성능 순위:
  1. 최상위: DLCCT380R (커스텀 학습 + 정제 기능 적용, 380 프레임). 모든 보행 파라미터에서 가장 높은 상관관계, 좁은 Bland-Altman 한계 (LOA), 낮은 절대 오차를 보임.
  2. 중간: OPPT (OpenPose 사전 학습) 및 DLCCT200 이상 (커스텀 학습).
  3. 최하위: DLCPT (DLC 사전 학습) 및 DLCCT100. 특히 DLCPT 는 발뒤꿈치와 발가락 포인트를 정확히 추적하지 못해 지지기 시간 등 특정 파라미터에서 성능이 저하됨.
• 정제 기능의 효과: 정제 기능을 적용한 모델 (R) 은 동일한 수의 초기 데이터로 학습한 모델보다, 그리고 그보다 더 많은 데이터를 사용한 다음 단계의 모델보다도 성능이 우수했습니다. (예: DLCCT180R > DLCCT200)
• 상관관계: DLCCT380R 은 기준 시스템 (힘 플랫폼) 과 가장 강한 선형 상관관계 (>0.7) 를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 함의: 마커리스 보행 분석에서 "어떤 모델 (OpenPose vs DLC)"을 선택하는 것보다 **"어떻게 학습시키는지 (사전 학습 vs 커스텀 학습 + 정제)"**가 정확도에 훨씬 더 결정적인 요소임을 입증했습니다.
• 임상적 가치:
  • 고가의 마커 기반 시스템 없이도, 저비용 카메라와 커스텀 학습된 DLC 를 통해 임상적으로 유의미한 보행 데이터 (지지기 비율, 대칭성 등) 를 얻을 수 있음을 보여줍니다.
  • 휠체어 사용자나 특수한 운동 과제를 가진 환자 등 사전 학습 모델이 부적합한 경우, 커스텀 학습이 필수적임을 강조합니다.
• 실용성: 정제 기능을 활용하면 수동 라벨링 작업을 줄이면서도 높은 정확도의 모델을 구축할 수 있어, 시간과 비용 효율성이 뛰어난 솔루션을 제공합니다.

결론적으로, 이 연구는 DeepLabCut 의 커스텀 학습과 정제 기능을 결합한 접근법이 기존 상용 솔루션 (OpenPose) 및 DLC 사전 학습 모델보다 우월한 마커리스 보행 분석 도구임을 입증했습니다.