DeepGaitLab: Accurate and Flexible Markerless Motion Tracking Powered by Synthetic Data

문제 정의
확장 가능하고 정확한 인간 동작 추적은 보행 병리 진단을 현대화하고, 스포츠 성과를 최적화하며, 움직임 연구를 발전시키는 데 필수적입니다. 전통적인 마커 기반 모션 캡처 시스템은 높은 정확도를 제공하지만, 전용 인프라, 전문 인력 및 시간이 많이 소요되는 캘리브레이션에 의존하기 때문에 연구실로 사용이 제한됩니다. 마커리스(markerless) 대안은 확장성을 위한 경로를 제시하지만, 현재 정확도와 유연성 사이의 절충안 문제에 직면해 있습니다. 단일 뷰(single-view) 방식은 접근성이 높지만 깊이 모호성과 폐쇄(occlusion) 문제로 인해 임상적 효용성이 제한됩니다. 기존의 멀티뷰 마커리스 시스템은 추가 카메라를 통해 정확도를 개선하지 못하거나(예: OpenCap), 자원이 제한된 환경에서의 배포를 저해하는 밀집된 카메라 배열과 독점 소프트웨어를 요구합니다(예: Theia3D). 또한, 많은 현재 도구들은 건강한 인구 집단의 데이터로 학습되는 경우가 많아, 운동 능력에 제한이 있는 개인에 대한 일반화 능력이 부족합니다.

방법론
저자들은 별도의 카메라 간 공간 캘리브레이션 없이도 유연한 카메라 구성(2대에서 10대까지)을 통해 정확한 3D 운동학을 제공하도록 설계된 오픈 소스 프레임워크인 DeepGaitLab을 제시합니다. 이 시스템은 다음과 같은 3단계 워크플로우를 통해 작동합니다:

1. 2D 조밀한 랜드마크 검출(2D Dense Landmark Detection): 희소한 관절 중심점을 검출하는 표준 컴퓨터 비전 방식과 달리, DeepGaleLab은 고밀도의 표면 랜드마크(57개의 해부학적 지점)를 추정합니다. 이는 트랜스포머 기반 네트워크를 통해 달성됩니다. 다중 뷰 레이블 데이터의 부족을 극복하기 위해, 모델은 BEDLAM 데이터셋에서 파생된 대규모 합성 데이터로 학습됩니다. 이 데이터셋은 271개의 실제 인체(AMOSS 데이터셋 활용)가 게임 엔진 내에서 사실적인 텍스처와 다양한 의상을 입고 수행하는 9.3시간의 움직임을 활용합니다. 네트워크는 전이 학습 전략을 채택하여, 실제 이미지로 사전 학습된 희소 키포인트 검출기(ViTPose)의 가중치로 인코더를 초기화한 후, 일반화를 보장하기 위해 합성 데이터로 미세 조정(fine-tuning)합니다.
2. 3D 삼각측량 및 캘리브레이션(3D Triangulation and Calibration): 시스템은 물리적 체커보드 캘리브레이션을 사용하는 동기화된 비디오 워크플로우와 자동 캘리브레이션 모드의 두 가지 워크플로우를 지원합니다. 후자는 피험자를 동적 캘리브레이션 객체로 취급하여, 여러 뷰에서 검출된 조밀한 해부학적 랜드마크를 사용하여 번들 조정(bundle adjustment)을 통해 카메라 외부 파라미터를 추정함으로써 물리적 캘리브레이션 타겟의 필요성을 제거합니다.
3. 생체역학적 시뮬레이션(Biomechanical Simulation): 삼각측량된 3D 가상 마커는 OpenSim을 통해 처리됩니다. 시스템은 일반적인 근골격 모델을 피험자의 인체 계측에 맞게 스케일링하고 역운동학(inverse kinematics) 및 역역학(inverse dynamics, 관절 모멘트)을 계산합니다.

핵심 기능은 **환경 특화 미세 조정(environment-specific fine-tuning)**입니다. 프레임워크는 특정 실험실의 카메라 기하 구조와 배경에 맞춘 합성 학습 데이터를 생성할 수 있어, 새로운 수동 주석 없이도 특정 사이트에 맞춰 모델을 미세 조정할 수 있습니다.

주요 기여

• 합성 데이터 기반 학습: 대규모 합성 데이터를 활용함으로써, DeepGaleLab은 실세계 다중 뷰 데이터셋의 노동 집약적인 주석 작업을 피하면서도 높은 정확도와 일반화 능력을 달est합니다.
• 조밀한 랜드마크 표현: 희소한 관절 중심점에서 조밀한 표면 랜드마크로의 전환은 세그먼트 방향을 더 정확하게 해결할 수 있는 기하학적 제약을 제공하여, 희소 키포인트 방식의 모호성을 해결합니다.
• 유연하고 캘리브레이션이 필요 없는 운영: 프레임워크는 최소 2대의 카메라로 효과적으로 작동하며, 시간이 많이 걸리는 수동 캘리브레이션의 장벽을 제거하는 자동 캘리브레이션 기능을 포함합니다.
• 병리적 상태에 대한 강건성: 시스템은 운동 능력에 제한이 있는 집단을 포함한 다양한 인구 집단에 대해 일관된 정확도를 유지하며, 다른 도구들이 성능이 저하되는 상황에서도 이를 유지합니다.

결과
저자들은 80명의 개인(건강한 성인, 전방 십자 인대 재건술(ACLR) 회복 환자, 뇌졸중 생존자, 경도 인지 장애(MCI) 환자 4개 그룹)을 대상으로 DeepGaleLab을 평가했습니다.

• 최신 기술과의 정확도 비교: 건강한 성인 그룹에서 DeepGaleLab은 OpenCap과 Theia3D를 지속적으로 능가했습니다. 2대 카메라 설정에서, DeepGaleLab은 마커 기반 참조 모델과 비교했을 때 OpenCap(5.9°)보다 현저히 낮은 제곱평균제곱근 편차(RMSD)를 보였습니다(4.2°).
• 카메라 수에 따른 확장성: 카메라 수가 2대에서 10대로 증가할 때 정확도가 정체되는 OpenCap과 달리, DeepGaleLab은 카메라 밀도가 증가함에 따라 단조로운 정확도 향상을 보여주었습니다.
• 병리에 대한 일반화: DeepGaleLab은 ACLR 환자에게서도 일관된 성능을 유지하며, 건강한 그룹과 장애가 있는 그룹 간의 정확도 차이가 유의미하게 나타나지 않았습니다. 반면, OpenCap과 Theia3D는 ACLR 그룹에서 유의미하게 높은 오차를 보였습니다. DeepGaleLab은 다른 도구들이 놓친 고관절 굴곡/신전 및 내전/외전의 임상적으로 유의미한 양측 하지 비대칭을 성공적으로 검출했습니다.
• 시공간적 지표: MCI 및 뇌졸중 환자에서 DeepG씨는 8대의 카메라를 사용한 Theia3D와 대등한 수준의 보폭 비대칭 일치도를 단 2대의 카메라만으로 달성했습니다.
• 역역학: DeepGaleLab은 2대 카메라 설정에서 특히 비사래티(non-sagittal) 움직임 동안 OpenCap에 비해 관절 모멘트 추정에서 더 낮은 상대적 RMSD를 나타냈습니다.
• 기능 검증: 자동 캘리브레이션 기능은 수동 체커보드 캘리브레이션과 대등한 성능을 달성했습니다. 환경 특화 미세 조정은 지면 보행 과제, 특히 무릎 및 발목 운동학에서 미미하지만 통계적으로 유의미한 개선을 제공했습니다.

의의
본 논문은 DeepGaleLab을 연구급 생체역학 분석과 임상 적용 사이의 간극을 메우는 실용적이고 확장 가능한 플랫폼으로 자리매김합니다. 소비자용 RGB 카메라와 합성 감독(synthetic supervision)을 통해 연구 품질의 동작 분석을 달성할 수 있음을 입증함으로써, 이 프레임워크는 정량적 보행 분석에 대한 접근성을 민주화합니다. 저자들은 마커 기반 시스템이 오랫동안 "골드 스탠다드" 역할을 해왔지만, 비전 기반 방법이 이러한 한계에 접근하거나 잠재적으로 능가할 수 있음(새로운 고정밀 참조 모델인 바이플레인 방사선 촬영법이 도입될 경우)을 보여주며, 이는 임상 평가 지표를 재정의할 수 있다고 제안합니다. DeepGaleLab은 투명한 오픈 소스 대안을 제공하여, 정확도, 확장성 또는 유연성의 트레이드오프 없이 클리닉과 실험실에서 더 넓은 채택을 가능하게 합니다.