CPU Optimization of a Monocular 3D Biomechanics Pipeline for Low-Resource Deployment

1. 문제 정의 (Problem Statement)

• 배경: 단안 (Monocular) 비디오를 이용한 마커 없는 3D 움직임 분석은 임상 및 스포츠 환경에서 접근성 있는 생체역학 평가를 가능하게 합니다.
• 현황: 대부분의 연구 수준의 파이프라인은 고성능 GPU 가속이나 클라우드 컴퓨팅 자원에 의존하고 있습니다.
• 한계: 이러한 GPU 의존성은 소비자급 하드웨어나 리소스가 제한된 환경 (예: 원격 재활, 현장 스포츠 평가, 저소득 의료 환경) 에서의 실제 배포를 어렵게 만드는 장벽이 됩니다.
• 목표: 연구 수준의 정확도를 유지하면서, GPU 없이 CPU 만으로 효율적으로 실행될 수 있도록 단안 3D 생체역학 파이프라인을 최적화하는 것입니다.

2. 방법론 (Methodology)

연구팀은 기존 MonocularBiomechanics 프레임워크를 기반으로 하되, 예측 모델 자체를 변경하지 않고 시스템 레벨의 병목 현상을 제거하는 최적화 전략을 수립했습니다.

2.1. 병목 현상 식별 (Profiling)

프로파일링을 통해 세 가지 주요 병목 요인을 발견했습니다.

1. 초기화 지연 (Initialization Latency): TensorFlow Hub 에서 동적으로 포즈 모델을 로드하여 시작 지연과 네트워크 의존성이 발생함.
2. 디스크 I/O 직렬화 (Disk I/O Serialization): 중간 상태 (바운딩 박스, 키포인트) 를 .npz 파일로 디스크에 저장했다가 즉시 다시 로드하는 불필요한 I/O 오버헤드 발생.
3. 순차적 최적화 (Sequential Optimization): CPU 만 사용 시 물리 기반 옵티마이저의 높은 반복 횟수 (iteration limit) 로 인해 추론 속도가 느려짐.

2.2. 최적화 전략 (Optimization Strategies)

1. 추론 그래프 최적화:
   • KineticsWrapper 내의 피팅 루프에서 물리 솔버의 max_iters 허용 오차를 줄여 최적화 검색 공간을 축소했습니다.
   • 시간적으로 인접한 포즈가 강력한 연속성 정규화자 (continuity regularizer) 역할을 하므로, 정확도를 유지하면서 프레임당 실행 시간을 단축했습니다.
2. CPU 병렬화 (CPU Parallelization):
   • GPU 가속 부재를 보상하기 위해 JAX/TensorFlow 백엔드를 멀티스레드 CPU 실행 환경으로 구성 (JAX PLATFORM NAME="cpu") 했습니다.
   • MonocularDataset 로더의 sample length 파라미터를 사용하여 시퀀스 배치 (sequence batching) 를 도입, 16 스레드 CPU 아키텍처에서 비디오 프레임의 로컬 배치를 동시 처리하도록 했습니다.
3. 모델 단순화 및 정밀도 조정:
   • 단일 구조의 포즈 추정 프레임워크를 범용 바운딩 박스 탐지기 및 지역화된 크롭 기반 포즈 추정기로 분리했습니다.
   • 백본 모델을 컴파일된 ONNX 형식으로 내보내어, 무거운 단일 초기화 그래프를 피하고 추론 처리량을 향상시켰습니다.
4. 파이프라인 리팩토링 및 I/O 제거:
   • 파일 기반 직렬화를 제거하고 메모리 내 (in-memory) 데이터 파이프라인으로 교체했습니다.
   • 바운딩 박스, 2D/3D 포즈 데이터를 RAM 에서 직접 생체역학 옵티마이저로 전달하여 불필요한 직렬화/역직렬화를 없애고 종단 간 지연을 줄였습니다.

3. 실험 설정 (Experimental Setup)

• 하드웨어: 소비자급 워크스테이션 (AMD Ryzen 7 9700X, 8 코어/16 스레드, 32GB RAM). GPU 가속은 명시적으로 비활성화.
• 데이터셋: AthletePose3D 의 고해상도 비디오 시퀀스 (연속적인 운동 동작).
• 평가 지표: 초당 프레임 수 (FPS), 총 실행 시간, 초기화 지연 시간, CPU 사용률, 생체역학적 일관성 (관절 각도 오차, 상관관계).

4. 주요 결과 (Key Results)

4.1. 성능 향상 (Runtime Performance)

• 처리량 증가: 평균 처리량이 0.14 FPS에서 0.34 FPS로 증가하여 2.47 배 향상되었습니다.
• 실행 시간 단축: 비디오당 총 실행 시간이 59.6% 감소했습니다.
• 초기화 지연 감소: 모델 로드 및 그래프 컴파일 시간이 34.5 초에서 7.5 초로 줄어들어 4.6 배 빨라졌습니다.
• 메모리 효율: 불필요한 직렬화 오버헤드 제거로 메모리 사용량이 감소하고 CPU 캐시 활용도가 안정화되었습니다.

4.2. 생체역학적 일관성 (Kinematic Consistency)

최적화가 결과의 정확도에 영향을 미치지 않았음을 확인했습니다.

• 관절 각도 오차: 평균 절대 편차 (MAD) 가 **0.35°**로 매우 낮았으며, 임상적으로 유의미한 임계치 (2~5°) 보다 훨씬 낮습니다.
• 상관관계: 시간적 궤적의 피어슨 상관관계 (r) 가 0.998로 기저선 (Baseline) 과 거의 동일한 높은 일치를 보였습니다.
• 위치 오차: 피팅된 3D 관절 위치의 평균 오차 (MPJPE) 는 9.4~9.9mm 수준으로 유지되었습니다.
• 시간적 부드러움: 최적화된 파이프라인은 오히려 운동의 저크 (jerk) 를 7.2% 감소시켜 더 부드러운 궤적을 생성했습니다.

5. 기여 및 의의 (Contributions & Significance)

1. 하드웨어 장벽 해소: 고가의 GPU 없이도 상용 CPU 만으로 연구 수준의 3D 생체역학 분석을 수행할 수 있음을 입증했습니다.
2. 확장 가능한 배포: 원격 재활, 현장 스포츠 평가, 저자원 의료 환경 등 리소스가 제한된 곳에서 대규모 움직임 분석을 가능하게 합니다.
3. 시스템 최적화 가이드: 모델 구조 변경 없이 시스템 레벨 (I/O, 병렬화, 초기화) 의 최적화만으로도 성능을 획기적으로 개선할 수 있음을 보여주었습니다.
4. 정확도 유지: 성능 최적화 과정에서 생체역학적 출력의 정확도가 손상되지 않았음을 엄격하게 검증했습니다.

결론

이 연구는 단안 3D 생체역학 파이프라인을 CPU 전용 환경에 맞게 재설계하여, 처리량은 2.47 배 향상시키고 실행 시간은 60% 가까이 단축하면서도 정확도는 유지할 수 있음을 증명했습니다. 이는 저비용 하드웨어를 활용한 보편적인 움직임 분석 시스템의 실현 가능성을 보여주는 중요한 성과입니다.