TrackStudio: An Integrated Toolkit for Markerless Tracking

무용수의 움직임을 관찰하기 위해 그들이 어떻게 몸을 틀고 회전하는지 촬영하고 싶다고 상상해 보세요. 하지만 당신에게는 레이저와 반사 스티커로 가득 찬 수십억 원짜리 스튜디오가 없습니다. 과거에는 스티커 없이 인간의 움직임을 추적하려는 시도가 마치 오븐 장갑을 끼고 모르는 언어로 루빅스 큐브를 맞추는 것과 같았습니다. 기술적인 전문 지식, 코딩 기술, 그리고 소프트웨어가 제대로 작동하기 시작할 때까지 엄청난 인내심이 필요했기 때문입니다.

여기에 모션 트래킹을 위한 "플러그 앤 플레이(plug-and-play)" 마법 지팡이 역할을 하는 새로운 툴킷인 TrackStudio가 등장했습니다. 연구자들이 프로그래머가 되어야 하는 대신, 이 도구는 기존의 가장 우수한 오픈 소스 도구들을 하나의 사용하기 쉬운 창(그래픽 사용자 인터페이스, 즉 GUI)으로 묶어 제공합니다. 이는 호기심 많은 학생부터 임상 연구자에 이르기까지 누구나 단 한 줄의 코드도 작성하지 않고 영상을 녹화하고, 카메라를 동기화하며, 3D 움직임 데이터를 얻을 수 있도록 설계되었습니다.

커튼 뒤의 마법

이 과정을 주방에서 일하는 전문 요리사 팀이라고 생각해 보세요.

1. 2D 셰프 (MediaPipe): 먼저, 시스템은 영상을 살펴보고 손목, 팔꿈치, 손가락 끝과 같은 신체의 "랜드마크"를 찾아냅니다. 이는 마치 셰프가 2D 사진 속 케이크 위의 체리가 정확히 어디에 있는지 포착하는 것과 같습니다.
2. 3D 건축가 (Anipose): 하지만 사진은 평면적입니다! 깊이감을 얻으려면 다양한 각도에서 케이크를 봐야 합니다. Anipose는 여러 대의 카메라를 사용하여 이러한 2D 지점들을 "삼각 측량"합니다. 즉, 여러 시점을 결합하여 공간 속에 3D 모델을 구축합니다.
3. 지휘자: TrackStudio는 이 모든 셰프들이 완벽하게 협력하도록 만드는 지휘자입니다. 단순한 메뉴를 통해 카메라 동기화(모든 카메라가 정확히 같은 밀리초에 시작하도록 함)와 렌즈 보정 같은 까다로운 부분을 처리합니다.

테스트 실시

제작자들은 단순히 만들기만 한 것이 아니라, 이 도구가 열기를 견딜 수 있는지 확인하기 위해 세 가지 매우 다른 "주방"에서 혹독한 테스트를 거쳤습니다. 그들은 세 가지 설정에서 76명의 참가자를 대상으로 테스트했습니다:

• 좌식 설정 (The Seated Setup): 사람들이 테이블에 앉아 3대의 저가형 웹캠(Logitech Brio)을 사용하여 일상적인 물체를 움직이는 환경입니다. 심지어 시야를 가리는 로봇 "세 번째 엄지손가락"을 착용한 경우도 있어, 소프트웨어에 까다로운 퍼즐을 던져주었습니다.
• 앙와위 설정 (The Supine Setup): 사람들이 가상의 MRI실(좁고 어두운 공간)에 누워 있는 환경으로, 4대의 웹캠을 사용하여 신체 일부가 가려진 상태에서 물체에 손을 뻗는 동작을 수행했습니다.
• 혼합 설정 (The Mixed Setup): 손, 팔, 얼굴을 추적하기 위해 5대의 고해 resolución 카메라(FLIR Blackfly S)를 사용하는 더 발전된 테스트로, 사람들이 좁은 공간 안에서 앉거나 서서 움직이는 상황을 다루었습니다. 5일 동안 진행되었습니다.

결과: 버터처럼 부드럽게

숫자들은 놀라운 안정성을 보여줍니다.

• 부드러움: 트래킹은 믿기지 않을 정도로 매끄러웠습니다. "프레임 간 상관관계"(움직임이 한 프레임에서 다음 프레임으로 얼마나 일관되게 이어지는지를 나타내는 척도)는 좌식 설정에서 0.98, 앙와위 설정에서는 거의 완벽한 0.999였습니다. 이는 사람들이 움직일 때 소프트웨어가 혼란을 겪거나 "튀는" 현상이 없었음을 의미합니다.
• 정확도: 3D 공간에서의 오차를 측정했을 때, 손 추적은 매우 정교했습니다. 좌식 설정에서 평균 오차는 13.6mm였고, 앙와위 설정에서는 8.95mm로 떨어졌습니다. 고성능 혼합 설정에서도 손의 오차는 단 4.41mm에 불과했습니다.
• 큰 실수? 드물었습니다. 좌식 설정에서 오차가 10mm보다 큰 프레임은 **0.58%**뿐이었고, 앙와위 설정에서는 이보다 더 낮은 **0.55%**였습니다.
• 실제 테스트: 사람들이 타겟을 터치해야 하는 특정 과제에서, 시스템은 **91%**의 확률로 타겟 영역을 성공적으로 맞혔습니다. 놓쳤을 때도 손가락은 보통 타겟에서 10.3mm 정도만 벗어나 있었습니다.

그들은 또한 비전문가들이 사용하기 얼마나 쉬운지도 테스트했습니다. 초급에서 중급 수준의 코딩 기술을 가진 10명이 전체 프로세스를 설치하고 실행해 보았습니다. 모든 사람이 첫 시도에 성공했으며, 평균 소요 시간은 (컴퓨터가 영상을 처리하는 시간을 제외하고) 단 4분 44초였습니다.

이것이 무엇인지 (그리고 무엇이 아닌지)

TrackStudio가 무엇이 아닌지 아는 것도 중요합니다. 이 도구는 새로운 수학을 발명하거나 세계 최고의 알고리즘을 뛰어넘는 새로운 알고리즘을 만드는 것이 아닙니다. 저자들은 명확히 밝혔습니다. 그들은 이상적인 조건에서 사용된 특정 도구들(MediaPipe나 Anipose 등)의 성능을 능가하려고 노력한 것이 아닙니다. 대신, 일반 사람들도 이러한 강력한 도구들을 사용할 수 있도록 다리를 놓는 데 집중했습니다.

또한 이 논문은 몇 가지 시나리오를 배제합니다. 이 툴킷은 단일 인물 녹화 및 비교적 구조화된 환경을 위해 설계되고 테스트되었습니다. 따라서 군중을 추적하거나, 여러 사람 사이의 복잡한 상호작용을 다루거나, 신원이 뒤섞일 수 있는 심각하고 예측 불가능한 장애물을 처리하기 위한 솔루션은 아닙니다. 만약 이 시스템으로 축구팀 전체를 추적하려 한다면, 시스템은 누가 누구인지 혼동할 수 있습니다.

결론

TrackStudio는 고품질의 신뢰할 수 있는 모션 트래킹 데이터를 얻기 위해 반드시 코딩의 마법사가 될 필요는 없다는 것을 시사합니다. 이 도구는 저렴한 웹캠이나 고급 카메라 모두와 잘 작동하며, 훨씬 더 복잡하고 비싼 시스템에 필적하는 결과를 제공하는 실용적인 "즉시 사용 가능한(out-of-the-box)" 솔루션을 제안합니다. 비록 모든 과학적 예외 상황에 대해 절대적으로 완벽한 시스템은 아닐지라도, 컴퓨터 비전 분야의 박사 학위가 필요했던 작업을 호기심 많은 십 대나 바쁜 연구자가 5분 안에 할 수 있는 일로 바꾸어 놓음으로써 진입 장벽을 성공적으로 낮추었습니다.