Promptable Animal Pose Tracking Across Species

위대한 동물의 숨바꼭질

야생 동물의 영상을 보며 마치 조용한 디지털 관찰자처럼 동물의 움직임을 따라가는 컴퓨터를 가르친다고 상상해 보세요. 이것이 바로 컴퓨터 비전의 한 분야인 **동물 포즈 트래킹(animal pose tracking)**의 세계입니다. 과학자들은 기계가 동물이 어떻게 움직이고, 구부리고, 상호작용하는지 이해하도록 만들고자 노력하고 있습니다. 이를 위해 컴퓨터는 동물의 몸에서 코 끝, 무릎, 꼬리 끝과 같은 특정 "키포인트(keypoints)"를 찾아내고, 사람이 사진 위에 점을 찍고 영화 속에서 그 점을 따라가는 것처럼 프레임마다 이 점들을 추적해야 합니다.

오랫동안 컴퓨터에게 동물을 이렇게 가르치는 것은 매우 어려운 일이었습니다. 인간은 모두 대략 비슷한 체형을 가지고 있는 것과 달리, 동물은 수천 가지의 서로 다른 형태를 가지고 있기 때문입니다. 기린은 목이 길고, 거미원숭이는 팔다리가 길며, 곰은 둥글고 털이 많습니다. 이러한 차이를 컴퓨터에게 가르치기 위해 연구자들은 보통 수천 개의 영상에 수동으로 점을 그리는 작업을 수년간 수행해야 했습니다. 이 과정은 느리고 비용이 많이 들며 전문 지식이 필요합니다. 더욱이 기존의 대부분의 컴퓨터 프로그램은 인간이나 특정 실험 동물을 위해 만들어졌기 때문에, 야생 호랑이나 동물원의 고릴라를 마주하면 종종 혼란에 빠지곤 했습니다. 큰 질문은 이것이었습니다: 우리가 특정 동물이 정확히 어떻게 생겼는지 배우기 위해 수년간 시간을 들이지 않고도, 어떤 동물이든 추적할 수 있을 만큼 똑똑한 시스템을 구축할 수 있을까?

"프롬프트 가능한" 해결책: 두 갈래의 시스템

이 논문은 이 문제를 해결하기 위한 영리하고 새로운 방법인 **프롬프트 가능한 동물 포즈 트래킹(Promptable Animal Pose Tracking)**을 소개합니다. 컴퓨터에게 존재하는 모든 동물 종을 암기하도록 강요하는 대신, 저자들은 컴퓨터가 엄격한 규칙 책이라기보다 유능한 가이드처럼 작동하는 유연한 시스템을 제안합니다. 이것은 컴퓨터에게 "프롬프트(명령어)"를 주는 것과 같습니다. 즉, 사람이 몇 개의 점을 그려 넣은 동물의 사진 한 장을 주고, 컴퓨터에게 영상의 나머지 부분에서도 그와 동일한 점들을 찾아내라고 요청하는 것입니다.

연구진은 이를 수행하기 위해 **비전 파운데이션 모델(Vision Foundation Models)**을 기반으로 하는 두 가지 서로 다른 "경로" 또는 방법을 구축했습니다. 이 파운데이션 모델은 이미 수백만 개의 이미지를 살펴보고, 무엇을 찾으라고 지시받지 않아도 형태, 질감, 패턴을 인식하는 법을 배운 매우 똑똑한 사전 학습된 뇌라고 생각하면 됩니다. 논문은 새로운 특화된 뇌를 처음부터 새로 학습시키는 대신, 이러한 기존의 초거대 뇌들을 사용하여 힘든 작업을 수행할 수 있다고 제안합니다.

지도 학습 경로: 정밀함의 전문가
첫 번째 방법은 "지도 학습(supervised)" 경로입니다. 당신이 돋보기를 들고 월도를 찾는 '월리를 찾아라' 게임을 하고 있는데, 그 돋보기가 월도의 모자가 정확히 어디에 있는지를 강조해 주는 상황을 상상해 보세요. 이 경로에서 컴퓨터는 당신이 점을 그린 단 하나의 참조 프레임을 가져와 특별한 "키포인트 프롬프트 인코더(keypoint prompt encoder)"를 사용합니다. 이 도구는 스포트라이트처럼 작동하여 컴퓨터에게 "이 특정 지점들에 특히 주의를 기울여라, 왜냐하면 이곳들이 중요하기 때문이다"라고 알려줍니다. 그런 다음 파운데이션 모델의 지식을 사용하여 영상의 나머지 부분에서 해당 지점들을 일치시킵니다.

논문에 따르면 이 방법은 까다로운 상황에서 믿을 수 없을 정도로 정확합니다. 동물이 나무 뒤에 숨어 있거나, 빠르게 움직이거나, 털 때문에 다리 하나를 구분하기 어려운 상황에서도 이 지도 학습 방식은 빛을 발합니다. 이는 당신의 단일한 그림으로부터 구조적 힌트를 명시적으로 제공함으로써, 모델이 당신의 특정 점들을 사용하는 법을 가르치기 위해 방대한 양의 훈련 데이터를 필요로 했던 기존 방식들보다 더 뛰어난 성능을 낼 수 있음을 시사합니다. 그러나 이 경로는 초기 참조 프레임이 있고, 모델이 당신의 특정 점들을 사용하는 법을 가르치기 위해 약간의 훈련을 할 의사가 있을 때 가장 적합하다고 논문은 언급합니다.

비지도 학습 경로: 일반론적인 탐험가
두 번째 방법은 "비지도 학습(unsupervised)" 경로이며, 이는 아마도 훨씬 더 흥미로울 것입니다. 이것은 "훈련이 필요 없는" 모드입니다. 당신이 숲속에서 친구와 함께 있는데, 당신이 나무의 특정 잎사귀를 가리키는 상황을 상상해 보세요. 당신은 친구에게 잎사귀가 무엇인지 가르칠 필요가 없습니다. 친구는 자연에 대한 일반적인 지식을 사용하여 다음 프레임에서 똑같은 잎사귀를 찾아낼 것입니다. 이 경로는 훈련 단계를 건너뜁니다. 이는 파운데이션 모델이 여러 프레임에 걸쳐 "이 픽셀이 저 픽셀과 닮았다"는 것을 이해하는 자연스러운 능력을 활용합니다.

저자들은 이 방법이 **교차 종 일반화(cross-species generalization)**의 달인이라는 것을 발견했습니다. 이 모델은 재학습 없이도 1초 전에는 호랑이를 추적하다가 다음 순간에는 개를 추적할 수 있습니다. 이 모델은 특정 종에 대한 "규칙"에 갇히지 않기 때문에 다양한 종을 다루는 데 특히 탁월합니다. 하지만 논문은 트레이드오프(절충 관계)가 있다고 제안합니다. 즉, 매우 견고하고 다양한 동물에 걸쳐 작동하지만, 동물이 너무 빠르게 움직이거나 프레임 안에 비슷하게 생긴 여러 마리의 동물이 있을 경우(예: 함께 달리는 두 마리의 여우) 약간 "표류(drift)"할 수 있습니다. 이를 해결하기 위해 저자들은 컴퓨터가 실수로 한 동물에서 다른 동물으로 초점을 옮기지 않도록 안전망 역할을 하는 "드리프트 보정(drift correction)" 단계를 추가했습니다.

결론: 균형 잡힌 접근법

이 논문은 모든 문제를 해결했다고 주장하는 것이 아니라, 강력하고 새로운 방향을 제시하고 있습니다. 30가지 다른 동물 종이 포함된 데이터셋과 호랑이 및 말을 포함한 데이터셋이라는 두 가지 주요 데이터셋을 통해 시스템을 테스트한 결과, 그들의 접근 방식이 훌륭한 균형을 이루고 있음을 발견했습니다.

지도 학습 경로는 정확성의 챔피언으로, 어렵고 복잡한 장면 속에서 동물을 추적해야 할 때 최상급의 결과를 제공합니다. 비지도 학습 경로는 유연성의 챔피언으로, 단 하나의 추가 레이블 없이도 다양한 종과 환경 사이를 자유롭게 넘나들 수 있습니다. 저자들은 새로운 동물을 추적할 때마다 거대하고 비용이 많이 드는 데이터셋이 필요하다는 기존의 생각에 명시적으로 반대합니다. 대신, 이들은 사전 학습된 파운데이션 모델을 사용함으로써 연구자들이 단순히 클릭하고 가리키는 것만으로도 아주 적은 데이터, 혹은 데이터가 전혀 없는 상태에서도 동물을 추적할 수 있음을 보여줍니다.

결국, 이 논문은 동물 모니터링의 미래가 각 종마다 별도의 특화된 컴퓨터를 만드는 것이 아니라고 제로합니다. 그것은 인간의 간단한 지시에 귀를 기울이고, 세상의 시각적 구조에 대해 미리 학습된 광범위한 지식을 사용하여 동물의 이야기를 프레임 단위로 따라가는 유연하고 "프롬프트 가능한" 시스템을 구축하는 것입니다. 기린이 목을 쭉 뻗든, 거미원숭이가 나무 사이를 휘젓고 다니든, 이 새로운 프레임워크는 컴퓨터가 야생을 관찰하고 학습하여 과학자들이 더 적은 노력과 더 높은 정밀도로 야생 동물을 보호하고 이해할 수 있도록 돕는 실용적이고 효율적인 방법을 제공합니다.