Exploring Decoupled Spatio-Temporal Consistency Learning and Self-Prompting Evolution for Self-Supervised Tracking

누군가 먼저 상자를 그려 넣지 않아도, 당신의 휴대폰 카메라가 달리는 강아지나 떠다니는 풍선, 혹은 질주하는 자동차를 따라갈 수 있는 세상을 상상해 보십시오. 이것은 인공지능이 비디오 속에서 특정 물체가 움직일 때 그 시선을 고정하는 법을 배우는 컴퓨터 과학의 한 분야인 **시각적 객체 추적(visual object tracking)**의 꿈입니다. 수년 동안 이러한 AI의 "눈"을 가르치는 것은 마치 몇 권의 비싼 손글씨 책만을 사용하여 아이에게 글을 읽는 법을 가르치는 것과 같았습니다. 연구자들은 컴퓨터에게 무엇을 찾아야 하는지 보여주기 위해 수천 개의 영상 속 물체에 직접 상자를 그려 넣어야 했습니다. 이 과정은 느리고, 지루하며, 엄청나게 비용이 많이 들며, 이는 추적기가 얼마나 똑똑해질 수 있는지를 제한했습니다. 이 분야의 핵심 질문은 이것입니다. "우리는 이미 인터넷에 떠도는 수백만 개의 영상으로부터 AI를 학습시킬 수 있을까? 그 영상들에는 아무도 상자를 그려 넣지 않았는데 말이다." 그 답은 **자기 지도 학습(self-supervised learning)**에 있습니다. 이는 컴퓨터가 스스로의 스승이 되어, 영상 자체의 패턴을 이용해 무엇이 중요한지를 파악하는 영리한 기술입니다.

여기, 연구팀이 제안한 새롭고 빛나는 모델인 **SSTrack++**가 등장하여, 값비싼 손으로 그린 상자 없이 이 퍼즐을 풀고자 합니다. 추적기를 가르치는 기존의 방식이 학생에게 고양이 사진을 보여주며 "이것은 고양이다"라고 말하는 것이라면, SSTrack++가 사용하는 새로운 방식은 학생에게 고양이가 뛰어다니는 영화 한 편을 건네주며 "영화 자체만을 이용해서 고양이가 무엇을 하고 어디로 가고 있는지 알아내 봐"라고 말하는 것과 같습니다. 연구진은 이전의 시도들이 다소 서툴렀다는 것을 발견했습니다. 이전 모델들은 단순히 무작위 지점을 살펴봄으로써 대상의 위치를 추측하려 했고, 이로 인해 배경 소음에 자주 혼란을 겪었습니다.

이를 해결하기 위해, 팀은 두 단계의 춤처럼 작동하는 시스템을 설계했습니다. 먼저, AI는 **전역 전방 탐색(global forward look)**을 수행하여, 마치 형사가 용의자를 찾기 위해 붐비는 방을 스캔하듯 전체 비디오 프레임을 훑으며 대상이 있을 법한 곳을 찾습니다. 대략적인 개념을 잡고 나면, AI는 **지역 후방 탐색(local backward look)**으로 전환하여, 마치 형사가 용의자의 걸음걸이와 옷차림을 면밀히 조사하듯 대상의 외형과 움직임이 시간이 지남에 따라 어떻게 변하는지 자세히 관찰합니다. 이 두 가지 과업—위치 찾기와 움직임 이해하기—을 분리함으로써, 모델은 훨씬 더 빠르고 정확하게 학습합니다.

하지만 진짜 마법 같은 기술은 바로 **자기 유도 진화(Self-Prompting Evolution)**입니다. AI가 대상이 어떻게 생겼는지 설명하는 '포스트잇'을 들고 다니고 있다고 상상해 보십시오. 기존 모델에서 이 메모는 정적이었으며, 대상이 뒤를 돌거나 더러워지면 구식이 될 수 있었습니다. SSTrack++는 다릅니다. 이 모델은 끊임없이 자신의 포스트잇을 다시 씁니다. 매 프레임이 끝날 때마다 AI는 스스로에게 "내가 제대로 했나?"라고 묻고, 방금 본 가장 선명한 세부 사항들을 바탕으로 메모를 업데이트하며, 흐릿하거나 혼란스러운 부분은 버립니다. 이는 마치 형사가 군중 속에서도 형상을 더 잘 포착할 데마다 용의자의 스케치를 계속 정교하게 다듬어, 상황이 혼란스러워도 묘사가 날카롭게 유지되도록 하는 것과 같습니다.

연구진은 또한 AI가 교사 없이도 서로 다른 객체를 구별할 수 있는 방법을 도입했습니다. 그들은 **인스턴스 대비 학습(instance contrastive learning)**이라는 방법을 사용했는데, 이는 AI와 함께 "틀린 그림 찾기" 게임을 하는 것과 같습니다. 컴퓨터는 동일한 객체를 다양한 각도와 시간대에서 본 모습(긍정적 일치)을 보여주는 동시에, 완전히 다른 객체들(부정적 일치)도 함께 보여줍니다. 이를 통해 컴퓨터는 "아, 이 흐릿한 덩어리와 저 선명한 덩어리는 같은 개지만, 저 다람쥐는 완전히 다르구나"라는 것을 깨닫게 됩니다. 이는 모델이 대상이 나무 뒤에 숨어 있거나 빠르게 움직일 때도, 대상이 실제로 무엇인지에 대한 강력한 내부 지도를 구축하도록 돕습니다.

연구팀이 이 새로운 모델을 열 가지 비디오 데이터셋에서 테스트했을 때, 결과는 인상적이었습니다. GOT10K 데이터셋에서 SSTrack++는 이전의 자기 지도 학습 방식보다 25.8% 이상 높은 점수를 기록했으며, LaSOT에서는 21.4%, TrackingNet에서는 15.8% 상승했습니다. 비록 아직 손으로 직접 상자를 그려 넣는 가장 뛰어난 모델들을 완전히 따라잡지는 못했지만, 그 격차를 크게 좁혔습니다. 저자들은 이 접근 방식이, 우리가 항상 멈춰서 상자를 그려 넣을 수 없는 복잡하고 예측 불가능한 현실 세계에서, 더 저렴하게 구축하면서도 더 나은 성능을 내는 추적 시스템을 만드는 데 게임 체인저가 될 수 있다고 제언합니다. 다만, 그들은 이 시스템이 여전히 첫 번째 추측(전방 탐색)이 얼마나 잘 작동하는지에 다소 의존하고 있다는 점을 인정하며, 형사가 더욱 예리해질 수 있는 여지가 여전히 남아 있음을 시사했습니다.