Label-Efficient Transfer Learning for Human Action Recognition Using Pretrained VideoMAE

컴퓨터 비전의 세계에서 인간의 움직임을 이해하도록 기계를 가르치는 것은 오랫동안 엄청난 복잡성을 지닌 난제로 남아 있었습니다. 수십 년 동안 연구자들은 테니스 서브, 악수, 혹은 넘어짐과 같이 사람이 무엇을 하고 있는지를 영상을 보고 식별할 수 있는 시스템을 구축하기 위해 노력해 왔습니다. 초기 시도들은 엔지니어가 동작이 어떻게 보이는지를 수동으로 정의하는 핸드 크래프트 규칙(hand-crafted rules)에 의존했으나, 이러한 시스템은 카메라 각도가 바뀌거나 배경이 복잡해지면 자주 실패했습니다. 딥러닝의 등장은 이 분야를 변화시켰으며, 컴퓨터가 원시 비디오 데이터로부터 이러한 패턴을 직접 학습할 수 있게 해주었습니다. 그러나 이 새로운 접근 방식에는 가혹한 대가가 따랐습니다. 즉, 인간이 수 시간의 영상을 일일이 시청하며 모든 동작에 태그를 달아야 하는 방대한 양의 레이블이 지정된 영상이 필요했다는 점입니다. 이 과정은 느리고 비용이 많이 들며, 전문가가 부족한 특수 작업에서는 종종 불가능하기도 합니다. 이를 해결하기 위해 과학자들은 자기 지도 학습(self-supervised learning)으로 눈을 돌렸습니다. 이는 컴퓨터가 누락된 이미지의 부분을 예측하는 과정을 통해 방대한 양의 레이블이 없는 영상으로부터 스스로 학습하게 함으로써, 인간의 도움 없이도 동작의 구조를 효과적으로 깨우치게 하는 방법입니다. 남은 질문은, 레이블이 지정된 데이터가 제한적인 실제 환경에서도 이 자가 학습 시스템이 진정으로 준비되었는지, 아니면 여전히 올바르게 작동하기 위해 인간의 강력한 감독이 필요한지 여부입니다.

인도의 시다강가 공과대학교(Siddaganga Institute of Technology)의 한 연구자는 VideoMAE라고 불리는 특정 유형의 자기 지도 학습 모델을 테스트함으로써 이 질문에 답하고자 했습니다. 도서관의 모든 책을 읽었지만 단 한 번도 시험을 치러본 적이 없는 학생을 상상해 보십시오. 연구자는 이 학생에게 아주 적은 양의 모범 답안만을 공부하게 했을 때, 얼마나 잘 시험 문제를 풀 수 있을지를 확인하고 싶었습니다. 연구에서는 이미 수천 개의 레이블 없는 클립에서 마스킹 처리된 섹션을 재구성함으로써 영상을 이해하는 법을 배운 사전 학습된 VideoMAE 모델을 사용했습니다. 연구자는 이 모델의 '두뇌'를 얼려(freeze) 더 이상 새로운 것을 배우지 못하게 한 뒤, 그 위에 단순하고 가벼운 분류기(classifier)를 부착했습니다. 이 설정은 다양한 양의 레이블이 지정된 훈련 데이터를 제공함으로써 모델의 순수한 인간 행동 이해도를 테스트할 수 있게 해주었습니다. 연구는 스포츠와 일상 활동이 다양하게 포함된 UCF101과, 복잡한 카메라 움직임 및 다양한 배경을 특징으로 하는 영화 및 공공 데이터베이스 기반의 더 어려운 컬렉션인 HMDB51이라는 두 가지 잘 알려진 벤치마크를 대상으로 진행되었습니다.

결과는 이러한 고급 모델을 사용하는 데 있어 명확하고 실용적인 경로를 보여주었습니다. 연구자가 사용 가능한 레이블 지정 데이터의 10%만을 제공했을 때도, 시스템은 놀라운 정확도로 동작을 식별해 냈습니다. UCF101 데이터셋의 경우, 모델은 그 작은 조각의 레이블 예시만으로도 거의 88%에 달하는 인식률을 기록했습니다. 레이블 데이터의 양을 25%, 그리고 50%로 늘림에 따라 정확도는 꾸준히 상승하여, 전체 데이터셋을 사용했을 때는 92% 이상에 도달했습니다. 그러나 가장 중요한 발견은 모델이 적은 데이터로도 잘 작동한다는 사실뿐만 아니라, 더 많은 데이터를 추가했을 때 얻는 이득이 빠르게 감소하기 시작했다는 점이었습니다. 시스템이 절반의 레이블 훈련 샘플에 접근했을 때, 나머지 절반을 추가하더라도 성능 향상은 매우 미미했습니다. 이는 자기 지도 사전 학습이 인간의 움직임을 이해하는 데 필요한 시각적 및 시간적 정보를 이미 대부분 포착했기 때문에, 단순한 분류기가 특정 작업에 적응하기 위해 할 일이 거의 없었음을 시사합니다.

연구자가 더 어려운 HMDB51 데이터셋을 테스트했을 때는 이야기가 약간 달랐지만, 똑같이 시사하는 바가 컸습니다. 영상들이 흔들리는 카메라와 복잡한 배경으로 인해 더 무질서했기 때문에, 모델은 10%의 레이블만을 사용했을 때 약 52%의 낮은 정확도로 시작했습니다. 하지만 레이블 데이터를 추가함에 따라 시스템은 더 쉬운 데이터셋보다 훨씬 더 극적으로 개선되어, 전체 감독 하에 63% 이상의 정확도에 도 도달했습니다. 이는 자기 지도 기반이 강력하긴 하지만, 실제 환경이 더 혼란스럽고 복잡할수록 몇 개의 추가적인 레이블 예시가 더 가치 있게 된다는 것을 나타냈습니다. 그럼에도 불구하고, 시스템은 데이터의 절반만으로도 높은 수준의 성능을 달ert함으로써, 자가 학습 모델이 완전한 수동 가이드 없이도 상당한 시각적 다양성을 다룰 수 있는 견고한 표현력을 학습했음을 증명했습니다.

최종 점수 외에도 연구자는 시스템이 어떻게 학습하고 자원을 소비하는지를 면밀히 살펴보았습니다. 연구 결과, 훈련 과정은 모든 감독 수준에서 안정적이고 예측 가능했으며, 모델은 급격한 행동 변화 없이 매끄럽게 수렴되었습니다. 컴퓨팅 파워 측면에서 이 접근 방식은 매우 효율적이었습니다. 모델의 주요 부분이 고정되어 있고 작은 상단 레이어만 훈련되었기 때문에, 사용된 레이블 데이터의 양과 관계없이 필요한 컴퓨터 메모리량은 거의 일정하게 유지되었습니다. 훈련 시간은 더 많은 예시를 처리해야 하므로 데이터가 많아질수록 증가했지만, 메모리 점유율은 늘어나지 않았습니다. 이는 이 방법이 확장 가능하며, 더 큰 데이터셋을 처리하기 위해 값비싼 하드웨어 업그레이드를 요구하지 않는다는 것을 의미합니다. 또한 연구는 모델이 어떤 동작을 틀리는지를 조사하였는데, 오류는 주로 시각적으로 유사한 움직임에 집중되어 있었으며, 이는 인간의 미세한 동작 차이를 구별할 때 발생하는 자연스러운 한계였습니다.

궁극적으로, 이 연구는 모든 새로운 응용 분야를 위해 거대하고 완벽하게 레이블이 지정된 비디오 데이터셋이 필요했던 시대가 끝나가고 있음을 보여줍니다. 연구자는 레이블이 없는 영상으로 훈련된 모델이 인간의 행동을 인식하는 강력한 토대가 될 수 있으며, 높은 성능을 달성하기 위해 아주 적은 양의 수동 레이블링 노력만을 필요로 한다는 것을 보여주었습니다. 이 결과는 공장의 안전 모니터링이나 스포츠 기술 분석과 같은 많은 실질적인 응용 분야에서, 조직들이 모든 비디오 프레임을 주석 처리하는 과도한 비용 없이도 사전 학습된 시스템에 의존하여 정확한 결과를 얻을 수 있음을 시사합니다. 가장 어려운 데이터셋이라 할지라도 추가적인 레이블 예시로부터 이득을 얻기는 하지만, 핵심 역량은 이미 자기 지도 모델 안에 존재하며, 이는 실세계에 지능형 영상 이해를 도입하기 위한 실용적이고 자원 효율적인 솔루션을 제공합니다.