Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining

컴퓨터 비전의 세계에서 인간의 움직임을 이해하도록 기계를 가르치는 것은 로보틱스, 보안, 자동 감시 분야에 심오한 영향을 미치는 근본적인 과제입니다. 수십 년 동안 연구자들은 이 문제를 해결하기 위해 두 가지 주요 전략에 의존해 왔습니다. 첫 번째 전략은 전체 장면을 관찰하며 색상, 조명, 배경을 분석하여 무엇이 일어나고 있는지 추측하는 것입니다. 두 번째 전략은 배경을 완전히 무시하고 사람의 움직이는 골격, 즉 관절과 사지의 특정 배열에만 집중합니다. 첫 번째 접근 방식은 직관적이지만, 배경이 변하거나 조명이 좋지 않을 때 종종 실패합니다. 골격을 추적하는 두 번째 접근 방식은 이러한 환경 변화에 훨씬 더 강력하지만, 역사적으로 다른 문제에 시달려 왔습니다. 바로 학습을 위해 엄청난 양의 인적 노동이 필요하다는 점입니다. 사람이 넘어지거나 싸우는 것과 같은 특정 동작을 인식하도록 컴퓨터를 훈련시키기 위해, 연구자들은 전통적으로 수천 개의 영상 속 모든 프레임마다 사람 주변에 상자를 정교하게 그리고 그들이 정확히 무엇을 하고 있는지 라벨을 붙여야 했습니다. 이 과정은 너무 비용이 많이 들고 시간이 오래 걸리기 때문에 컴퓨터에게 새로운 동작을 빠르게 가르치는 능력을 제한합니다.

한 연구팀은 이제 이러한 과도한 수동 라벨링의 부담을 우회하여, 단 하나의 예시도 보지 않고도 컴퓨터가 새로운 동작을 학습할 수 있게 하는 새로운 방법을 개발했습니다. 최근 연구에서 상세히 설명된 이들의 접근 방식은 프레임 단위의 주석 대신 광범위하고 일반적인 비디오 설명을 통해 학습하는 시스템을 도입합니다. 시스템은 "이 사람이 정확히 이 초에 펀치를 날리고 있다"라고 듣는 대신, "골프 치기"나 "운전하기"와 같이 일반적인 활동을 설명하는 간단한 텍스트 라벨이 붙은 전체 영상을 통해 훈련됩니다. 인간 골격의 시각적 데이터와 동작의 텍스트 설명을 정렬하는 기술을 사용함으로써, 시스템은 움직임의 보편적인 언어를 학습합니다. 일단 훈련되면, 이 시스템은 이전에 본 적 없는 동작을 수행하는 사람들이 포함된 영상을 보고, 누가 그 동작을 하고 있으며 무엇을 하고 있는지를 정확하게 식별할 수 있습니다. 연구진은 이 방법이 방대한 양의 상세한 라벨로 훈련된 시스템의 정확도와 일치할 뿐만 아니라, 영상 품질이 낮거나 배경이 복잡할 때 훨씬 더 높은 회복력을 보인다는 것을 입증했습니다.

이 혁신의 핵심은 저자들이 '스켈레톤-언어 특징 풀링 스위칭(Skeleton-Language feature Pooling Switching)'이라고 부르는 영리한 정보 처리 방식의 전환에 있습니다. 먼저 대화의 요약을 들어 방의 전반적인 분위기를 이해한 다음, 특정 화자를 식별하라는 요청을 받으면 개별 목소리에 집중하도록 전환하는 시스템을 상상해 보십시오. 훈련 단계에서 컴퓨터는 영상을 보고 클립 안의 모든 사람으로부터 얻은 골격 데이터를 하나의 요약본으로 모읍니다. 그런 다음 이 요약본을 제공된 전체 영상의 텍스트 라벨과 비교합니다. 이를 통해 시스템은 정확히 누가 언제 움직이는지 알 필요 없이, 특정 유형의 움직임과 단어 사이의 연결 고리를 학습할 수 있습니다. 그러나 시스템이 테스트 단계로 넘어가면, 이는 기어를 바꿉니다. 시스템은 영상을 전체적으로 보는 것을 멈추고 각 개인의 골격을 개별적으로 분리합니다. 훈련 단계에서 움직임 패턴과 단어 사이의 연결을 이미 학습했기 때문에, 이제 시스템은 단일 인물의 골격을 보고 "이것이 '펀치'라는 텍스트 설명과 일치하는가?"라고 물을 수 있습니다. 이 전환을 통해 시스템은 해당 특정 인물들이 라벨링된 영상을 한 번도 본 적이 없음에도 불구하고, 특정 인물에 대한 특정 동작을 정확히 짚어낼 수 있습니다.

여러 사람이 동시에 움직이는 복잡한 장면에서 이를 작동시키기 위해, 연구진은 하나의 영상에 단 하나의 라벨만 주어졌을 때 컴퓨터가 서로 다른 사람들을 어떻게 구별하도록 가르칠 것인가라는 까다로운 문제를 해결해야 했습니다. 만약 영상에 한 사람은 달리고 다른 한 사람은 걷고 있는데 라벨이 단순히 "운동"이라면, 컴퓨터는 어떤 움직임이 어떤 라벨에 속하는지 혼란을 겪을 수 있습니다. 이를 해결하기 위해 팀은 '장면 혼합 판별 대조 학습(Scene-Mixed Discriminative Contrastive Learning)'이라는 기술을 도입했습니다. 이 방법은 훈련 과정 중에 서로 다른 영상의 조각들을 인위적으로 섞어서 사용합니다. 여러 동작이 나란히 발생하는 혼란스러운 환경을 만듦으로써, 시스템은 그들 사이의 미묘한 차이를 학습하도록 강요받습니다. 시스템은 사람이 달리는 움직임이 사람이 점프하는 움직임과 구별된다는 것을, 심지어 동일한 혼합된 맥락 내에 함께 나타날 때도 구분하는 법을 배웁니다. 이는 시스템이 실제 영상에서 여러 사람을 마주했을 때, 올바른 동작을 올바른 개인에게 자신 있게 할당할 수 있도록 보장합니다.

이 접근 방식의 결과는 동작을 찾고 라벨을 붙이는 능력을 평가하는 데 사용되는 몇 가지 표준 데이터셋을 통해 테스트되었습니다. 24가지의 서로 다른 동작이 포함된 데이터셋에서, 이 새로운 방법은 덜 정교한 훈련에 의 Rely하는 기존의 약지도 학습(weakly-supervised) 방식들을 능가하여 34.1%의 정확도를 달절했습니다. 더욱 인상적인 것은, 넘어지는 사람을 추적하도록 특별히 설계된 데이터셋에서 테스트했을 때, 이 새로운 시스템은 시간 경과에 따른 사람의 위치를 추적하는 기존 방식들을 크게 앞질러 73.3%의 정확도에 도달했다는 점입니다. 연구진은 또한 시스템이 낮은 영상 품질에 훨씬 더 강하다는 것을 발견했습니다. 입력 영상이 흐릿하거나 프레임이 누락되었을 때, 시각적 외형에 의존하는 시스템의 성능은 급격히 떨어졌지만, 골격 기반 시스템은 높은 정확도를 유지했습니다. 이는 장면의 모습보다는 신체 구조에 집중함으로써, 카메라가 흔들리거나 조명이 어두운 실제 환경에서도 시스템이 안정적으로 작동할 수 있음을 시사합니다.

이 시스템의 효율성 또한 중요한 발견이었습니다. 영상과 텍스트를 이해할 수 있는 많은 현대 인공지능 모델은 수십억 개의 파라미터와 거대한 컴퓨팅 파워를 필요로 하는 반면, 이 새로운 방법은 약 7,000만 개의 파라미터만을 가진 모델로 작동합니다. 훨씬 더 작음에도 불구하고, 이 모델은 폭력적인 동작 데이터셋에서 84.0%의 정확도를 달성하여 훨씬 더 크고 복잡한 모델들을 능가했습니다. 더욱이, 이 시스템은 매우 빠릅서, 초당 약 1,900 프레임의 속도로 영상을 처리하는데, 이는 유사한 작업을 수행하는 일부 대규모 언어 모델보다 약 240배 빠른 속도입니다. 높은 정확도, 낮은 계산 비용, 그리고 비용이 많이 드는 재훈련 없이 새로운 동작을 학습하는 능력의 이러한 결 조합은, 인간 팀이 데이터를 라벨링하는 데 몇 주를 소비할 필요 없이 새로운 상황에 적응할 수 있는 지능형 감시 및 로봇 시스템을 배치하기 위한 실질적인 경로를 제시합니다.

이 연구는 프레임 단위의 값비싼 라벨링에서 보다 유연한 텍스트 가이드 학습 과정으로 초점을 전환함으로써, 고도로 감독된 모델에서나 가능했던 수준의 정교함으로 인간의 행동을 이해하는 시스템을 구축하는 것이 가능하다는 결론을 내립니다. 연구진은 컴퓨터에게 가능한 모든 특정 사건의 변형을 암기하도록 강요하는 대신, 신체 움직임과 언어 사이의 관계를 가르침으로써 보이지 않는 동작을 인식하도록 훈련하는 것이 가능하다는 것을 보여주었습니다. 이 접근 방식은 새로운 동작 인식 시스템을 개발하는 데 필요한 비용과 시간을 줄일 뿐만 아니라, 더 복잡하고 예측 불가능한 현실 세계에 더 견고하고 적응력이 뛰어난 모델을 만들어냅니다. 기술이 성숙해짐에 따라, 이는 안전을 모니터링하거나, 스포츠 분석을 돕거나, 로봇을 안내하는 새로운 세대의 애플십을 가능하게 할 것이며, 이 모든 과정에서 오랫동안 이 분야의 병목 현상이었던 수동 데이터 주석의 막대한 비용을 요구하지 않을 것입니다.