Weakly Supervised Video Anomaly Detection Using CNN-LSTM with Confidence-Aware Automated Pseudo Label Generation

감시 카메라는 도시, 상점, 거리를 지켜보며 인간 활동의 연속적인 흐름을 포착합니다. 수십 년 동안 목표는 컴퓨터가 우리와 함께 이 영상을 지켜보며 문제가 발생하는 즉시 발견할 수 있도록 만드는 것이었습니다. 그러나 문제는 컴퓨터에게 싸움, 절도, 또는 화재를 인식하도록 가르치는 것이 매우 어렵다는 점입니다. 이를 위해서는 인간 전문가가 위험한 모든 순간을 일일이 표시한 채로 수천 개의 사례를 기계에게 보여주어야 합니다. 이러한 수동 레이블링 작업은 느리고 비용이 많이 들며, 매일 생성되는 방대한 양의 비디오 데이터를 처리하기에는 불가능한 경우가 많습니다. 이러한 상세한 레이블이 없다면, 표준 컴퓨터 프로그램은 무엇이 정상이고 무엇이 아닌지를 학습하는 데 어려움을 겪으며, 일상생활의 엄청난 다양성 때문에 종종 혼란을 겪게 됩니다.

이를 해결하기 위해 시라즈 대학교(Shiraz University)의 연구진은 인간이 비디오의 매 초마다 레이블을 달 필요 없이 컴퓨터가 이상 징후를 포착하도록 가르치는 새로운 방법을 개발했습니다. 값비싼 수동 기록에 의존하는 대신, 그들의 시스템은 세 가지 서로 다른 렌즈를 통해 영상을 관찰함으로써 영상 속에서 어떤 일이 일어나고 있는지 스스로 이해를 구축합니다. 첫째, 시스템은 움직임을 탐지하여 화면의 픽셀이 변하는 모든 부분을 식별합니다. 둘째, 움직이는 영역 내에서 사람이나 차량과 같은 특정 객체를 인식하려고 시도합니다. 마지막으로, 해당 객체의 정밀한 윤곽을 그려 그들이 정확히 어느 정도의 공간을 차지하는지 확인합니다. 이 세 가지 관찰을 결합함으로써, 시스템은 비디오의 어느 부분이 정상이고 어느 부분이 이상한지에 대해 스스로의 '추측'을 생성합니다. '의사 레이블(pseudo labels)'이라고 불리는 이 추측은 완벽하지 않지만, 연구진은 시스템이 각 추측에 대해 얼마나 확신하는지를 따져보고, 불확실한 것은 무시하며 명확한 신호에 집중하도록 하는 특별한 방법을 설계했습니다.

이 새로운 접근 방식의 핵심은 이러한 자동화된 추측으로부터 학습하는 경량 컴퓨터 모델입니다. 연구진은 수백만 개의 이미지로부터 형태와 객체를 이미 인식하는 법을 배운 눈 역할을 하는 사전 학습된 비전 시스템을 사용했으며, 학습 중에 설정이 변경되지 않도록 이를 고정했습니다. 이는 엄청난 양의 컴퓨팅 전력을 절약했으며, 시스템의 조정 가능한 부분을 거의 94% 줄였습니다. 그 후 모델은 이벤트의 순서를 기억하기 위해 메모리 구성 요소를 사용하여 프레임 간의 점들을 연결함으로써 장면이 시간이 지남에 따라 어떻게 진화하는지 이해했습니다. 시스템이 한 장면을 정상에서 비정상으로 급격하게 레이블링하는 것을 방지하기 위해, 연구진은 한 순간에서 다음 순간으로 부드럽고 일관된 예측을 하도록 권장하는 규칙을 추가했습니다.

13가지 유형의 범죄가 포함된 대규모 감시 영상 컬렉션에서 테스트했을 때, 이 시스템은 높은 신뢰도로 성능을 발휘했습니다. 시스템은 테스트 케이스의 약 80%에서 이상 징후를 정확히 식별했으며, 정상 활동과 비정상 활동을 구분하는 데 있어 78%의 균형 잡힌 점수를 달랐습니다. 연구진은 결과의 일관성을 보장하기 위해 서로 다른 무작위 시작점을 사용하여 실험을 다섯 번 수행했으며, 성능은 모든 시도에서 안정적으로 유지되었습니다. 결정적으로, 이 시스템은 훈련 비디오의 위험한 순간을 인간이 수동으로 표시하지 않고도 이 성과를 달성했습니다. 움직임 탐지, 객체 인식, 그리고 윤곽 추출의 자동화된 과정은 인간의 주석 작업을 대체할 수 있는 실행 가능한 대안임을 입증했으며, 이를 통해 이전보다 훨씬 더 큰 데이터셋으로 비디오 모니터링을 확장하는 것이 가능해졌습니다.

연구는 또한 자동화된 파이프라인의 각 부분이 필수적임을 밝혀냈습니다. 연구진이 움직임 탐지, 객체 인식, 또는 정밀한 윤곽 추출 중 하나라도 제거했을 때, 이상 징후를 포착하는 시스템의 능력은 현저히 떨어졌습니다. 이는 세 가지 시각적 단서의 조합이 단일 방법보다 더 풍부하고 신뢰할 수 있는 그림을 제공한다는 것을 확인시켜 주었습니다. 이 시스템이 아직 완벽하지는 않으며 매우 붐비는 장면이나 조명이 열악한 환경에서는 여전히 어려움을 겪을 수 있지만, 이는 자동화된 감시를 실용적으로 만드는 데 있어 중요한 진전을 의미합니다. 수동 레이블링이라는 병목 현상을 제거하고 컴퓨팅 비용을 획기적으로 줄임으로써, 이 접근 방식은 인간이 유지할 수 없는 수준의 주의력을 가지고 공공장소를 감시할 수 있는 지능형 모니터링 시스템을 실제 세계에 배치할 수 있는 현실적인 경로를 제시합니다.