Weakly-Supervised Spatiotemporal Anomaly Detection

기술 요약: 약지도 시공간 이상 탐지

문제 정의
감시 카메라의 급증으로 인해 인간 운영자가 방대한 양의 영상을 모니터링하여 드문 이상 사건을 식별하는 데 한계가 발생하는 병목 현상이 발생했습니다. 자동화된 이상 탐지는 실용적인 해결책이지만, 기존 접근법들은 한계에 직면해 있습니다. 정상 데이터만으로 학습하는 비지도 방법은 '정상' 행동이 문맥에 의존적이기 때문에 종종 데이터셋에 특화됩니다. 반면, 완전 지도 방법은 값비싼 프레임 단위 또는 시공간 주석이 필요하며, 이를 생성하는 데 시간이 많이 소요됩니다. 본 논문은 영상에 이상 유무를 나타내는 약한 영상 수준 레이블만으로 이상을 탐지하는 과제를 다루며, 순수한 시간적 탐지 범위를 이상 발생 특정 지역을 국소화하는 시공간 탐지로 확장합니다.

방법론
제안된 접근법은 Sultani 등이 시간적 탐지에 적용했던 다중 인스턴스 학습 (MIL) 프레임워크를 시공간 영역으로 적응시킵니다. 핵심 아키텍처와 프로세스는 다음과 같습니다:

• 특징 추출: 비디오 클립은 I3D 네트워크를 사용하여 처리됩니다. 구체적으로, 특징은 여섯 번째 인셉션 모듈 (4e 레이어) 의 출력에서 추출됩니다. 전체 클립을 처리하거나 광학 흐름을 사용하는 이전 작업들과 달리, 이 방법은 원시 비디오 입력에서 외관 특징에 집중합니다.
• 시공간 큐비드: 전체 비디오 클립을 단일 인스턴스로 취급하는 대신, 특징 표현 (4 차 텐서) 을 공간 영역으로 나눕니다. 비디오 클립은 49 개의 동일한 크기를 가진 시공간 큐비드 (2x2 공간 그리드) 로 분할됩니다. 각 큐비드는 '가방' 내의 하나의 '인스턴스'를 나타냅니다.
• 가방 정의:
  • 양성 가방: 이상을 포함한 비디오 클립. 이 클립 내의 적어도 하나의 시공간 인스턴스 (큐비드) 가 이상을 포함한다는 가정을 합니다.
  • 음성 가방: 정상 비디오 클립. 이 클립 내의 어떤 인스턴스도 이상을 포함하지 않는다는 가정을 합니다.
• 분류 및 손실: 각 시공간 큐비드는 3 차 평균 풀링 레이어, 배치 정규화, ReLU 및 드롭아웃을 포함한 5 개의 완전 연결 레이어, 그리고 0 과 1 사이의 이상 점수를 출력하는 최종 시그모이드 활성화로 구성된 분류기 네트워크를 통과합니다.
• 학습 목적: 모델은 다중 인스턴스 순위 (MIL) 손실을 사용하여 학습됩니다. 목적 함수는 양성 가방 내 인스턴스들의 최대 이상 점수가 음성 가방의 최대 이상 점수보다 커야 함을 강제합니다. 이를 통해 네트워크는 학습 중 명시적인 지역 수준 감독 없이 이상을 일으키는 특정 시공간 영역을 식별하도록 학습할 수 있습니다.

주요 기여

1. 시공간 확장: 본 논문은 공간 국소화를 포함하도록 약지도 시간적 이상 탐지 패러다임을 확장합니다. 특징 맵을 시공간 큐비드로 분할함으로써, 이 방법은 이상 발생 시점을 넘어 프레임 내 어디에서 발생하는지 파악하려 시도합니다.
2. 약지도 프레임워크: 이 접근법은 비용이 많이 드는 바운딩 박스 또는 튜브 주석이 필요한 훈련 단계 없이도 영상 수준 레이블만으로 시공간 탐지가 가능함을 보여줍니다.
3. 아키텍처 적응: 이 작업은 여섯 번째 인셉션 블록에서 I3D 특징을 활용하고 비디오 클립에서 인스턴스 수준 표현을 생성하기 위해 공간 분할을 적용함으로써 표준 MIL 파이프라인을 수정합니다.

결과
이 방법은 UCF Crime2Local 데이터셋 (시공간 주석이 포함된 UCF-Crime 의 하위 집합) 과 전체 UCF-Crime 데이터셋에서 평가되었습니다.

• UCF Crime2Local: 모델은 **68%**의 곡선 아래 면적 (AUC) 을 달성했습니다. 이 결과는 시공간 주석도 부재한 Landi 등의 약지도 '비디오 세그먼트' 기준 (56.12%) 보다 우수했습니다. 그러나 훈련 중 정답 바운딩 박스를 활용한 Landi 등의 완전 지도 '오라클 튜브' 접근법 (74.73%) 보다는 낮았습니다.
• 전체 UCF-Crime: 더 큰 데이터셋에서 모델은 **63%**의 AUC 를 달성했으며, 이는 [3] 의 최첨단 방법인 약 82% 에 비해 낮은 수치였습니다.
• 정성적 분석: 예측된 이상 점수와 정답의 시각화는 모델이 정상의 프레임에는 낮은 점수, 이상의 프레임에는 높은 점수를 부여하여 이상 시간적 존재를 올바르게 식별함을 보여주었습니다. 그러나 모델은 단일 지역을 격리하는 대신 여러 '블롭'을 이상으로 예측하는 경향이 있었습니다.

의의 및 주장
본 논문은 약지도 이상 탐지에 시공간 특징을 통합하는 것이 순수한 시간적 탐지보다 우위를 가질 수 있는 유망한 방향이라고 주장합니다. 저자들은 현재 결과가 최첨단 완전 지도 방법이나 다른 강력한 기준선과 아직 일치하지는 않지만, 이 접근법이 밀집된 주석 없이 이상을 국소화할 수 있는 가능성을 성공적으로 입증했다고 인정합니다.

저자는 겸손하게 이 방법이 경쟁력 있는 성능에 도달하기 위해 추가적인 정제가 필요하다고 결론지었습니다. 그들은 다음과 같은 개선 영역을 식별했습니다:

• 비디오당 여러 개의 이상 지역을 예측하는 것을 방지하기 위해 정규화를 추가합니다.
• 현재 사용되는 외관 기반 특징을 보완하기 위해 광학 흐름을 사용하는 양-스트림 접근법을 통해 운동 정보를 통합합니다.