Learning Where and When: Patch-Based Spatiotemporal Localization in Weakly Supervised Video Anomaly Detection

기술 요약: 어디서 그리고 언제 학습하는가: 약지도 학습 기반 비디오 이상 탐지를 위한 패치 기반 시공간 국지화

1. 문제 정의

약지도 학습 기반 비디오 이상 탐지(WSVAD)는 전통적으로 비디오 수준의 레이블만을 사용하여 비디오 시퀀스 내에서 이상 현상이 언제 발생하는지를 식별하는 **시간적 국지화(temporal localization)**에 집중해 왔습니다. 그러나 이러한 접근 방식은 공간적 국지화, 즉 프레임 내 어디에서 이상 현상이 나타나는지를 결정하는 문제를 크게 간과합니다.

저자들은 공간적 국지화가 다음과 같은 이유로 중요하다고 주장합니다:

• 해석 가능성(Interpretability): 운영자가 경고를 검증하고 이상 현상의 원인을 이해할 수 있도록 합니다.
• 의사 결정(Decision Making): 의심스러운 객체를 추적하거나 자원의 우선순위를 정하는 것과 같은 세밀한 조치를 가능하게 합니다.
• 강건성(Robustness): 배경 편향으로 인한 오탐(false positives)을 줄이기 위해 배경 클러터와 실제 이상 현상을 구별하는 맥락적 단서를 제공합니다.

핵심 과제는 명시적인 바운딩 박스(bounding-box) 감독 없이 정밀한 공간 국지화 신호를 학습하는 것입니다. 바운딩 박스 주석(annotation)을 얻는 것은 비용이 많이 들고 주관적이기 때문입니다. 기존 방법들은 주로 전역 표현(global representations)이나 클립 수준의 점수에 의존하며, 이는 국지적인 이상 패턴을 포착하는 능력을 제한합니다.

2. 방법론

본 논문은 다중 인스턴스 학습(Multiple Instance Learning, MIL) 패러다임 하에서 공간과 시간 모두에서 이상 현상의 발생을 공동으로 모델링하는 패치 기반 시공간 프레임워크를 제안합니다.

2.1. 아키텍처 개요

입력 비디오는 시간적 세그먼트(각 16 프레임)로 분할되며, 사전 학습된 특징 추출기(UniFormer)를 통해 패치 수준의 시공간 표현을 생성하도록 처리됩니다. 그리드 크기는 세그먼트당 $7 \times 7$ 패치로 설정됩니다.

아키텍처는 두 개의 주요 브랜치로 구성됩니다:

1. 시간적 집계(Temporal Aggregation): 특징들을 패치 단위의 시간적 시퀀스로 재구성하고, 각 공간 패치에 대한 의존성을 모델링하기 위해 Temporal Transformer를 통과시킵니다.
2. 공간적 집계(Spatial Aggregation): 시간적으로 집계된 특징들을 재배열하여 각 세그먼트 내 패치 간의 관계를 포착하기 위해 Spatial Transformer를 통과시킵니다.

이 브랜치들은 두 개의 예측 헤드로 연결됩니다:

• 조립 단계(Coarse-Grained) 브랜치: 공간 특징을 풀링하여 세그먼트 수준의 이상 점수를 생성합니다.
• 세밀 단계(Fine-Grained) 브랜치: 각 세그먼트에 대해 패치 수준의 이상 확률($7 \times 7$ 그리드)을 생성합니다.

2.2. 근접성 인식 Top-k MIL 손실(Proximity-Aware Top-k MIL Loss)

핵심 혁신은 단순히 가장 높은 개별 점수에만 기반한 기존의 top-k 선택 방식을 대체하는 근접성 인식 Top-k 선택 전략입니다. 저자들은 이상 현상이 일반적으로 시간적으로 연속된 구간에 걸쳐 발생한다는 점에 주목했습니다.

손실 함수는 다음과 같이 작동합니다:

• 시간적 선택(Temporal Selection): 전역적으로 $K$개의 가장 높은 점수를 가진 프레임을 뽑는 대신, 슬라이딩 윈도우를 사용하여 누적 이상 점수가 가장 높은 연속된 $K$개의 세그먼트 블록을 찾습니다.
• 공간적 선택(Spatial Selection): 선택된 세그먼트 내에서, 패치 그리드 상에서 컨볼루션 윈도우($z \times z$)를 슬라이딩하여 합산 응답이 가장 높은 블록을 식별함으로써 가장 판별력이 높은 공간 영역을 찾습니다.
• 손실 계산(Loss Calculation):
  • 이상 비디오(Anomalous Videos): 선택된 연속적 시간 블록과 그에 대응하는 고응답 공간 패치들을 이진 교차 엔트로피(BCE) 손실을 위한 양성 인스턴스로 취급합니다.
  • 정상 비디오(Normal Videos): 모든 패치를 음성 인스턴스로 취급합니다.
  • 정규화(Regularization): 희소성(sparsity)을 장려하기 위해 이상 세트에 $L1$-norm을 적용하고, 점수가 0에 가깝게 유지되도록 정상 세트에 $L2$-norm을 적용합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 새로운 아키텍처: 훈련 중 바운딩 박스 감독 없이도 세밀한 공간 국지화를 가능하게 하는, 개별 패치에 대한 이상 점수를 생성하는 패치 기반 약지도 시공간 아키텍처를 제안합니다.
2. 근접성 인식 MIL 손실: 선택된 인스턴스가 순수하게 높은 점수에 의해서가 아니라 시간적 및 공간적 근접성에 기반한 클러스터링을 통해 형성되는 새로운 이웃 인식 top-k 손실 함수를 제안합니다.
3. 새로운 주석 데이터: 두 가지 널리 사용되는 데이터셋인 XD-Violence와 UBnormal의 테스트 세트에 대한 프레임 수준 바운딩 박스 주석을 공개하여, WSVAD에서의 공간 국지화에 대한 표준화된 평가를 용이하게 합니다.

4. 실험 결과

방법론은 네 가지 벤치마크(UCF-Crime, ShanghaiTech, XD-Violence, UBnormal)에서 평가되었습니다.

4.1. 지표

저자들은 두 가지 상호 보완적인 지표를 활용합니다:

• 시간적 교집합(Temporal Intersection over Union, TIoU): 예측된 영역과 실제 정답(ground-truth) 영역 사이의 겹침 정도를 측정합니다.
• 트랙 기반/영역 기반 탐지율(Track-Based/Region-Based Detection Rate, TBDR/RBDR): 오탐을 고려하고 프레임 수준의 겹침뿐만 아니라 시공간적 일관성(트랙)을 평가하는 더 포괄적인 지표입니다.

4.2. 성능

• TIoU: 제안된 방법("OURS")은 네 가지 데이터셋 모두에서 모든 최신(SOTA) 베이스라인(Deep-MIL, VADCLIP, ST-Prompt, LSTM-MIL 포함)을 능가합니다. 예를 들어, UCF-Crime에서 **40.51%**를 달 기록하여 이전 최고치(LSTM-MIL의 32.91%)를 거의 7.6% 차이로 넘어섰습니다.
• TBDR/RBDR: 이 방법은 모든 데이터셋에서 두 지표 모두 가장 높은 점수를 달성했습니다. UCF-Crime에서 77.20% TBDR과 69.83% RBDR에 도달했습니다. UBnormal에서는 57.23% TBDR과 33.29% RBDR을 달성하여 미묘한 이상 현상에 대한 강력한 일반화 능력을 입증했습니다.
• 제로샷 성능(Zero-Shot Performance): 특정 이상 클래스 없이 훈련하는 제로샷 설정에서, 제안된 모델은 베이스라인들에 비해 가장 작은 성능 저하(3.08% TBDR 감소)를 보여 탁월한 일반화 능력을 나타냈습니다.
• 효율성: 모델은 60프레임 입력당 약 44.23 ms가 소요되며, 정교화 모듈로 인해 베이스라인보다 약간 높지만 여전히 실시간 추론에 적합합니다.

4.3. 절제 연구(Ablation Studies)

• 구성 요소 제거: 공간 트랜스포머를 제거했을 때 가장 큰 성능 저하(19.15% TBDR)가 발생하여 공간 주의집중(spatial attention)의 필요성을 강조했습니다. 시간 트랜스포머를 제거하는 것도 성능을 크게 감소시켰습니다.
• 손실 함수: 표준 MIL을 근접성 MIL(Proximity MIL)로 교체했을 때 다양한 기존 프레임워크(Deep-MIL, URDMU, VADCLIP)에서 AUC가 개선되었습니다.
• 하이퍼파라미터: $7 \times 7$ 그리드와 공간 윈도우 크기 $z=2$가 최적의 결과를 냈습니다.

5. 의의 및 주장

본 논문은 순수하게 시간적 국지화에서 결합된 시공간 탐지로 전환함으로써 WSVAD의 근본적인 한계를 해결한다고 주장합니다. MIL을 공간 패치 수준에서 재구성함으로써, 저자들은 바운딩 박스 감독 없이도 영역 수준의 점수 산출을 가능하게 했습니다.

이 연구의 의의는 다음과 같습니다:

• 향상된 해석 가능성: 단순한 시간적 타임스탬프를 넘어 이상 현상의 명시적인 공간 맵을 제공합니다.
• 편향 감소: 명시적으로 공간적 증거를 모델링함으로써 전역 표현에 의존하여 발생하는 배경 편향을 완화하는 데 도움을 줍니다.
• 커뮤니티 자원: XD-Violence 및 UBnormal에 대한 바운딩 박스 주석을 공개함으로써, 저자들은 기존 데이터셋에서 결여되었던 공간 국지화 평가를 표준화하고자 합니다.

저자들은 자신들의 프레임워크가 실용적인 계산 효율성을 유지하면서도 국지화 정확도에서 상당한 이득을 달성하여, 감시 및 안전 필수 애플리케이션에 더 신뢰할 수 있는 배포를 위한 길을 열었다고 결론짓습니다.