Scene-aware Transformer encoder with Multi Instance Learning-guided Attention Mechanism for Anomaly Detection in Video Surveillance

기술 요약: 비디오 감시의 이상 탐지를 위한 다중 인스턴스 학습 유도 주의 메커니즘을 갖춘 장면 인식 트랜스포머 인코더

문제 정의
비디오 데이터의 양이 방대하여 수동 모니터링이 불가능한 현대적인 감시 시스템에서 비디오 이상 탐지(VAD)는 매우 중요합니다. 그러나 기존의 접근 방식은 상당한 한계에 직면해 있습니다. 시공간적 특징에 의존하는 전통적인 모델들은 주변 장면에 대한 **맥락적 인식(contextual awareness)**이 부족하여, 정상적인 활동을 이상 징ism으로 오분류(거짓 양성)하거나 미세한 이상 이벤트를 감지하지 못하는 경우가 많습니다. 또한, 많은 모델은 일반화 능력(generalizability) 측면에서 어려움을 겪습니다. 즉, 벤치마크에서는 우수한 성능을 보이지만, 동일한 행동이 한 맥락에서는 정상이고 다른 맥락에서는 이상 행동이 될 수 있는 미지의 실제 환경에서는 제대로 작동하지 못합니다. 현재의 방법론들은 종종 "블랙박스" 구조에 의존하며, 이는 보안 애플리케이션에서의 해석 가능성과 신뢰성에 대한 우려를 불러일으킵니다.

방법론
저자들은 STAM(Scene-aware Transformer encoder with Multi Instance Learning-guided Attention Mechanism)이라고 불리는 통합 프레임워크를 제안합니다. 이 아키텍처는 시공간적 역동성과 맥락적 장면 임베딩을 공동으로 최적화하기 위해 이중 분기 설계를 채택합니다:

1. 대조적 그래프 기반 장면 임베딩 (CGSE):

   • 환경 특유의 맥락을 포착하기 위해, 모델은 **대조 학습(contrastive learning)**과 **그래프 합성곱 네트워크(GCN)**를 결과적으로 사용합니다.
   • 장면은 객체를 노드로, 관계를 에지로 하는 그래프로 모델링됩니다. 이는 장면을 평면적인 벡터로 축소하는 대신 장면의 구조적 레이아웃을 보존합니다.
   • 모델은 프레임을 노드의 가방(bag of nodes)으로 취급하여 그래프를 통해 메시지를 전파하고 중간 표현을 집계함으로써 장면 임베딩 벡터를 생성합니다.
   • 이 임베딩은 이미지 캡션을 이용한 약지도 학습을 통해 훈련되며, 유사한 장면 구조는 서로 끌어당기고 서로 다른 장면 구조는 밀어내는 대조 손실(contrastive loss)을 사용합니다.

2. 시공간 특징 추출 (I3D):

   • 비디오 스니펫(snippet)은 **I3D(Inflated 3D ConvNet)**를 사용하여 처리됩니다.
   • I3D 모델은 2D 컨볼루션 커널을 3D로 확장하여 공간적 및 시간적 역동성을 모두 포착합니다. 이 모델은 외관 특징을 위한 원본 RGB 프레임과 움직임 특징을 위한 광학 흐름(optical flow) 필드의 두 스트림을 처리합니다.
   • 두 스트림은 결합되어 각 스니펫에 대한 결합된 시공간 특징 벡터를 형성합니다.

3. MIL 유도 주의 메커니즘을 갖춘 트랜스포머 인코더:

   • 핵심 혁신은 장면 임베딩 벡터가 특수한 CLS 토큰(글로벌 컨텍스트 토کن)으로 명시적으로 인코딩되는 트랜스포머 인코더입니다.
   • 모델은 비디오를 스니펫의 "가방(bag)"으로 취급하는 다중 인스턴스 학습(MIL) 설정을 활용합니다. 만약 비디오가 이상하다면, 가방 내의 적어도 하나의 스니펫은 반드시 이상해야 합니다.
   • 커스텀 **MIL 유도 주의 메커니즘(MIL-guided Attention Mechanism)**이 사용됩니다. 표준적인 주의 메커니즘과 달리, 이 메커니즘은 장면 임베딩(CLS 토큰)을 글로벌 애그리게이터(global aggregator)로 사용하여 개별 시공간 토큰의 주의 가중치를 조절합니다.
   • 이를 통해 모델은 글로벌 장면 맥락을 고려하여 이상 스니펫의 우선순위를 정함으로써, 기존의 집계 방식(max 또는 average pooling) 대신 이상 가중치를 효과적으로 재정의할 수 있습니다.
   • 집계된 주의 점수가 특정 임계값(0.5)을 초과하면 알람이 발생합니다.

주요 기여
본 논문은 세 가지 주요 기여를 설명합니다:

• 대조적 장면 임베딩: 변별력 있는 환경적 맥락을 포착하기 위해 대조 학습과 GCN으로부터 유도된 장면 임베딩 벡터를 도입하여 복잡한 시나리오에서의 탐지 정확도를 높였습니다.
• I3D 특징 추출: Inflated 3D ConvNet을 사용하여 시간적 및 공간적 역동성을 효과적으로 모델링함으로써 정확한 이상 탐지에 필수적인 맥락을 제공합니다.
• STAM 프레임워크: 장면 임베딩을 글로벌 CLS 토큰으로 취급하는 MIL 유도 주의 메커니즘이 통합된 새로운 트랜스포머 인코더입니다. 이 설계는 장면 맥락을 고려하여 스니펫 수준의 주의를 명시적으로 유도함으로써 견고한 탐지를 위해 이상 세그먼트에 우선순위를 부여합니다.

실험 결과
제안된 STAM 모델은 UCF-Crime 데이터셋(1,900개의 언트림 비디오)에서 평가되었으며, 교차 데이터셋 성능 검증을 위해 UCF101 데이터셋에서도 검증되었습니다.

• 성능 지표: UCF-Crime 데이터셋에서 STAM은 **정확도 99.85%**와 **AUC 99.98%**를 달연했습니다.
• 비교 분석: STAM은 I3D-MIL, SpatioTemporal-Transformer (ST-Trans), GAN-MIL, BiLSTM, ConvLSTM을 포함한 베이스라인 모델들을 능가했습니다. 예를 들어, ConvLSTM 모델(정확도 99.06%)과 DD-MIL(Dual Network in MIL) 모델보다 뛰어난 성능을 보였습니다.
• 교차 데이터셋 검증: UCF101 테스트 시에도 STAM은 높은 성능(정확도 99.85% 및 AUC 99.96%)을 유지하였으며, 이는 베이스라인 모델들이 겪었던 일반화 문제와 비교하여 미지의 환경에서도 견고함을 입증합니다.
• 절제 연구(Ablation Study): 통계적 분석(쌍체 t-검정)을 통해 장면 임베딩과 특정 MIL 주의 메커니즘의 포함이 이러한 구성 요소가 없는 변형 모델(예: 장면 인식이 없는 트랜스포머는 96.15% AUC 기록)에 비해 성능을 유의미하게 향상시킨다는 것을 확인했습니다.
• 효율성: 모델이 더 높은 계산 복잡도($O(T^2d_f + n_e d_s)$)와 상대적으로 느린 추론 속도(52 fps)를 가짐에도 불구하고, 여전히 실시간 요구 사항을 충족하며 탁월한 정확도를 제공합니다.

의의 및 주장
저자들은 본 연구의 의의가 VAD 연구를 순수한 시간적 이상 탐지에서 전체론적이고 맥락 중심적인 모델로 전환하는 데 있다고 주장합니다.

• 맥락적 해석 가능성: 장면 구조를 명시적으로 인코딩함으로써, 모델은 특정 환경에서 정상적인 행동을 오해하여 발생하는 거짓 알람 문제를 해결하고 "맥락 의존성"을 다룹니다.
• 약지도 학습: 프레임 수준의 주석 없이도 MIL 주의 메커니즘을 사용하여 이상을 국지화함으로써, 비디오 수준의 레이블만 사용하는 약지도 학습을 효과적으로 처리합니다.
• 견고성: 대조 학습과 GCN의 통합은 관계적 구조에 대한 새로운 관점을 제공하여 미지의 환경에 대한 일반화 능력을 향려시킵니다.
• 운영적 영향: 저자들은 오보(false alarm)를 줄이고 환경적 맥락에 따라 양호한 행동과 의심스러운 행동을 구분할 수 있는 능력이 공공 안전, 교통 모니터링, 군중 관리와 같은 핵심 영역에서 본 시스템의 관련성을 높인다고 주장합니다.

결론적으로, 이 이중 분기 아키텍처는 이상 탐정의 새로운 최첨단 표준을 설정하며 다중 모달 감시 시스템의 미래를 열어줍니다.