기술 요약: FuseMamba-VD

문제 정의

감시 카메라의 급격한 확산은 방대한 양의 비디오 데이터를 생성하였으며, 이는 폭력 탐지를 위한 지속적인 인간 모니터링을 비실용적이고 신뢰할 수 없게 만들고 있습니다. 3D 합성곱 신경망(CNN) 및 트랜스포머 기반 아키텍처와 같은 기존의 딥러닝 접근 방식은 시공간적 특징 추출에서 성공을 보여주었으나, 심각한 한계에 직면해 있습니다. 3D CNN은 장기 의존성(long-range dependencies)을 포착하는 데 어려움을 겪는 반면, 트랜스포머는 시퀀스 길이에 따른 이차 복잡도(quadratic computational complexity)를 유발하여 길고 고해한 감시 비디오에 대한 확장성을 제한합니다. 또한, 훈련에 사용되는 기존 데이터셋 중 다수는 연출된 장면(예: 영화 장면)이거나 약하게 레이블링(weakly labeled)되어 있어, 실제 환경의 복잡한 감시 시나리오를 제대로 반영하지 못합니다.

방법론

저자들은 상태 공간 모델(State-Space Models, SSMs)을 활용하여 설계된 효율적인 지도 학습 기반 폭력 탐지 아키텍처인 FuseMamba-VD를 제안합니다. 핵심 혁신은 **이중 분기 디자인(dual-branch design)**과 게이트형 클래스 토큰 퓨전(Gated Class Token Fusion, GCTF) 메커념의 결합에 있습니다.

1. 아키텍처 개요

이 모델은 양방향 상태 공간 모듈을 사용하는 VideoMamba 백본을 기반으로 구축되었습니다. 모델은 네 가지 주요 구성 요소로 이루어집니다:

• 크로핑 모듈(Cropping Module): 계산 자원을 관련 있는 인간 상호작용에 집중하기 위해, 폭력이 일반적으로 여러 개인을 포함한다는 관찰에 근거하여 각 프레임에서 모든 탐지된 사람을 포함하는 영역을 추출합니다.
• 이중 분기 파이프라인(Dual-Branch Pipeline): 시공간 패치로 토큰화된 비디오 입력($X \in \mathbb{R}^{3 \times T \times H \times W}$)을 두 개의 병렬 파이프라인이 처리합니다:
  • 분기-1 (공간 우선 스캐닝, Spatial-First Scanning): 프레임 내의 공간적 배치를 우선시하도록 토큰을 재구성한 후 시간축을 따라 연결합니다. 이 분기는 미세한 국소적 공간 단서를 포착하도록 설계되었습니다.
  • 분기-2 (시간 우선 스캐닝, Temporal-First Scanning): 토큰의 자연스러운 시간 순서를 유지하며 공간 차원으로 쌓습니다. 이 분기는 동적인 움직임 패턴과 전역적 시간 의존성에 집중합니다.
  • 두 분기 모두 사전 학습된 VideoMamba 가중치를 사용하며 양방향 스캐닝을 채택합니다.

2. 게이트형 클래스 토큰 퓨전 (GCTF)

두 분기 사이의 정보를 통합하기 위해 새로운 연속 퓨전 메커니즘이 도입되었습니다. 후기 퓨전(late-fusion) 방식과 달리, GCTF는 네트워크의 모든 레이어에서 작동합니다:

• 각 분기는 매 레이어마다 클래스 토큰($CLS$)을 생성합니다.
• 학습 가능한 게이팅 메커니즘이 공간 분기의 $CLS$토큰($CLS^1$)을 시간 분기의$CLS$토큰($CLS^2$)에 적응적으로 병합합니다.
• 퓨전은 다음과 같이 정의됩니다: $CLS^2_{fused} = \sigma' \odot CLS^2 + (1 - \sigma') \odot CLS^1$, 여기서 $\sigma'$는 시그모이드 활성화 함수가 적용된 학습 가능한 파라미터입니다.
• 이를 통해 네트워크 초기 단계에서 어느 한쪽 모달리티에 과도하게 치우치지 않으면서 공간 및 시간 표현을 점진적으로 정교화할 수 있습니다.

3. 최종 퓨전

최종 레이어에서는 두 분기의 $CLS$ 토큰을 연결(concatenate)한 후 완전 연결 투영 레이어를 통과시켜 최종 분류 확률을 생성합니다.

주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 이중 분기 상태 공간 아키텍처: 지도 학습 기반 비디오 폭력 탐지를 위한 최초의 상태 공간 기반 이중 분기 디자인입니다. 이는 기존 모델들이 후기 퓨전이나 무거운 어텐션 메커니즘에 의존하는 것과 대조적으로, 클래스 토큰을 통한 지속적인 시맨틱 상호작용을 가능하게 하면서 공간적 추론과 시간적 추론을 명시적으로 분리합니다.
2. 게이트형 클래스 토큰 퓨전 (GCTF): 분기별 클래스 토큰을 적응적으로 통합하는 연속적 레이어 단위 퓨전 메커니즘입니다. 이는 특징의 점진적인 정렬을 가능하게 하며 특정 분기에 대한 조기 과잉 몰입을 방지합니다.
3. 통합 감시 벤치마크 및 효율성: 저자들은 훈련 및 테스트 세트 간의 데이터 누수(data leakage)를 방지하기 위한 엄격한 통제를 거쳐 네 가지 강력하게 레이블링된 오픈 소스 데이터셋(RWF-2000, RLVS, SURV, VioPeru)을 결합하여 새로운 벤치마크를 큐레이션했습니다. 이들은 FuseMamba-VD가 이전 연구들에 비해 파라미터와 FLOPs를 대폭 줄이면서도 최첨단(SOTA) 성능을 달ink함을 입증했습니다.

실험 결과

모델은 새롭게 구축된 결합 벤치마크와 최근 도입된 DVD 데이터셋에서 평가되었습니다.

• 결합 벤치마크: FuseMamba-VD는 Top-1 정확도 **95.85%**를 달성하여 SlowFast, VideoSwin, UniFormer-V2, CUE-Net 및 다양한 VideoMamba 변형을 포함한 베이스라인들을 능가했습니다. 또한 폭력(violent)에 대해 95.89%, 비폭력(non-violent)에 대해 95.81%의 F1 점수를 기록했습니다.
• DVD 데이터셋: 실제 환경의 가변성과 클래스 불균형이 존재하는 더 까다로운 이 데이터셋에서, 모델은 **74.13%**의 Top-1 정확도에 도달하여 모든 베이스라인(71% 이하 기록)을 앞질렀습니다.
• 효율성: CUE-Net(정확도 면에서 가장 가까운 경쟁 모델)보다 뛰어난 성능을 보이면서도, FuseMamba-VD는 훨씬 적은 자원을 사용합니다:
  • 파라미터: 154.3M vs. 354M (CUE-Net).
  • FLOPs: 1912 GFLOPs vs. 5906 GFLOPs.
  • 추론 속도: NVIDIA H100 GPU에서 FuseMamba-VD는 343.53 FPS를 달성하여, CUE-Net(72.64 FPS) 대비 약 4.7배 빠른 속도를 보여줍니다.
• 어블레이션 연구 (Ablation Studies): 실험을 통해 이중 분기 디자인이 단일 분기 변형보다 우수함을 확인했습니다. 또한, 모든 블록에서 연속적인 측면 연결(lateral connections)을 사용하는 것이 특정 레이어(시작, 중간 또는 끝)에서만 연결을 적용하는 구성보다 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 FuseMamba-VD가 정확도와 계산 효율성 사이의 최적의 균형을 제공하며, 확장 가능하고 자원 효율적인 비디오 폭력 탐지를 위한 상태 공간 모델(SSM)의 유망함을 입증한다고 주장합니다. 공간적 추론과 시간적 추론을 효과적으로 분리하면서 게이팅 메커니즘을 통해 지속적인 상호작용을 유지함으로써, 모델은 폭력을 나타내는 미세한 움직임 차이에 대한 민감도를 향 향상시킵니다. 저자들은 이 연구를 높은 정확도와 낮은 계산 비용이 모두 중요한 실제 환경의 감시 애플리케이션을 향한 단계로 규정합니다. 코드와 사전 학습된 모델은 커뮤니티에 공개되어 있습니다.