CoLoRSMamba: Conditional LoRA-Steered Mamba for Supervised Multimodal Violence Detection

1. 연구 배경 및 문제 정의 (Problem)

• 폭력 탐지의 어려움: 실제 감시 환경에서 폭력 사건은 시각적 정보만으로는 식별하기 어려운 경우가 많습니다. (작은 상호작용, 모호한 움직임, 가림, 혼잡한 배경 등)
• 멀티모달의 비대칭성: 폭력 탐지는 본질적으로 멀티모달 (비디오 + 오디오) 이지만, 현실의 사운드스케이프는 노이즈가 많거나 시각적 장면과 관련이 약할 수 있습니다. 즉, 시각 정보는 신뢰할 수 있는 주된 근거인 반면, 오디오는 희소하고 때로는 오해의 소지가 있는 보조 정보입니다.
• 기존 방법의 한계:
  • 대부분의 기존 연구는 약한 지도 학습 (Weakly Supervised) 이나 비디오 중심에 치중되어 있습니다.
  • 강력한 지도 학습 (Strongly Supervised, 클립 단위 라벨) 을 수행하는 멀티모달 Mamba 기반 모델은 부재합니다.
  • 기존 멀티모달 모델들은 토큰 수준의 크로스 어텐션 (Cross-attention) 을 사용하여 계산 비용이 높거나, 오디오와 비디오의 신뢰도 차이를 고려하지 않은 대칭적 융합을 사용합니다.
  • 데이터셋 문제: 기존 데이터셋 (NTU-CCTV, DVD) 은 시간적 주석만 제공하여, 실제 장면과 무관한 오디오나 무음 (Silence) 이 포함된 클립이 포함되어 오디오 분기를 불공정하게 저하시킬 수 있습니다.

2. 제안 방법론: CoLoRSMamba (Methodology)

저자들은 CoLoRSMamba를 제안하며, 이는 VideoMamba와 AudioMamba를 결합한 방향성 (Directional) Video → Audio 멀티모달 아키텍처입니다.

핵심 구성 요소

1. 방향성 아키텍처 (Video → Audio Steering):

   • 시각적 앵커 (Semantic Anchor): VideoMamba 를 주된 백본으로 사용하여 시각적 맥락을 추출합니다.
   • 가이드된 오디오 분기: AudioMamba 는 시각적 컨텍스트에 의해 동적으로 제어되는 보조 분기로 작동합니다. 이는 오디오가 시각적 상황에 맞춰 적응하도록 합니다.

2. 조건부 LoRA 조향 (Conditional LoRA Steering, CoLoRS):

   • 작동 원리: 기존 LoRA 가 고정된 가중치에 저랭크 보정을 추가하는 것과 달리, CoLoRSMamba 는 **비디오 CLS 토큰 (CLS token)**을 조건부 신호로 사용하여 오디오 분기의 연산자 (Operator) 자체를 동적으로 변조합니다.
   • 조향 대상: 오디오 분기의 선택적 상태 공간 모델 (Selective SSM) 파라미터 생성기인 $\Delta$ (스텝 크기), $B$ (입력), $C$ (출력) 행렬에 직접 적용됩니다.
   • 구현: 각 레이어에서 VideoMamba 의 CLS 토큰이 채널별 변조 벡터 ($s(z)$) 와 안정화 게이트 ($g(z)$) 를 생성하여, 오디오의 저랭크 인자 (Low-rank factors) 를 변조합니다.
   • 효과: 토큰 수준의 크로스 어텐션 없이도 시각적 맥락이 오디오의 시간적 역학 (어떤 주파수에 주의를 기울일지, 상태가 얼마나 빠르게 잊혀질지 등) 을 재구성합니다.

3. 학습 목표 (Training Objective):

   • 이진 분류 손실: 클립 단위의 폭력/비폭력 라벨을 사용한 표준 이진 교차 엔트로피 손실.
   • 대칭적 AV-InfoNCE 손실: 오디오와 비디오 임베딩을 정렬하기 위한 대비적 학습 (Contrastive Learning) 보조 손실. 이는 공유 임베딩 공간을 정규화하여 견고성을 높입니다.

4. 데이터셋 정제 (Audio-Filtered Subsets):

   • 공정한 평가를 위해 NTU-CCTV 와 DVD 데이터셋에서 오디오 필터링 프로토콜을 적용했습니다.
   • 오디오 스트림이 없거나, 음압이 극도로 낮거나 (무음), 장면과 무관한 오디오 (내레이션, 배경음악 등) 가 지배적인 클립을 제거하여 오직 장면 관련 오디오가 포함된 클립만으로 평가 세트를 구성했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 강력 지도 학습 멀티모달 Mamba 폭력 탐지기: VideoMamba 를 앵커로 하고 AudioMamba 를 가이드된 분기로 하는 방향성 설계를 최초로 제안했습니다.
2. 연산자 수준의 조건부 LoRA: 특징 (Feature) 이 아닌 선택적 SSM 파라미터 생성기 ($\Delta, B, C$) 자체를 조건부 LoRA 로 제어하는 새로운 메커니즘을 도입했습니다. 이는 입력에 따라 오디오의 시간적 역학을 레이어별로 재구성하는 혁신적인 접근입니다.
3. 공정한 멀티모달 평가 기준 마련: 오디오 필터링이 적용된 NTU-CCTV 와 DVD 데이터셋 서브셋을 구축하여, 오디오의 실제 가치를 왜곡하지 않고 모델 성능을 평가할 수 있는 기준을 제시했습니다.

4. 실험 결과 (Results)

NTU-CCTV 와 DVD 데이터셋의 오디오 필터링된 테스트 세트에서 CoLoRSMamba 는 모든 베이스라인을 능가하는 성능을 보였습니다.

• 성능 (NTU-CCTV): 정확도 88.63%, F1-V 86.24% (기존 최상위 모델 LAVISH 대비 정확도 2.19%p 향상).
• 성능 (DVD): 정확도 75.77%, F1-V 72.94% (기존 최상위 모델 LAVISH 대비 정확도 1.37%p 향상).
• 효율성: 더 큰 파라미터 수를 가진 Transformer 기반 멀티모달 모델 (MBT, LAVISH 등) 보다 적은 파라미터 (158M) 와 FLOPs로 더 높은 정확도를 달성했습니다.
• 오디오 기여도 분석: 오디오가 비디오-only 모델의 오류를 수정하는 경우 (56 건) 가 오디오가 오해를 불러일으키는 경우 (21 건) 보다 약 2.67 배 더 많았습니다. 특히 시각적으로 모호한 상황 (군중, 빠른 움직임) 에서 오디오 (총성, 폭발음 등) 가 결정적인 역할을 했습니다.

5. 의의 및 결론 (Significance)

• 안전 중시 애플리케이션: 감시 및 공공 안전 분야에서 효율적이고 정확한 폭력 탐지 모델을 제공합니다.
• 모달리티 불균형 해결: 비디오와 오디오의 신뢰도 차이를 인정하고, 비디오가 오디오를 '조향 (Steer)'하는 비대칭적 설계를 통해 노이즈가 많은 오디오 환경에서도 견고한 성능을 발휘합니다.
• Mamba 의 확장: 선택적 상태 공간 모델 (SSM) 에 멀티모달 제어를 도입하여, 긴 시퀀스 처리와 효율성을 유지하면서 크로스 모달 상호작용을 가능하게 하는 새로운 패러다임을 제시했습니다.

요약하자면, CoLoRSMamba 는 시각적 맥락이 오디오의 시간적 역학을 동적으로 조절하는 조건부 LoRA 메커니즘을 통해, 노이즈가 많은 실제 환경에서도 고효율·고정확도의 폭력 탐지를 가능하게 한 획기적인 연구입니다.