기술 요약: 이상 행동 인식을 위한 NSP-ML

문제 정의

캠퍼스 환경에서의 이상 행동 인식은 지능형 감시 및 안전 관리를 위해 매우 중요합니다. 기존 방법론들은 진전을 이루었으나, 주로 시각 정보에 의존하고 있습니다. 이러한 의존성은 중대한 한계를 만듭니다. 시각적 표현만으로는 맥락적 제약(예: 시간, 장소, 기대 활동 패턴)에 따라 유사해 보이지만 서로 다른 의미를 갖는 행동들을 구분하는 데 실패할 수 있기 때문입니다. 예를 들어, 캠퍼스 환경에서 "달리기"라는 동작은 운동장에서는 정상적일 수 있지만, 실험실 복도에서는 이상 행동이 될 수 있습니다. 현재의 멀티모달 접근 방식은 텍스트 입력을 정적인 라벨이나 일반적인 설명으로 취급하며, 특정 시공간적 조건과 관련된 상황적 규범이나 사전 지식을 명시적으로 인코딩하지 못합니다. 결과적으로, 이러한 모델들은 시각적 외형 자체보다는 기대 패턴으로부터의 이탈에 기반하여 "이상함"의 정의가 결정되는 맥락 의존적 이상 행동을 식별하는 데 어려움을 겪습니다.

방법론

본 논문은 시각적 표현을 두 가지 특정 유형의 맥락적 텍스트 지식인 정상성 가이드 로그(normality-guided logs) 및 **시공간 사전 인지 로그(spatiotemporal prior-aware logs)**와 융합하도록 설계된 프레임워크인 NSP-ML(Normality-Guided and Spatiotemporal Prior-Aware Multimodal Learning)을 제안합니다.

1. 맥락적 텍스트 구축

프레임워크는 정적인 클래스 라벨 대신, 각 비디오 클립 $i$와 후보 클래스 $c$에 대한 맥락 조건부 행동 가설($H_{i,c}$)을 구축합니다. 이 가설은 다음을 결합하여 형성됩니다:

• 행동 프로토타입 ($B_c$): 행동에 대한 짧은 의미론적 설명.
• 정상성 로그 ($N_i$): 특정 캠퍼스 조건 하에서의 기대되는 행동에 대한 텍스트 설명.
• 시공간 사전 로그 ($P_i$): 특정 위치 및 시간과 관련된 위험 수준, 활동 패턴 및 민감도를 요약한 텍스트.

2. 시공간 사전 임베딩

텍스트 로그 외에도, 모델은 구조화된 신호를 텍스트 브랜치에 직접 인코딩합니다:

• 시간 임베딩: 타임스탬프를 사인/코사인 함수를 사용하여 주기적 임베딩으로 변환합니다.
• 지리적 임베딩: 좌표, 구역 밀도 및 관리 민감도를 기반으로 위치를 인코딩합니다.
• 이러한 구조적 임베딩은 텍스트 특징 공간으로 투영되어 텍스트 사전 설명과 정렬됩니다.

3. 사전 인지 멀티 헤드 어텐션 (Prior-Aware Multi-Head Attention)

프레임워크는 사전 인지 멀티 헤드 어텐션 메커니즘을 도입합니다. 표준 어텐션과 달리, 이 모듈은 투영된 맥락 벡터($\bar{C}_i$)를 쿼리 벡터에 주입합니다. 이를 통해 모델은 시공간적 사전에 의해 유도되는 토큰 수준의 추론을 수행할 수 있으며, 시각적 증거와 맥락적 가설 간의 상호작용을 강화합니다.

4. 게이트형 맥락 융합 (Gated Contextual Fusion)

경량 게이팅 메커니즘은 행동 프로토타입, 정상성 로그, 그리고 사전 로그의 기여도를 적응적으로 조절합니다. 이를 통해 모델은 각 특정 분류 결정에 대해 정상성 기대치와 사전 제약 조건에 각각 얼마만큼의 가중치를 부여할지 동적으로 결정할 수 있습니다.

5. 최적화 목적 함수

프레임워크는 세 가지 구성 요소로 이루어진 복합 손실 함수($L$)를 사용하여 학습됩니다:

• 맥락적 분류 손실 ($L_{cls}$): 시각적 표현을 맥락 조건부 가설과 매칭하기 위한 표준 교차 엔트로피 손실.
• 대칭적 대조 손실 ($L_{con}$): 시각적 특징이 그에 대응하는 맥락적 텍스트 가설과 일치하도록 보장하는 시각-언어 정렬 목적 함수.
• 역사실적 맥락 손실 ($L_{cf}$): 잘못된 가설(예: 한 장면의 정상성 로그를 다른 장면의 것으로 교체)을 도입하여, 모델이 올바른 장면 로직과 잘못된 로직을 명시적으로 구분하도록 가르쳐 맥락적 변별력을 강화하는 새로운 손실 함수.

주요 기여

1. 새로운 멀티모달 프레임워크: 본 연구는 시각 데이터와 정상성 가이드 로그 및 시공간 사전 인지 로그를 융합하는 NSP-ML을 소개합니다. 이 통합된 표현은 시각적 증거와 상황적 기대 사이의 시너지를 활용함으로써 미세한 이상 행동에 대한 보다 맥락 민감한 해석을 가능하게 합니다.
2. 맥락적 사전 지식의 명시적 모델링: 텍스트를 정적인 라벨로 취급하는 기존 방식과 달리, 본 연구는 맥락적으로 기대되는 패턴으로부터의 이탈과 관련하여 이상 행동을 모델링합니다. 구조화된 시공간 임베딩과 사전 인지 어텐션 메커니즘의 도입은 교차 모달 상호작용을 강화합니다.
3. 강력한 성능 및 일반화 능력: 본 프레임워크는 여러 데이터셋에 걸쳐 효과를 입증했습니다. 캠퍼스 특화 데이터셋인 CABRH8에서 우수한 성과를 달ols했으며, 일반적인 행동 인식 벤치마크(UCF-101 및 HMDB-51)에서도 강력한 성능을 유지하여 특정 캠퍼스 시나리오를 넘어선 견고함을 확인했습니다.

실험 결과

실험은 주로 CABRH8 데이터셋(5,950개 클립, 8개 카테고리의 캠퍼스 이상 행동)에서 수행되었으며, UCF-101 및 HMDB-51을 통한 추가 검증이 이루어졌습니다.

• CABRH8 성능: 제안된 NSP-ML-L 변체(ViT-L/14 백본 사용)는 Top-1 정확도 81.52%, **Top-5 정확도 99.45%**를 달성했습니다. 이는 기존의 시각 전용 방법(예: TimeSformer, Swin-B) 및 정적 텍스트 가이드 방식(예: 80.26% Top-1을 기록한 CECL-L)보다 뛰어난 성능입니다.
• 효율성: 더 높은 정확도에도 불구하고, NSP-ML-L은 295 GFLOPs를 요구하며 32 FPS로 동작하여, 고비용 경쟁 모델인 HCMT(992 GFLOPs)보다 훨씬 효율적인 프로필을 유지합니다.
• 일반화: UCF-101에서 NSP-ML-L은 **98.68%**의 정확도를, HMDB-51에서는 **73.32%**의 정확도를 달성하여 여러 최신 베이스라인 모델을 능가하며 일반적인 행동 인식 작업에 대한 강력한 전이성을 입증했습니다.
• 어블레이션 연구 (Ablation Studies): 실험을 통해 다음 사항이 확인되었습니다:
  • 정상성 로그와 시공간 사전을 결리하는 것이 각각을 단독으로 사용하거나 행동 프로토타입만을 사용하는 것보다 더 나은 결과를 낳습니다.
  • 구조화된 시공간 임베딩(시간 및 위치)은 텍스트 사전만 사용할 때보다 보완적인 이득을 제공합니다.
  • 역사실적 맥락 손실($L_{cf}$)은 올바른 장면 로직과 잘못된 로직을 구분하는 모델의 능력을 향상시키는 데 필수적입니다.

의의

본 논문은 정상성 가이드와 시공간 사전 지식을 통합하는 것이 지능형 캠퍼스 환경에서 맥락 민감형 이상 행동 인식을 개선하는 효과적인 경로임을 주장합니다. 순수한 시각적 매칭에서 맥락 조건부 행동 가설에 대한 추론으로 전환함으로써, NSP-ML 프레임워크는 역동적이고 붐비며 맥락 의존적인 장면에서 발생하는 모호성을 해결합니다. 결과는 이 접근 방식이 모델이 상황적 제약에 따라 이상 여부가 달라지는 시각적으로 유사한 동작들을 더 잘 구분할 수 있게 하여, 지능형 감시 시스템을 위한 더욱 견고한 솔루션을 제공함을 시사합니다.