Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

"Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection" 논문의 상세 기술적 요약은 다음과 같습니다.

1. 문제 정의

Zero-Shot Video Anomaly Detection (ZS-VAD) 은 대상 도메인의 학습 데이터를 전혀 사용하지 않고 감시 비디오 내의 이상 사건을 시간적으로 국소화하는 것을 목표로 합니다. 이는 대상 데이터가 사용 불가능한 데이터 프라이버시 문제나 새로운 감시 배포와 같은 시나리오에서 매우 중요합니다.

• 현재의 한계:
  • 프레임/객체 기반 방법: 새로운 장면으로 이동할 때 배경과 인간 외모의 도메인 편차 (domain shifts) 로 인해 고통을 겪습니다.
  • 기존 스키레톤 기반 방법: 배경/외모의 차이를 제거하지만, 자기 지도 학습을 통해 학습된 저수준 스키레톤 표현(예: 좌표 예측, 재구성) 에 의존합니다. 이러한 방법들은 의미론적 이해가 부족하여 정상 패턴과 유사한 새로운 이상을 구별하지 못합니다.
  • 도메인 제한적 경계: 기존 방법들은 원천 학습 데이터에 의해 정의된 정상성 경계에 맹목적으로 의존하여, 새로운 장면에서 보이지 않는 정상 사건을 이상으로 잘못 분류합니다.

2. 방법론

저자들은 일반화 가능한 ZS-VAD 를 달성하기 위해 행동 의미론적 전형성 (Action Semantic Typicality) 과 문맥 고유성 (Context Uniqueness) 을 활용하는 새로운 프레임워크를 제안합니다. 이 접근법은 두 가지 주요 모듈로 구성됩니다.

A. 언어 기반 전형성 모델링 (학습 단계)

이 모듈은 저수준 좌표가 아닌 행동에 대한 고수준 의미론적 이해를 학습하는 것을 목표로 합니다.

1. 스키레톤 - 텍스트 정렬: 모델은 VAD 특정 데이터 대신 외부 행동 인식 데이터셋 (Kinect-400) 을 사용합니다. 스키레톤 인코더 ($E_s$) 와 텍스트 인코더 ($E_t$) 를 사용하여 스키레톤 조각을 텍스트 레이블과 정렬하고, 스키레톤을 언어 정렬 의미 공간으로 투영합니다.
2. 전형성 지식 선택 (LLM 증류):
   • 대규모 언어 모델 (LLM) 을 프롬프트하여 400 개의 행동 클래스 중 가장 전형적인 정상 행동 20 개(예: 걷기, 독서) 와 가장 전형적인 이상 행동 20 개(예: 싸움, 스카이다이빙) 를 식별합니다.
   • 선택된 "전형적인" 클래스에 해당하는 고품질 스키레톤 조각을 스키레톤 - 텍스트 유사도를 기반으로 필터링합니다.
3. 전형성 분포 학습:
   • 선택된 전형적인 정상 및 이상 특징에 대해 정규화 흐름 (Normalizing Flow, NF) 을 학습합니다.
   • NF 는 이러한 행동들의 확률 분포를 모델링합니다. 추론 시 이상 점수 ($S^t$) 는 학습된 "정상" 분포 하에서 테스트 조각의 음의 로그 가능도에서 유도됩니다. 이를 통해 모델은 특정 데이터셋 통계가 아닌 의미론적 사전 지식을 기반으로 새로운 장면으로 일반화할 수 있습니다.

B. 추론 시 문맥 고유성 분석 (추론 단계)

행동이 엄격하게 "전형적"이지 않은 시나리오 (예: 특정 문맥에서 비정상적인 정상 행동) 를 처리하기 위해, 모델은 시공간 문맥을 분석합니다.

1. 문맥 그래프 구성: 각 스키레톤 조각에 대해 두 가지 그래프를 구축합니다.
   • 교차 인물 그래프 ($G_c$): 현재 인물을 공간상의 인근 인물들과 연결합니다.
   • 자기 점검 그래프 ($G_s$): 현재 인물을 시간상의 과거/미래 상태와 연결합니다 (중복을 피하기 위해 즉각적인 이웃은 제외).
2. 고유성 점수화: 모델은 쿼리 조각과 두 그래프 내 이웃 간의 특징 거리를 계산합니다. 이상은 드물고 고유하므로, 높은 거리는 이상을 나타냅니다. 고유성 점수 ($S^u$) 는 교차 인물 거리와 자기 점검 거리의 최댓값입니다.
3. 종합 점수화: 최종 이상 점수는 전형성 점수 ($S^t$) 와 고유성 점수 ($S^u$) 의 정규화된 조합입니다:
   $$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$$
   이는 (무엇이 정상/비정상이어야 하는지에 대한) 의미론적 사전 지식과 (이 장면에서 실제로 무엇이 고유한지에 대한) 문맥적 증거를 통합합니다.

3. 주요 기여

1. 새로운 프레임워크: 저수준 표현 학습을 넘어 의미론적 전형성과 문맥 고유성으로 이동하는 스키레톤 기반 ZS-VAD 프레임워크.
2. 언어 기반 전형성 모듈: 대상 도메인 학습 없이 일반화 가능한 의미 공간 생성을 위해 LLM 의 전형적 정상/이상 행동 지식을 스키레톤 인코더로 증류하는 방법 도입.
3. 추론 시 고유성 분석: 개인 및 시간 단계 간의 시공간적 차이를 분석하여 문맥 특정 이상을 탐지하는 동적, 장면 적응형 경계 메커니즘 제안.
4. 최첨단 성능: 100 개 이상의 보이지 않는 감시 장면을 포함하는 네 가지 대규모 데이터셋 (ShanghaiTech, UBnormal, NWPU, UCF-Crime) 에서 최첨단 (SOTA) 결과를 달성하여 풀샷 및 기타 제로샷 방법 모두를 능가함.

4. 실험 결과

이 방법은 대상 도메인의 학습 데이터가 전혀 없는 네 가지 데이터셋에서 평가되었습니다:

• 성능: 제안된 방법은 모든 데이터셋에서 최첨단 (SOTA) 결과를 달성했습니다.
  • ShanghaiTech: 84.1% AUC (85.9% 풀샷 STG-NF 대비, 하지만 0 샷).
  • UBnormal: 74.5% AUC (제로샷 기준 STG-NF 대비 +5.7% 의 유의미한 개선).
  • NWPU: 62.1% AUC (기준 대비 +4.2%).
  • UCF-Crime: 62.7% AUC (기준 대비 +10.8%).
• 풀샷과의 비교: 놀랍게도, 이 방법의 제로샷 성능은 대상 데이터로 학습된 풀샷 방법의 성능과 비슷하거나 경우에 따라 이를 초과합니다.
• 효율성: 이 모델은 경량화되어 있습니다 (~5.0M 파라미터), 대규모 비전 - 언어 모델 (LVLM) 기반 접근법 (예: 13B+ 파라미터를 가진 LAVAD) 보다 훨씬 작습니다. 추론 속도는 이상 점수화 논리가 아닌 스키레톤 추출에 의해 지배됩니다.

5. 중요성과 영향

• 프라이버시 보호 감시: 로컬 비디오 데이터를 수집하거나 학습하지 않고 새로운 환경에 이상 탐지를 배포할 수 있는 능력은 중요한 프라이버시 우려를 해결합니다.
• 일반화: "데이터에서 정상성 학습"에서 "개념과 문맥에서 정상성 학습"으로 전환함으로써, 기존 VAD 시스템을 괴롭히는 도메인 간극을 극복합니다.
• 실제 배포: 이 프레임워크는 계산적으로 효율적이며 추론 시 복잡한 다단계 추론이나 거대한 LLM 을 요구하지 않으므로, 실제 엣지 배포에 적합합니다.
• 패러다임 전환: 이 논문은 의미론적 사전 지식과 문맥 분석과 결합된 스키레톤 데이터가 교차 시나리오 설정에서 프레임 기반 및 객체 기반 접근법을 능가하는 매우 효과적인 모달리티임을 입증합니다.