Text-guided Fine-Grained Video Anomaly Understanding

1. 문제 정의 (Problem Definition)

기존의 비디오 이상 탐지 (Video Anomaly Detection, VAD) 시스템은 다음과 같은 한계를 가지고 있습니다:

• 미세한 이상 신호의 간과: 실제 환경에서 발생하는 이상 현상 (약간의 운동 편차, 짧은 상호작용, 미세한 외형 변화 등) 은 배경 잡음이나 압축 아티팩트에 가려져 기존 시스템이 놓치기 쉽습니다.
• 해석 불가능한 이진 분류: 기존 방법론들은 대부분 프레임 또는 비디오 단위의 이진 이상 점수 (Anomaly Score) 만을 출력하며, 어디서 (Where), 어떤 대상이 (Which target), 어떻게 (How) 이상 발생했는지에 대한 구체적인 증거와 설명을 제공하지 못합니다.
• LVLM 의 한계: 대규모 시각 - 언어 모델 (LVLM) 은 텍스트 기반 판단은 가능하지만, 미세한 시각적 신호를 픽셀 단위로 정확하게 위치시키는 (Localization) 능력이 부족하여 신뢰할 수 없는 위치 추정과 사실과 다른 텍스트 생성 (Hallucination) 을 초래합니다.

이러한 **픽셀 수준의 증거 (Evidence)**와 언어적 추론 (Reasoning) 사이의 간극을 해소하고, 미세한 이상을 정밀하게 이해할 수 있는 프레임워크가 필요합니다.

2. 제안 방법론 (Methodology: T-VAU)

저자들은 **T-VAU (Text-guided Fine-Grained Video Anomaly Understanding)**를 제안합니다. 이는 고정된 (Frozen) 대규모 시각 - 언어 모델 (LVLM) 을 기반으로 하며, 두 가지 경량화 가능한 모듈을 통해 픽셀 수준의 증거를 언어 추론에 통합합니다.

핵심 구성 요소

1. 이상 히트맵 디코더 (Anomaly Heatmap Decoder, AHD):

   • 역할: 중간 시각 특징 (Intermediate Visual Representations) 과 이진 텍스트 프롬프트 ('정상' vs '비정상') 를 정렬하여 픽셀 수준의 시공간 이상 히트맵을 생성합니다.
   • 작동 원리: 멀티 스케일 시각 특징과 텍스트 임베딩 간의 코사인 유사도를 계산하고, 학습 가능한 가중치를 통해 여러 레이어의 유사도 맵을 융합합니다.
   • 특징: 임계값 (Threshold) 이 필요 없는 (Threshold-free) 정밀한 이상 위치 추정을 가능하게 합니다.

2. 지역 인식 이상 인코더 (Region-aware Anomaly Encoder, RAE):

   • 역할: AHD 에서 생성된 히트맵 증거를 구조화된 프롬프트 임베딩으로 변환하여 LVLM 에 주입합니다.
   • 작동 원리:
     • 히트맵의 시계열 차이를 계산하여 운동 (Motion) 정보를 추출합니다.
     • 프레임을 그리드로 분할하여 지역별 (Region-specific) 특징과 전역적 (Global) 특징을 추출합니다.
     • 이를 '기저 프롬프트 (Base prompt)', '지역 프롬프트', '전역 프롬프트'로 구성하여 LVLM 디코더의 의미 공간에 주입합니다.
   • 효과: LVLM 이 이상 탐지, 위치 추정, 대상 식별, 외형 설명, 운동 궤적 추론을 통합된 다중 턴 대화 (Multi-turn dialogue) 로 수행하도록 유도합니다.

3. 세밀한 비디오 - 텍스트 데이터셋 구축:

   • ShanghaiTech 와 UBnormal 데이터셋을 기반으로, 대상 (Target) 수준의 세밀한 주석을 추가했습니다.
   • 주석 항목: 대상의 외형 (Appearance), 공간적 위치 (Localization), 운동 궤적 (Motion Trajectory).
   • 생성 파이프라인: 프레임 단위 추출 → 이상 마스크 기반 정제 (배경 억제) → 외형과 운동 간의 교차 검증 (Cross-modal consistency verification) 을 통해 고품질의 구조화된 데이터를 구축했습니다.

3. 주요 기여 (Key Contributions)

1. T-VAU 프레임워크: AHD 와 RAE 를 결합하여 픽셀 수준의 이상 위치 추정과 언어 기반의 구조화된 추론을 통합한 최초의 프레임워크 중 하나입니다.
2. 세밀한 이상 이해 데이터셋: 기존 벤치마크를 확장하여 대상의 외형, 위치, 궤적에 대한 상세한 텍스트 - 비디오 정렬 데이터를 구축했습니다.
3. 성능 및 해석 가능성: 이상 탐지 정확도, 위치 추정 정밀도, 그리고 대화형 설명 (Dialogue-based explanation) 성능에서 최선 (SOTA) 을 달성했습니다.

4. 실험 결과 (Results)

UBnormal 과 ShanghaiTech 데이터셋에서 광범위한 실험을 수행했습니다.

• 이상 탐지 및 위치 추정 (AHD 성능):
  • UBnormal: 1 샷 (One-shot) 설정에서 94.5% (Micro-AUC) 를 달성했으며, 미세 조정 (Fine-tuning) 후 **94.8%**의 Micro-AUC 를 기록했습니다.
  • 위치 정확도: RBDC(지역 기반 탐지 기준) 67.8%, TBDC(궤적 기반 탐지 기준) 76.7% 를 기록하여 기존 최강 베이스라인 (Georgescu et al.) 대비 RBDC 에서 약 39 포인트, TBDC 에서 18 포인트 이상의 큰 개선을 보였습니다.
• 언어 추론 및 설명 (RAE 성능):
  • ShanghaiTech: 대상 (Target) 설명 BLEU-4 점수 62.67, 궤적 (Trajectory) 설명 BLEU-4 점수 88.84 를 기록하여 기존 LVLM 들 (InternVL2-8B 등) 보다 약 7~6 포인트 향상되었습니다.
  • 판단 정확도: Yes/No 이상 판단 정확도가 **97.67%**에 달했습니다.
• Ablation Study: AHD 와 RAE 가 모두 제거된 경우 성능이 급격히 하락하여, 두 모듈의 상호 보완적 필요성이 입증되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 해석 가능한 이상 탐지: T-VAU 는 단순히 "이상이다"라고 판단하는 것을 넘어, "어디서, 어떤 대상이, 어떻게 움직이며" 이상 발생했는지에 대한 픽셀 수준의 시각적 증거를 기반으로 한 신뢰할 수 있는 텍스트 설명을 제공합니다.
• 폐쇄 루프 (Closed-loop) 메커니즘: 픽셀 증거 (히트맵) → 구조화된 프롬프트 → 언어 추론의 순환 구조를 통해 할루시네이션을 줄이고 일관된 다중 턴 대화 (Multi-turn interaction) 를 가능하게 합니다.
• 미래 방향: 이 연구는 복잡한 실제 환경에서의 미세한 시각적 컴퓨팅 (Subtle Visual Computing) 과 신뢰할 수 있는 AI 의사결정 시스템 구축에 중요한 기여를 했으며, 공공 안전 및 산업 검사 등 안전이 중요한 분야에서 활용 가능성이 큽니다.

요약하자면, T-VAU 는 시각적 증거와 언어적 추론을 정밀하게 연결하여, 기존 VAD 시스템이 놓치기 쉬운 미세한 이상을 정확히 위치시키고 인간이 이해할 수 있는 형태로 설명하는 혁신적인 접근법입니다.