Benchmarking Compact VLMs for Clip-Level Surveillance Anomaly Detection Under Weak Supervision

논문 개요

이 연구는 감시 (CCTV) 환경에서의 비정상 행동 탐지 (Video Anomaly Detection, VAD) 를 위해 소형 시각 - 언어 모델 (Compact Vision-Language Models, VLMs) 의 성능을 평가하고, 약한 감독 (Weak Supervision) 하에서 파라미터 효율적 미세 조정 (Parameter-Efficient Fine-Tuning, PEFT) 의 효과를 검증합니다. 특히, 기존 학습 없는 (Training-free) VLM 파이프라인 및 기존 약한 감독 기반 방법론들과 비교하여 정확도와 지연 시간 (Latency) 의 균형을 분석하는 통일된 벤치마크 프로토콜을 제시합니다.

1. 연구 문제 및 배경 (Problem & Context)

• 배경: CCTV 감시 시스템은 실시간 처리, 제한된 엣지 컴퓨팅 자원, 그리고 엄격한 지연 시간 요구사항을 충족해야 합니다.
• 문제점:
  • 클래스 불균형: 비정상 사건은 일상적인 활동에 비해 극히 드물어 학습이 어렵습니다.
  • 맥락 의존성: 같은 행동이라도 장소나 시간에 따라 정상일 수도 비정상일 수도 있어 해석의 모호성이 존재합니다.
  • 약한 감독 (Weak Supervision): 비디오 클립 전체에 대한 라벨 (정상/비정상) 만 존재하며, 구체적인 시간적 경계 (Temporal boundaries) 나 프레임 단위 라벨은 제공되지 않습니다.
  • 기존 방법의 한계: 학습 없는 VLM 파이프라인은 복잡한 다단계 처리 (자막 생성 → 추론 → 후처리) 로 인해 계산 비용이 높고, 기존 MIL(Multiple Instance Learning) 기반 방법들은 배경 노이즈에 민감할 수 있습니다.
• 목표: 소형 VLM 을 사용하여 높은 정확도와 예측 가능한 낮은 지연 시간을 동시에 달성할 수 있는 효율적인 탐지기를 개발하고 평가하는 것.

2. 방법론 (Methodology)

2.1. 데이터셋 및 설정

• 데이터셋: UCF-Crime 데이터셋만 사용 (1,900 개 클립, 테스트용 290 개 포함).
• 작업 정의: 클립 수준의 이진 분류 (정상 vs 비정상). 시간적 위치 추정은 수행하지 않음.
• 전처리: 모든 비디오를 RGB 프레임 시퀀스로 변환 (60 초 미만은 0.5 fps, 그 이상은 32 프레임 균일 샘플링). 오디오나 광학 흐름 (Optical Flow) 은 사용하지 않음.

2.2. 모델 아키텍처

모델 크기에 따라 두 가지 계층으로 평가:

• Tiny Models (2-4B 파라미터): Gemma-3-4B, InternVL3-2B, Qwen2.5-VL-3B.
• Small Models (7-8B 파라미터): InternVL3-8B, Video-LLaVA-7B, Qwen2.5-VL-7B.

2.3. 프롬프트 전략 (Prompting Protocols)

모든 모델에 대해 4 가지 일관된 프롬프트 방식을 적용하여 비교:

1. Basic Instruction: 간단한 지시문만 포함.
2. Zero-shot Definition: 작업 정의만 포함.
3. Few-shot: 몇 가지 예시 (라벨 포함) 제공.
4. Chain-of-Thought (CoT): 단계별 추론 과정을 요구한 후 최종 답을 도출.

2.4. 미세 조정 (Fine-Tuning)

• LoRA (Low-Rank Adaptation): 전체 모델 가중치를 고정하고, 트랜스포머 레이어에 LoRA 어댑터 (Rank 8) 만 학습시킴.
• 학습 설정: 1 에포크, AdamW 옵티마이저, bf16 정밀도.
• 비교 대상: 학습 없는 (Zero-shot/Few-shot) VLM, LAVAD, VERA, PEL4VAD 등 기존 벤치마크 모델.

2.5. 평가 지표

• 정확도: Accuracy, Precision, Recall, F1-score, ROC-AUC.
• 효율성: 클립당 평균 추론 지연 시간 (Latency) 및 95% 신뢰 구간.

3. 주요 결과 (Key Results)

3.1. 학습 없는 (Training-free) VLM 의 한계

• 과도한 프롬프트 (Overprompting): 소형 모델 (Tiny/Small) 에서는 Few-shot 이나 CoT 와 같은 복잡한 프롬프트가 오히려 성능을 저하시켰습니다.
  • 예: Qwen2.5-VL-3B 는 Few-shot 프롬프트에서 F1 점수가 0.1818 로 급락했습니다.
  • 복잡한 프롬프트는 지연 시간을 증가시켰으나 정확도 향상은 가져오지 못했습니다.
• 성능: 학습 없는 상태에서는 복잡한 프롬프트 없이 간단한 지시문 (Basic/Zero-shot) 만 사용할 때 가장 안정적인 성능을 보였습니다.

3.2. LoRA 미세 조정의 혁신적 효과

• 성능 비약: LoRA 를 적용한 소형 모델들은 학습 없는 상태보다 F1 점수와 ROC-AUC 가 크게 향상되었습니다.
  • 예: InternVL3-2B (Tiny) 는 Few-shot 상태의 F1 0.0142 에서 LoRA 적용 후 F1 0.889까지 상승했습니다.
  • Gemma-3-4B (Tiny) 는 LoRA 적용 후 모든 프롬프트 유형에서 F1 0.91~0.92 의 일관된 높은 성능을 보였습니다.
• 지연 시간: LoRA 적용은 모델 크기를 키우지 않으면서도 오히려 지연 시간을 줄이거나 유지하는 경우가 많았습니다 (예: Qwen2.5-VL-3B 의 지연 시간 5.09s → 2.83s).
• 프롬프트 강건성: LoRA 적용 후 모델은 프롬프트 유형 (Basic, CoT 등) 에 따른 성능 편차가 줄어들어, 특정 프롬프트에 의존하지 않는 안정적인 탐지기가 되었습니다.

3.3. 소형 모델 vs 대형 모델 및 기존 방법론

• 소형 모델의 우위: LoRA 로 미세 조정된 2-4B 파라미터 모델 (예: Gemma-3-4B, InternVL3-2B) 이 7-8B 파라미터의 일반 목적 VLM 들보다 더 높은 F1 점수를 기록하면서도 더 빠른 추론 속도를 보였습니다.
• 벤치마크 비교: 학습 없는 VLM 파이프라인 (LAVAD, VERA) 이나 기존 약한 감독 방법론 (PEL4VAD) 보다 LoRA 적용 소형 모델이 전반적으로 우세했습니다.
  • InternVL3-2B-LoRA: Accuracy 0.9127, F1 0.9160, Latency 2.77s.
  • LAVAD: Accuracy 0.7724, F1 0.7626, Latency 4.89s.

4. 주요 기여 (Contributions)

1. 통일된 벤치마크 프로토콜: 감시 환경의 제약 (지연 시간, 약한 감독) 을 고려한 소형 VLM 평가를 위한 표준화된 프로토콜 (데이터 분할, 프롬프트, 메트릭, 하드웨어 설정) 을 제시했습니다.
2. PEFT 의 필수성 입증: 약한 감독 하의 비디오 이상 탐지 작업에서는 학습 없는 VLM 사용만으로는 부족하며, LoRA 와 같은 파라미터 효율적 미세 조정이 필수적임을 실증했습니다.
3. 소형 모델의 실용성 증명: 대형 모델 없이도, 소형 모델에 LoRA 를 적용하면 기존 SOTA 방법론들을 능가하는 정확도와 효율성을 동시에 달성할 수 있음을 보여주었습니다.
4. 프롬프트 강건성 확보: 미세 조정을 통해 모델이 복잡한 프롬프트 구조에 덜 민감해지고, 다양한 프롬프트 하에서 일관된 성능을 발휘함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 실시간 CCTV 감시 시스템에 소형 VLM 을 도입할 때, 전체 모델을 재학습하지 않고도 LoRA 를 통해 효율적으로 적응 (Adaptation) 시킬 수 있음을 증명했습니다.

• 실용적 가치: 엣지 디바이스나 제한된 컴퓨팅 자원을 가진 환경에서도 고해상도 비디오를 실시간으로 분석하며 높은 정확도의 이상 탐지가 가능해졌습니다.
• 미래 방향: 단일 카메라 기반에서 벗어나 멀티모달 (오디오 등) 데이터 통합 및 실시간 엣지 배포 최적화를 위한 추가 연구가 필요하지만, 현재 제안된 접근 방식은 감시 시스템의 정확도 - 효율성 트레이드오프를 해결하는 강력한 대안이 됩니다.

결론적으로, 파라미터 효율적 미세 조정 (LoRA) 을 적용한 소형 VLM은 학습 없는 VLM 파이프라인이나 전통적인 약한 감독 방법론보다 더 빠르고 정확한 이상 탐지 솔루션으로 자리 잡을 수 있습니다.