GridVAD: Open-Set Video Anomaly Detection via Spatial Reasoning over Stratified Frame Grids

1. 문제 정의 (Problem Statement)

비디오 이상 탐지 (Video Anomaly Detection, VAD) 는 감시 환경에서 정상적인 동역학에서 벗어난 사건을 탐지하고 시간적/공간적으로 국소화하는 것을 목표로 합니다. 그러나 기존 접근법에는 다음과 같은 한계가 존재합니다.

• 폐쇄적 범주 (Closed-set) 의 한계: 기존 모델들은 학습 시 정의된 특정 이상 클래스에 의존하므로, 학습되지 않은 새로운 유형의 이상 (Open-set) 을 탐지하기 어렵습니다.
• VLM 의 직접적 사용의 취약성: 최근 Vision-Language Models(VLM) 은 강력한 개방형 추론 능력을 갖추고 있으나, 이를 이상 탐지기에 직접 적용할 경우 신뢰성이 낮습니다. VLM 은 인터넷 규모의 데이터로 학습되어 이상 사건의 희소성이나 편향된 분포를 고려하지 않기 때문에, '이상'에 대한 확률 점수 (Anomaly Score) 가 보정되지 않아 허위 경보 (False Alarm) 와 누락 (Missed Detection) 이 빈번하게 발생합니다.
• 기존 VLM 기반 방법의 결함: LAVAD, SUVAD 등 기존 연구들은 VLM 에 개별 프레임이나 클립에 대한 '이진 이상 판단 (Binary Decision)'을 요구합니다. 이는 VLM 이 잘하지 못하는 작업 (확률 보정된 판단) 과 잘하는 작업 (시각적 내용 인식 및 설명) 을 혼동하는 설계입니다.

2. 방법론 (Methodology)

저자들은 VLM 을 직접적인 탐지기가 아닌 **'이상 제안자 (Proposer)'**로 재정의하고, 이를 Propose-Ground-Propagate(제안 - 고정 - 전파) 원칙에 따라 분해한 GridVAD 파이프라인을 제안합니다. 이 파이프라인은 학습 (Training) 이 필요 없으며 (Training-free), 픽셀 수준의 이상 마스크를 생성합니다.

핵심 단계:

1. 계층적 프레임 그리드 샘플링 (Stratified Grid Sampling):

   • 비디오 클립을 $K$개의 시간적 구간 (Bins) 으로 나눕니다.
   • 각 구간의 무작위 프레임 하나를 추출하여 $K$개의 프레임을 하나의 이미지 (Grid) 로 타일링합니다.
   • 이를 $M$번 독립적으로 수행하여, 시간적 맥락을 유지하면서 단일 이미지 이해 작업으로 변환합니다. 이는 비디오 길이에 무관하게 고정된 비용 ($M$번의 VLM 호출) 으로 처리됩니다.

2. 개방형 이상 제안 (Open-Set Anomaly Proposal via VLM):

   • 생성된 그리드 이미지를 VLM (Qwen3-VL 등) 에 입력합니다.
   • VLM 은 사전 정의된 카테고리 없이 자유 형식의 자연어 이상 설명 ($d_j$) 과 시간적 구간 ($t_s, t_e$) 을 생성합니다.
   • VLM 은 '이상인지 아닌지'를 판단하는 대신, '어떤 이상한 일이 일어났는지'를 설명하는 역할만 수행합니다.

3. 자기 일관성 통합 (Self-Consistency Consolidation, SCC):

   • $M$번의 독립적인 샘플링에서 생성된 제안들을 수집합니다.
   • 텍스트 전용 LLM 을 사용하여 의미적으로 동일한 제안들을 그룹화하고, 시간 구간을 병합합니다.
   • 허위 경보 필터링: $M$번의 샘플링 중 일정 횟수 ($\tau$) 이상 반복적으로 등장한 제안만 유지하고, 일회성으로 발생한 환각 (Hallucination) 은 제거합니다. 이는 VLM 을 확률적 센서로 간주하여 통계적 지지를 기반으로 신뢰도를 높이는 과정입니다.

4. 공간 고정 및 픽셀 전파 (Spatial Grounding & Propagation):

   • Grounding DINO: VLM 이 생성한 자연어 설명을 입력받아, 해당 객체를 비디오 내 특정 프레임 (Anchor frame) 에서 바운딩 박스로 위치시킵니다 (Zero-shot).
   • SAM2 (Segment Anything Model 2): 바운딩 박스를 시공간적 프롬프트로 사용하여, 이상 발생 구간 전체에 걸쳐 픽셀 수준의 밀집 마스크 (Dense Mask) 를 전파합니다.

3. 주요 기여 (Key Contributions)

1. VLM-as-Proposer 설계 원칙 정립: VLM 을 직접적인 이상 탐지기로 사용하는 대신, 개방형 이상 설명을 생성하는 '제안자'로 재배치하고, 공간적/시간적 정밀도는 전용 모델 (Grounding DINO, SAM2) 이 담당하도록 분해했습니다.
2. 자기 일관성 통합 (SCC) 메커니즘: 학습 파라미터나 데이터셋별 보정 없이, VLM 의 다중 샘플링 일관성을 통해 환각을 필터링하는 경량 메커니즘을 도입했습니다. 이는 픽셀 수준의 정밀도와 객체 수준의 재현율 사이의 조절 가능한 트레이드오프를 제공합니다.
3. 계층적 그리드 표현 (Stratified Grid Representation): 시간적 이상 탐지를 단일 패스 공간 추론 작업으로 변환하여, 비디오 길이에 무관한 고정된 VLM 호출 비용 ($M+1$회) 을 달성했습니다. 이는 프레임 단위 쿼리보다 2.7 배 효율적입니다.

4. 실험 결과 (Results)

UCSD Ped2 및 ShanghaiTech Campus 데이터셋에서 실험을 수행했습니다.

• UCSD Ped2 성능:
  • Pixel-AUROC: 77.59 로, 부분적으로 파인튜닝된 TAO(75.11) 를 포함한 모든 기존 방법 중 최고의 성능을 기록했습니다.
  • Zero-shot 성능: 데이터셋별 미세 조정 없이도 다른 Zero-shot 접근법보다 객체 수준 (RBDC) 에서 5 배 이상 우수한 성능을 보였습니다.
  • 픽셀 수준 메트릭: Pixel-AP, Pixel-AUPRO, Pixel-F1 등 모든 픽셀 기반 지표에서 경쟁력 있는 성능을 달성했습니다.
• ShanghaiTech Campus:
  • 복잡한 장면과 미묘한 이상으로 인해 객체 재현율 (RBDC/TBDC) 은 TAO 보다 낮았으나, 이는 제안 단계의 재현율 한계 (Proposal Recall Bottleneck) 에 기인한 것으로 분석되었습니다.
• 효율성:
  • 균일한 프레임 단위 VLM 쿼리 대비 2.7 배 더 효율적 (호출당 성능) 이며, 비디오 길이에 따른 비용 증가가 없습니다.
• Ablation Study (SCC 효과):
  • SCC 를 적용하지 않은 경우 ($M=1$) 객체 재현율은 높았으나 허위 경보로 인해 픽셀 수준 정확도가 급격히 떨어졌습니다. SCC 를 적용하면 허위 경보가 제거되어 픽셀 정확도가 크게 향상되지만, 일관성 있게 제안되지 않은 일부 실제 이상은 누락되어 재현율이 다소 감소하는 트레이드오프가 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 학습 불필요 (Training-free): GridVAD 는 이상 데이터에 대한 학습 없이도 VLM 의 일반화 능력과 전용 객체 탐지/분할 모델의 정밀함을 결합하여 높은 성능을 달성합니다.
• 해석 가능성: VLM 이 생성한 자연어 설명을 통해 이상 사건의 원인을 인간이 이해할 수 있는 형태로 제공합니다.
• 한계 및 향후 방향: 현재 파이프라인의 주요 병목은 VLM 이 이상을 '제안'하지 못하는 경우 (Proposal Recall) 입니다. VLM 의 제안 재현율을 높이기 위한 프롬프트 최적화나 적응형 재쿼리 기법이 향후 성능 격차를 좁히는 핵심 열쇠가 될 것입니다.

결론적으로 GridVAD 는 VLM 을 이상 탐지 시스템에 통합하는 새로운 패러다임을 제시하며, 정확한 공간적/시간적 국소화와 개방형 이상 탐지를 동시에 달성하는 강력한 Zero-shot 솔루션입니다.