1. 문제 정의 (Problem Statement)

비디오 이상 탐지 (Video Anomaly Detection, VAD) 는 컴퓨터 비전의 핵심 과제 중 하나이지만, '이상'의 정의가 개방형 (open-set) 이고 무한할 수 있다는 점 때문에 여전히 큰 난제입니다.

• 기존 방법의 한계: 최근 훈련이 필요 없는 (training-free) 접근법들은 비전 - 언어 모델 (VLM) 과 대형 언어 모델 (LLM) 을 활용하지만, 대부분 정적 프롬프트 (static prompts) 에 의존합니다. 예를 들어, "이상한 점이 있는가?"와 같은 고정된 질문만 던지는 방식입니다.
• 자원 소모: 이러한 정적 프롬프트의 모호성을 해결하기 위해 기존 방법들은 거대하고 파라미터 수가 많은 기반 모델 (Foundation Models) 을 사용해야 했습니다. 이는 서버급 하드웨어를 요구하며, 엣지 디바이스 (Edge Devices) 에 배포하는 것을 불가능하게 만들었습니다.
• 핵심 통찰: 저자들은 VAD 의 병목 현상이 모델의 용량 (Capacity) 이 아니라, 질문의 정적 (Static) 인 성격에 있다고 주장합니다. 즉, 모델 크기를 키우는 대신 질문의 질을 높이는 것이 해결책입니다.

2. 제안 방법: QVAD (Methodology)

저자는 QVAD라는 질문 중심의 에이전트 프레임워크를 제안합니다. 이는 VLM(시각 지각) 과 LLM(추론 에이전트) 간의 동적 대화 (Dynamic Dialogue) 를 통해 이상을 탐지하는 방식입니다.

주요 구성 요소 및 프로세스:

1. 이중 단계 시공간 추상화 (Two-Stage Spatiotemporal Abstraction):

   • 비디오를 128 프레임 윈도우로 슬라이딩합니다.
   • Stage 1 (균일 샘플링): 128 프레임을 32 프레임으로 균일하게 줄여 시간적 범위를 확보합니다.
   • Stage 2 (운동 인식 선택): 32 프레임 중 가장 중요한 움직임 (Motion Saliency) 을 보이는 8 프레임만 최종적으로 선택합니다. 이는 VLM 의 계산 부하를 줄이면서 중요한 순간을 포착합니다.

2. 반복적 에이전트 추론 (Iterative Agentic Reasoning):

   • 초기화: VLM 이 초기 프롬프트로 장면에 대한 포괄적인 캡션을 생성합니다.
   • 추론 루프: LLM 에이전트가 캡션과 이전 대화 기록을 바탕으로 이상 확률을 평가합니다.
   • 동적 질문 생성: 만약 이상 확률이 임계값 (θ=0.7) 미만이거나 모호함이 감지되면, LLM 은 문맥에 기반한 구체적인 질문을 생성하여 VLM 에게 다시 던집니다.
     • 예: "누군가 바닥에 앉아 있는 것만 보임" → LLM 질문: "앉은 사람이 물리적으로 제지당하고 위협받고 있는가?" → VLM 답변: "네, 물리적으로 제지당하고 있음." → 최종 판정: 이상 (Assault).
   • 이 과정은 최대 2 번의 턴 (Turn) 까지 반복되며, 모호한 상황을 해결하고 정밀한 추론을 가능하게 합니다.

3. 벡터 메모리 모듈 (Vector Memory Module):

   • 장시간의 비디오 컨텍스트를 유지하기 위해, 과거의 관찰 내용과 추론 결과를 벡터 임베딩으로 저장하고 검색 (Retrieval) 합니다. 이를 통해 에이전트는 현재 장면뿐만 아니라 과거의 맥락도 참조하여 복잡한 이상을 탐지할 수 있습니다.

4. 후처리 (Post-Processing):

   • 중첩된 윈도우에서 생성된 프레임별 점수를 최대 풀링 (Max Pooling) 하고, 가우시안 스무딩을 적용하여 시간적 일관성을 확보한 최종 이상 점수를 산출합니다.

3. 주요 기여 (Key Contributions)

• 동적 질문 정제 (Dynamic Question Refinement): 추론 시점에 LLM 에이전트가 모호한 장면을 해결하기 위해 프롬프트를 적응적으로 업데이트하는 메커니즘을 도입했습니다. 이는 정적 프롬프트의 한계를 극복합니다.
• 효율적인 배포 (Efficient Deployment): 거대 모델 대신 소형 모델 (예: Qwen-1.7B/4B) 과 QVAD 프레임워크를 결합하여, 파라미터 수의 1/10 수준으로 SOTA 성능을 달성했습니다. 메모리 사용량을 4.20GB 까지 줄여 NVIDIA Jetson Orin Nano 같은 엣지 디바이스 배포가 가능해졌습니다.
• 개방형 시나리오 일반화: 단일 장면 (Single-scene) 이나 복잡한 맥락 의존적 이상 (Context-dependent anomalies) 이 포함된 데이터셋 (ComplexVAD) 에서도 뛰어난 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

QVAD 는 UCF-Crime, XD-Violence, UBNormal, ComplexVAD 등 주요 벤치마크에서 실험되었습니다.

• 성능:
  • UCF-Crime: AUC 84.28% (LAVAD 의 80.28% 보다 우위, Panda 및 VADTree 와 동급).
  • XD-Violence: AP 68.53%.
  • UBNormal: AUC 79.6% (Panda 의 75.78% 보다 우위).
  • ComplexVAD: AUC 68.02% (VADTree 의 54.20% 보다 압도적).
• 효율성:
  • 파라미터: 전체 파라미터 약 8B (Qwen3 4B LLM + 4B VLM) 사용.
  • 메모리: 메모리 최적화 파이프라인 사용 시 4.20GB (1.7B/2B 구성) 로 실행 가능.
  • 속도: RTX 5090 에서 약 6 FPS 처리 가능.
• 비교: 기존 훈련 필요 없는 방법들 (LAVAD, PANDA, VADTree) 이 거대 모델 (79B 이상) 과 고사양 GPU 를 요구하는 반면, QVAD 는 소형 모델로도 더 높은 정확도를 달성했습니다.

5. 의의 및 결론 (Significance)

• 모델 크기 vs 상호작용의 질: VAD 의 성능 향상을 위해 모델 크기를 무작정 키우는 것이 아니라, 질문과 추론의 상호작용 (Interaction) 을 최적화하는 것이 더 효율적임을 증명했습니다.
• 엣지 AI 의 실현: 고사양 서버 없이도 실시간으로 비디오 이상 탐지를 수행할 수 있는 경량화 솔루션을 제시하여, 실제 보안 및 감시 시스템에의 적용 가능성을 크게 높였습니다.
• 훈련 불필요 (Training-Free): 추가적인 파인튜닝이나 대규모 레이블 데이터 없이도, 오프라인 최적화 없이 추론 시 (Inference-time) 적응적으로 작동하여 다양한 도메인에 즉시 적용 가능합니다.

결론적으로 QVAD 는 작은 모델로도 정교한 추론이 가능하도록 하는 '질문 중심 에이전트' 패러다임을 제시함으로써, 비디오 이상 탐지 분야의 효율성과 접근성을 혁신적으로 개선한 연구입니다.