Are Multimodal LLMs Ready for Surveillance? A Reality Check on Zero-Shot Anomaly Detection in the Wild

이 논문은 멀티모달 대규모 언어 모델 (MLLM) 이 제로샷 설정에서 비디오 이상 탐지 시 높은 정밀도를 보이지만 재현율 (recall) 이 급격히 저하되는 보수적 편향을 가지며, 클래스별 지시어를 통해 성능을 개선할 수 있으나 여전히 실용적 한계가 있음을 규명합니다.

핵심

이 논문은 **"멀티모달 대형 언어 모델 (MLLM)"**이라는 최신 AI 기술이 실제 감시 카메라에서 **'비정상적인 사건 (예: 폭행, 도난, 사고)'**을 찾아낼 수 있는지, 그리고 그 신뢰도가 얼마나 되는지 실험한 연구입니다.

쉽게 비유하자면, **"AI 에게 감시 카메라를 맡겼을 때, AI 가 정말로 '범인'을 찾아낼 수 있을까?"**를 검증한 보고서입니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 연구의 배경: "AI 는 이제 영화를 잘 보나요?"

최근 AI 는 텍스트, 이미지, 영상을 모두 이해하는 '만능 천재'처럼 변했습니다. 마치 수만 권의 책을 읽고, 수백 편의 영화를 본 뒤, 그 내용을 완벽하게 이해하는 지적인 감시관이 생긴 것과 같습니다.

하지만 연구자들은 의문을 가졌습니다.

"이 AI 가 영화 속 이야기를 분석하는 건 잘할지 몰라도, 실제 거리의 복잡한 CCTV 화면을 보고 '지금 뭔가 이상해!'라고 즉시 외칠 수 있을까?"

2. 실험 방법: "AI 에게 질문을 어떻게 던지나?"

연구진은 AI 에게 영상을 보여주고 "이게 비정상적인가?"라고 물었습니다. 이때 중요한 것은 질문 (프롬프트) 의 방식이었습니다.

• 상황: AI 에게 1 초~3 초짜리 짧은 영상 조각을 보여줍니다.
• 질문: "이 영상에 이상한 행동이 있나요? (1 이면 이상, 0 이면 정상)"
• 변수: 질문을 아주 짧게 던질지, 아니면 "도둑질이나 폭행 같은 위험한 행동을 찾아줘"라고 구체적으로 지시할지 바꿔가며 실험했습니다.

3. 핵심 발견 1: "AI 는 너무 겁이 많아요 (Conservative Bias)"

가장 놀라운 결과는 AI 가 '범인'을 찾아내지 못한다는 점이었습니다.

• 비유: imagine imagine 매우 조심스러운 경비원을 상상해 보세요.
  • 이 경비원은 "뭔가 이상해!"라고 소리치면 실수할까 봐 무서워합니다.
  • 그래서 아무 일도 없는 평범한 상황을 보고도 "아무 일 없어요"라고만 말합니다.
  • 결과: 거짓 경보 (False Positive) 는 거의 안 뜨는데, 진짜 범인을 놓치는 경우 (Recall) 가 90% 이상이었습니다.
  • 즉, AI 는 "모르는 척" 하다가 넘어가는 경향이 매우 강했습니다.

4. 핵심 발견 2: "질문에 '범인'을 명시해 주니 눈이 떠졌다!"

하지만 질문을 조금만 바꿔주니 상황이 완전히 달라졌습니다.

• 비유: 경비원에게 "평범한 사람들은 그냥 지나가도 되지만, 도둑질하거나 싸우는 사람만 꼭 잡아내!"라고 구체적으로 지시했습니다.
• 결과: AI 의 성능이 급격히 좋아졌습니다.
  • 성공률 (F1 점수): 0.09(거의 실패) 에서 **0.64(상당히 성공)**로 7 배 이상 뛰었습니다.
  • 이유: AI 는 원래 '이상한 것'을 정의하지 않으면 '안전한 것'으로 간주하는 경향이 있는데, **"무엇을 찾아야 하는지 (Class-specific instruction)"**를 명확히 알려주니 비로소 눈을 뜨고 범인을 찾아낸 것입니다.

5. 핵심 발견 3: "영상을 길게 보여준다고 해서 더 잘 보지 않아요"

연구진은 영상을 1 초, 2 초, 3 초로 길게 끊어서 보여줬습니다.

• 비유: 1 초짜리 사진만 보여준다면 AI 가 상황을 파악하기 어렵겠죠? 그래서 3 초짜리 짧은 영상을 보여줬습니다.
• 결과:
  • 상하이테크 (SHT) 데이터: 화질이 조금 낮고 단순한 환경에서는 영상이 길어질수록 AI 가 상황을 더 잘 이해했습니다. (시간이 더 주어지니 판단이 명확해짐)
  • CHAD 데이터: 고화질이고 복잡한 실제 감시 환경에서는 영상이 길어졌다고 해서 성능이 크게 오르지 않았습니다. 오히려 너무 많은 정보 때문에 혼란을 겪는 경우도 있었습니다.
  • 교훈: 단순히 영상을 길게 보여준다고 해서 AI 가 더 똑똑해지는 건 아닙니다.

6. 결론: "AI 는 아직 감시관으로 쓰기엔 '조심스러움'이 문제"

이 연구는 다음과 같은 결론을 내립니다.

1. AI 는 아직 완벽하지 않습니다: 현재 AI 는 '범인을 놓치는 것'을 '실수'보다 더 두려워합니다. 그래서 진짜 위험한 상황에서도 침묵할 확률이 높습니다.
2. 질문이 핵심입니다: AI 에게 "무엇을 찾아야 하는지"를 **구체적으로 가르쳐주는 것 (프롬프트 엔지니어링)**이 성능을 결정하는 가장 중요한 열쇠입니다.
3. 미래의 과제: AI 를 실제 감시 시스템에 쓰려면, 단순히 영상의 화질을 높이는 것보다 AI 가 '위험'을 감지할 때 덜 망설이도록 훈련시키는 것이 더 중요합니다.

한 줄 요약:

"최신 AI 는 영화를 분석하는 데는 천재지만, 실제 감시 카메라 앞에서는 너무 조심스러워서 범인을 놓치는 경향이 있습니다. 하지만 무엇을 찾아야 하는지 구체적으로 지시해주면, 그 능력은 크게 향상됩니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 멀티모달 대규모 언어 모델 (MLLM) 은 비디오 이해 분야에서 뛰어난 일반 능력을 보여주었으나, 실제 감시 환경에서의 비디오 이상 탐지 (Video Anomaly Detection, VAD) 신뢰성은 아직 충분히 연구되지 않았습니다.
• 기존 접근법의 한계: 기존의 VAD 시스템은 주로 재구성 (reconstruction) 실패나 포즈 (pose) 기반 단서에 의존합니다. 반면 MLLM 은 이를 언어 기반 추론 작업으로 전환할 수 있는 잠재력을 가집니다.
• 핵심 문제:
  • 오픈 월드 불확실성: 실제 감시 영상은 잡음이 많고, 맥락이 모호하며, '이상'의 정의가 상황에 따라 달라집니다.
  • 결정 간극 (Decision Gap): 기존 벤치마크는 순위 기반 지표 (AUC-ROC 등) 를 사용하지만, 실제 운영 시스템은 명확한 결정 경계 (threshold) 를 필요로 합니다.
  • 편향된 성능: MLLM 이 제로샷 (Zero-shot) 설정에서 실제 이상을 탐지할 때, '정상' 클래스에 과도하게 편향되어 정밀도 (Precision) 는 높지만 재현율 (Recall) 이 극도로 낮아지는 현상이 발생합니다. 이는 실제 보안 시스템에서 치명적인 누락 (False Negative) 을 초래합니다.

2. 방법론 (Methodology)

연구팀은 MLLM 을 VAD 파이프라인에 직접 통합하여 프롬프트 기반의 이진 분류 (Binary Classification) 문제로 재정의했습니다.

• 문제 설정:
  • 비디오를 고정된 길이 (1 초, 2 초, 3 초) 의 클립으로 분할합니다.
  • 프레임 레벨의 레이블을 클립 레벨로 전파하며, 클립 내 하나라도 이상 프레임이 있으면 해당 클립을 '이상'으로 간주합니다.
  • MLLM 에게 각 클립이 '정상'인지 '이상'인지 이진 결정 (0 또는 1) 을 내리게 합니다.
• 데이터셋:
  • ShanghaiTech: 널리 사용되는 VAD 벤치마크.
  • CHAD: 고해상도 및 더 복잡한 실제 감시 환경을 반영한 데이터셋.
• 프롬프트 엔지니어링 실험:
  • 프롬프트 구체성 (Specificity): 간결함 (Short), 중간 (Medium), 상세함 (Long) 의 세 가지 수준으로 프롬프트를 생성했습니다.
  • 클래스 지시 (Class-specific Instructions): "비정상 행동"의 정의를 명시적으로 포함하는지 여부에 따라 실험을 수행했습니다.
  • 모델: Gemini 2.5 Flash Lite 를 주력으로 사용했으며 (원본 비디오 스트림을 직접 처리하는 아키텍처 우위), GPT 시리즈 등 다른 모델들과 비교했습니다.
• 평가 지표: 정밀도 (Precision), 재현율 (Recall), F1-Score 를 클립 길이와 프롬프트 유형별로 분석했습니다.

3. 주요 결과 (Key Results)

실험 결과는 MLLM 의 현재 한계와 개선 가능성을 명확히 보여줍니다.

• 보수적 편향 (Conservative Bias):
  • 클래스 지시가 없는 기본 프롬프트 설정에서 모든 모델은 정밀도가 100% 에 수렴했으나, 재현율은 3% 미만으로 급락했습니다. 즉, 이상을 탐지하지 않고 '정상'이라고만 판단하는 경향이 강했습니다.
• 클래스 지시의 결정적 효과:
  • 프롬프트에 '비정상 행동'에 대한 구체적인 정의 (클래스 컨텍스트) 를 추가하면 성능이 비약적으로 향상되었습니다.
  • ShanghaiTech 데이터셋: GPT 인스턴트 (medium) + 클래스 설정에서 F1-Score 가 0.09 에서 0.64 로 급증했습니다. 이는 재현율이 5 배 이상 증가했음을 의미합니다.
  • CHAD 데이터셋: 고해상도 데이터셋에서도 유사한 경향이 관찰되었으나, 최고 F1-Score 는 0.48 로 ShanghaiTech 보다 낮아 실제 고해상도 환경의 어려움을 입증했습니다.
• 프롬프트 길이의 영향:
  • 지나치게 길고 상세한 프롬프트 (Long) 가 항상 좋은 결과를 내지는 않았습니다. 오히려 중간 (Medium) 또는 간결한 (Short) 프롬프트가 더 나은 성능을 보인 경우가 많았습니다. 이는 과도한 정보가 추론 엔진을 방해할 수 있음을 시사합니다.
• 시간적 컨텍스트 (Clip Length):
  • 1 초에서 3 초로 클립 길이를 늘리는 것이 일반적으로 성능을 향상시켰으나, 그 효과는 데이터셋과 모델에 따라 달랐습니다. 특히 CHAD 와 같은 고해상도 환경에서는 시간적 맥락 증가가 항상 성능 향상으로 이어지지 않았습니다.

4. 주요 기여 (Key Contributions)

1. 배포 지향적 VAD 공식화: MLLM 을 오프라인 순위 매기기가 아닌, 실시간 의사결정 (Actionable Decision) 을 요구하는 이진 분류 문제로 재정의했습니다.
2. 프롬프트 인터페이스에 대한 통제된 분석: 프롬프트의 구체성 (Specificity) 과 클래스 지시 (Class-aware guidance) 가 MLLM 의 이상 판단에 미치는 영향을 체계적으로 분석했습니다.
3. 실제 감시 현실에 대한 시간적 맥락 탐구: 짧은 클립 (1~3 초) 이 모델의 민감도와 안정성에 미치는 영향을 평가하고, 실제 VAD 적용을 위한 실용적인 가이드라인을 제시했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 한계: 현재 MLLM 은 일반적인 비디오 이해에는 강력하지만, 실제 감시 환경에서의 신뢰성 (Reliability) 측면에서는 아직 부족합니다. 특히 '놓침 (Miss)'을 최소화해야 하는 보안 분야에서 재현율 부족은 치명적입니다.
• 핵심 통찰: MLLM 의 실패 원인은 시각적 인식 부족이 아니라, 의도 (Intent) 와 범주 (Category) 에 대한 확신 부족입니다. 명시적인 프롬프트 지시를 통해 모델의 결정 경계를 조정할 수 있습니다.
• 미래 방향: 단순한 데이터 품질 향상보다는 재현율 중심의 프롬프트 전략 (Recall-oriented prompting), 불확실성 하에서의 모델 보정 (Calibration), 그리고 실제 운영 환경에 부합하는 평가 프로토콜 개발이 필요합니다.

요약하자면, 이 논문은 MLLM 이 감시 시스템에 바로 적용되기에는 아직 '준비되지 않았다'고 진단하지만, 적절한 프롬프트 엔지니어링 (특히 클래스 지시) 을 통해 성능을 획기적으로 개선할 수 있는 가능성을 보여주었습니다. 이는 향후 오픈 월드 환경에서의 지능형 감시 시스템 개발을 위한 중요한 기초를 제공합니다.