Leveraging Multimodal LLM Descriptions of Activity for Explainable Semi-Supervised Video Anomaly Detection

이 논문은 멀티모달 대형 언어 모델 (MLLM) 을 활용하여 객체 간 활동과 상호작용에 대한 텍스트 설명을 생성하고 이를 노멀 비디오의 설명과 비교함으로써 복잡한 상호작용 기반 이상을 탐지하고 설명 가능성을 제공하는 새로운 반지도식 비디오 이상 탐지 프레임워크를 제안합니다.

핵심

이 논문은 **"비디오 감시 카메라가 이상한 일을 찾아낼 때, 단순히 '이상하다'고만 말하는 게 아니라, '왜' 이상한지 사람처럼 설명해 주는 새로운 방법"**을 제안한 연구입니다.

기존의 기술들은 비디오를 픽셀 (화소) 단위로 분석해서 "어딘가 모양이 다르다"라고만 알려주었습니다. 하지만 이 새로운 방법은 ** Multimodal Large Language Model (MLLM, 멀티모달 대형 언어 모델)**이라는 '똑똑한 AI 비서'를 고용하여, 비디오 속 사물들이 무엇을 하고 있는지, 서로 어떻게 상호작용하는지를 사람 말로 설명하게 만든 뒤, 그 설명을 비교하여 이상을 감지합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 1. 기존 방식 vs 새로운 방식: "경고등" vs "경비원"

기존 방식 (전통적인 VAD):
마치 감시 카메라에 달린 자동 경고등과 같습니다.

• "저기 사람 모양이 이상하게 늘어졌어요! (이상 감지)"
• "저기 물체가 갑자기 움직였어요! (이상 감지)"
• 문제점: 왜 이상한지, 정확히 무슨 일이 벌어졌는지는 모릅니다. 또한, 두 사람이 싸우는 것 같은 복잡한 상황 (사물 간의 상호작용) 을 구별하기 어렵습니다.

이 논문의 방식 (MLLM-EVAD):
마치 매우 똑똑한 경비원이 카메라를 보고 상황을 설명하는 것과 같습니다.

• "저기 두 사람이 서로 손을 잡으며 걷고 있어요. (정상)"
• "하지만 지금 저기서는 한 사람이 다른 사람을 밀어내고 있어요. (이상)"
• 장점: 단순히 "이상하다"가 아니라, **"누가, 무엇을, 어떻게 했는지"**를 사람처럼 설명해 줍니다. 그래서 왜 그것이 이상한지 바로 이해할 수 있습니다.

---

🎬 2. 이 기술은 어떻게 작동할까요? (3 단계 과정)

이 시스템은 마치 영화 촬영 현장에서 일하는 것 같습니다.

1 단계: 배우 (사물) 찾기 & 짝짓기

• 먼저 비디오 속의 모든 사람, 자동차, 개 등을 찾아냅니다 (물체 탐지).
• 그리고 서로 가까이 있는 사물들을 **짝 (Pair)**으로 만듭니다. 예를 들어, "사람 A 와 사람 B"가 가까이 있으니 이 둘의 관계를 지켜보라고 합니다.

2 단계: AI 비서에게 상황 설명시키기

• 카메라가 1 초 간격으로 찍은 두 장의 사진 (과거와 현재) 을 AI 비서에게 보여줍니다.
• AI 비서에게 "이 두 장의 사진에서, 빨간 박스 안의 사람들이 무엇을 하고 있나요?"라고 묻습니다.
• AI 는 **"두 사람이 횡단보도를 건너고 있다"**거나 **"한 사람이 다른 사람을 밀고 있다"**와 같은 **문장 (텍스트)**으로 답합니다.
  • 중요한 점: AI 는 단순히 그림을 보는 게 아니라, 시간이 지남에 따라 사물들이 어떻게 움직이고 상호작용하는지를 문장으로 요약합니다.

3 단계: "정상적인 행동" 사전 만들기 & 이상 감지

• 학습 단계: 평소의 정상적인 비디오들 (예: 사람들이 평화롭게 걷는 모습) 에서 AI 가 만든 문장들을 모아서 **'정상 행동 사전 (Exemplar Set)'**을 만듭니다.
  • 예시: "사람이 걷는다", "차가 멈춘다", "개가 산책한다".
• 테스트 단계: 새로운 비디오가 들어오면, AI 가 그 상황을 문장으로 설명합니다.
  • 만약 설명이 "사람이 차를 타고 날아다닌다"라면?
  • 이 문장은 '정상 행동 사전'에 있는 어떤 문장과도 맞지 않습니다.
  • **"이건 사전에 없는 이상한 일이야!"**라고 판단하고 알람을 울립니다.

---

💡 3. 왜 이 방법이 특별한가요? (핵심 장점)

① "왜"가 명확합니다 (설명 가능성)
기존 기술은 "여기가 이상해요"라고만 했지만, 이 방법은 **"한 사람이 다른 사람을 밀고 있어요"**라고 설명합니다. 경비원이나 경찰이 현장에 갔을 때, 왜 이상한지 바로 이해할 수 있어 매우 유용합니다.

② 복잡한 상호작용을 잡아냅니다
기존에는 사람 하나하나만 봤기 때문에, "사람이 개를 목줄 없이 데리고 걷는 것"은 정상으로 보일 수 있었습니다. 하지만 이 방법은 **사람과 개의 관계 (상호작용)**를 문장으로 설명하므로, "목줄 없이 걷는 개"라는 이상한 상호작용을 바로 찾아냅니다.

③ 새로운 장소를 위해 다시 공부할 필요가 없습니다
기존 방식은 새로운 카메라 위치 (예: 학교 vs 쇼핑몰) 에 맞춰 AI 를 다시 훈련시켜야 했지만, 이 방법은 정상적인 행동의 '문장'만 모으면 되므로 새로운 장소에서도 쉽게 적용할 수 있습니다.

---

📊 4. 실제 결과는 어떨까요?

연구팀은 여러 테스트를 진행했습니다.

• 복잡한 상황 (ComplexVAD): 사람들이 서로 밀고 넘어지거나, 개가 목줄 없이 돌아다니는 등 복잡한 상황을 잘 찾아냈습니다.
• 일반적인 상황 (Avenue, Street Scene): 기존에 잘 알려진 데이터셋에서도 가장 좋은 성적을 거두었습니다.
• 사람 평가: 사람들이 만든 설명과 AI 가 만든 설명을 비교했을 때, AI 가 만든 설명도 매우 자연스럽고 유용하다는 평가를 받았습니다.

---

⚠️ 5. 한계점과 미래 (현실적인 이야기)

한계점:

• 속도: 이 똑똑한 AI 비서 (Gemma 3, GPT-4o 등) 는 생각보다 느리고 전기를 많이 먹습니다. 그래서 실시간으로 모든 카메라를 감시하기에는 아직 무겁습니다.
• 환각 (Hallucination): 가끔 AI 가 없는 것을 있는 것처럼 말실수를 할 수 있습니다. 하지만 이 시스템은 AI 의 말을 100% 믿기보다, '정상적인 패턴'과 비교하는 보조 도구로만 쓰므로 위험을 줄였습니다.

미래:

• 앞으로는 더 작고 빠른 AI 모델을 개발해서 실시간 감시에도 쓸 수 있도록 하려고 합니다.
• 또한, AI 가 만든 설명이 얼마나 정확한지 검증할 수 있는 새로운 데이터셋도 만들어야 한다고 말합니다.

🎯 요약

이 논문은 **"비디오 감시를 단순한 '이상 탐지'에서 '이해와 설명'이 가능한 단계로 끌어올린 연구"**입니다. 마치 비디오를 보고 사람처럼 상황을 설명해 주는 똑똑한 경비원을 도입하여, 복잡한 사건을 더 정확하게 찾고, 그 이유를 명확하게 알려주는 혁신적인 방법입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비디오 이상 탐지 (Video Anomaly Detection, VAD) 는 보안 및 공공 안전 분야에서 중요성이 커지고 있으나, 기존 반지도 (Semi-supervised) 방식의 방법론들은 두 가지 주요 한계를 겪고 있습니다.
  1. 복잡한 상호작용 이상 탐지의 어려움: 기존 방법들은 객체 간의 복잡한 상호작용 (예: 사람이 물건을 바닥에 두고 가거나, 개가 목줄 없이 걷는 등) 을 포함한 이상을 탐지하는 데 어려움을 겪습니다.
  2. 설명 가능성 (Explainability) 부족: 대부분의 기존 모델은 이상을 탐지하더라도 '왜' 이상인지에 대한 텍스트 기반의 명확한 설명을 제공하지 못합니다.
• 문제 설정: 본 논문은 단일 장면 (Single-scene), 반지도 (Semi-supervised) 설정을 다룹니다. 즉, 정상 활동만 포함된 훈련 비디오는 제공되지만, 이상 활동이 포함된 데이터는 없는 상황에서 특정 장면의 이상을 탐지하는 것이 목표입니다.

2. 제안된 방법론: MLLM-EVAD (Methodology)

저자들은 MLLM-EVAD라는 새로운 프레임워크를 제안하며, Multimodal Large Language Models (MLLM) 을 활용하여 객체 활동과 상호작용을 고수준의 텍스트 설명으로 변환하고 이를 이상 탐지에 활용합니다.

핵심 파이프라인

1. 객체 탐지 및 추적 (Object Detection & Tracking):
   • Detectron2 와 ByteTrack 을 사용하여 비디오 프레임에서 객체를 탐지하고 추적합니다.
   • 객체 간의 공간적 근접성을 기반으로 상호작용이 일어날 가능성이 있는 **객체 쌍 (Object Pairs)**을 식별합니다. (가상 깊이 추정을 통해 3D 거리 계산)
2. MLLM 을 활용한 텍스트 설명 생성 (Textual Description Generation):
   • 시간 간격 (예: 1 초, 30 프레임) 을 두고 선택된 두 프레임의 객체 쌍 (또는 단일 객체) 을 MLLM 에 입력합니다.
   • 프롬프트: "이 이미지들 안에 있는 <객체 이름>들이 무엇을 하고 있는지 간단히 설명해 주세요."
   • MLLM 은 객체의 활동과 상호작용에 대한 자연어 설명 (Sentence) 을 생성합니다.
   • 디자인 선택: 전체 비디오 클립 대신 **객체 중심의 이미지 컷 (Crops)**을 사용하여 MLLM 에게 질문함으로써, 장면 수준의 일반적인 설명이 아닌 세밀한 객체 상호작용에 초점을 맞춥니다.
3. 예시 집합 (Exemplar Set) 구축 (Model Building):
   • 훈련 데이터 (정상 비디오) 에서 생성된 모든 텍스트 설명을 Sentence-BERT 등을 사용하여 임베딩 (Vector) 으로 변환합니다.
   • 예시 선택 알고리즘: 유사한 설명 (중복된 정보) 을 제거하고, 정상 활동의 대표성을 가진 **텍스트 예시 집합 (Exemplar Set)**을 구성합니다. 이는 메모리 효율성을 높이고 과적합을 방지합니다.
4. 이상 탐지 (Anomaly Detection):
   • 테스트 비디오의 객체 쌍/단일 객체에 대해 MLLM 으로 설명을 생성하고 임베딩합니다.
   • 생성된 임베딩이 훈련된 정상 예시 집합과 얼마나 다른지 (Cosine Distance) 를 계산하여 이상 점수 (Anomaly Score) 를 산출합니다.
   • 설명 가능성: 이상으로 판정된 경우, 가장 유사한 정상 예시 (Exemplar) 와의 텍스트 비교를 통해 "왜" 이상인지에 대한 텍스트 설명을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 상호작용 기반 이상 탐지를 위한 최초의 MLLM 접근법: 객체 간의 상호작용을 명시적으로 모델링하고 이를 텍스트 설명으로 변환하여 복잡한 이상 (Interaction-based Anomalies) 을 탐지하는 첫 번째 방법론입니다.
2. 새로운 MLLM 활용 패러다임: 기존 연구들이 MLLM 을 직접적인 이상 판단 (Frame-level classification) 에 사용했던 것과 달리, 본 방법은 정상 상태의 고수준 표현 (Normal Representation) 을 텍스트로 구축하고, 테스트 시 이 표현과의 편차를 통해 이상을 탐지합니다.
3. 내재된 설명 가능성 (Built-in Explainability): 이상 탐지 결과와 함께 자연어 기반의 설명을 제공하며, 기존 VAD 방법론과 결합하여 다른 모델들의 해석 가능성도 향상시킬 수 있음을 증명했습니다.
4. State-of-the-Art 성능 달성: 복잡한 상호작용 이상을 포함하는 벤치마크 (ComplexVAD) 와 기존 표준 데이터셋 (Avenue, Street Scene) 에서 모두 최상위 성능을 기록했습니다.

4. 실험 결과 (Results)

• 데이터셋: ComplexVAD (상호작용 이상 중심), Avenue, Street Scene.
• 성능 지표: RBDC (Region-Based), TBDC (Track-Based), Frame-Level AUC.
• 주요 결과:
  • ComplexVAD: 제안된 MLLM-EVAD 는 기존 최상위 방법 (Scene-Graph) 보다 RBDC, TBDC, Frame-Level 에서 각각 5%, 4%, 1% 향상된 성능을 보였습니다.
  • 결합 모델: MLLM-EVAD 를 기존 정밀한 방법 (Scene-Graph, Tracklet EVAL) 과 결합했을 때, 모든 데이터셋에서 State-of-the-Art (SOTA) 성능을 달성했습니다. (예: ComplexVAD 에서 RBDC 25%, TBDC 70% 달성)
  • 모델 비교: Gemma 3 가 GPT-4o 보다 더 상세하고 설명적인 텍스트를 생성하여 더 높은 정확도를 보였습니다.
  • 설명 가능성 평가: 인간 평가자 (Human Evaluators) 를 통한 설문 조사에서 MLLM-EVAD 가 생성한 설명은 인간이 작성한 설명과 유사한 수준의 정보성을 가진 것으로 평가받았습니다 (Likert 5 점 척도 기준).

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 본 연구는 비디오 이상 탐지 분야에서 시각적 데이터 (Pixel) 를 언어적 의미 (Semantics) 로 변환하여 해석 가능한 고수준 추상화를 가능하게 했습니다. 이는 단순한 이상 탐지를 넘어, 인간이 이해할 수 있는 이유 (Why) 를 제공하는 **설명 가능한 AI (XAI)**의 중요한 진전입니다.
• 한계 및 향후 과제:
  • MLLM 의 높은 추론 지연 (Latency) 으로 인해 실시간 적용에는 어려움이 있습니다.
  • 설명 가능성의 정량적 평가를 위한 표준 데이터셋 부재.
  • 향후 더 경량화된 모델 미세 조정 (Fine-tuning) 과 오픈 보카불러리 (Open-vocabulary) 객체 탐지 통합을 통해 범용성을 높일 계획입니다.

결론적으로, 이 논문은 MLLM 의 강력한 언어 생성 능력을 비디오 이상 탐지에 효과적으로 접목하여, 복잡한 상호작용 이상을 탐지하고 그 이유를 명확히 설명할 수 있는 새로운 패러다임을 제시했습니다.