No Need For Real Anomaly: MLLM Empowered Zero-Shot Video Anomaly Detection

이 논문은 실제 이상 데이터 없이 segmented 객체를 의사-이상으로 변환하고 멀티모달 대규모 언어 모델 (MLLM) 을 활용하여 오픈 월드 환경에서 최첨단 성능을 달성하는 제로샷 비디오 이상 탐지 프레임워크인 LAVIDA 를 제안합니다.

핵심

1. 기존 방식의 문제점: "치과 의사"의 한계

기존의 이상 탐지 AI 들은 마치 오직 '충치'만 본 치과 의사와 같습니다.

• 학습 방식: 의사 (AI) 는 수많은 충치 (이상 데이터) 사진을 보고 공부합니다.
• 한계: 만약 환자가 "치아가 아닌 잇몸이 붓는 병"이나 "이전엔 본 적 없는 새로운 치아 질환"을 가지고 오면, 이 의사는 당황해서 "이건 내가 배운 게 아니니 모릅니다"라고 말합니다.
• 실제 문제: 기존 AI 는 훈련 데이터에 있는 특정 상황 (예: 지하철 안의 싸움) 만 알고, 새로운 상황 (예: 공원의 폭력) 이나 새로운 이상 유형이 나오면 전혀 못 찾아냅니다.

2. LAVIDA 의 혁신: "유치원 선생님"의 눈

LAVIDA 는 **세상의 모든 사물을 알고 있는 '유치원 선생님'**처럼 작동합니다. 이 선생님은 치과 의사가 아닙니다. 대신, **세상 모든 동물, 사물, 상황을 알고 있는 '대백과사전 (MLLM, 멀티모달 대형 언어 모델)'**을 옆에 두고 있습니다.

핵심 아이디어 3 가지

① 이상 데이터가 없어도 된다? (Anomaly Exposure Sampler)

• 비유: LAVIDA 는 실제 '싸움'이나 '폭력' 영상을 하나도 보지 않고도 훈련합니다. 대신, 동물원이나 자연 다큐멘터리 영상을 가져옵니다.
• 방법: "이 영상에서 '코끼리'가 이상해!"라고 가르칩니다. 사실 코끼리는 정상인데, AI 에게는 "코끼리가 여기 있으면 이상한 거야"라고 가르치는 것입니다.
• 효과: AI 는 "아, 내가 본 적 없는 것 (코끼리) 이 갑자기 나타나는 게 이상한 거구나"라는 논리를 깨닫게 됩니다. 그래서 나중에 실제 폭력이나 사고가 일어나도, "이건 내가 배운 '이상한 것'이네!"라고 바로 알아챕니다. 실제 범죄 데이터 없이도 범죄를 찾아내는 마법입니다.

② 세상의 모든 것을 아는 '대백과사전' (MLLM)

• 비유: 기존 AI 는 "싸움"이라는 단어만 알면 "싸움"만 찾습니다. 하지만 LAVIDA 는 "폭력", "상처", "도망치는 것", "화재" 등 수만 가지 개념을 언어로 이해합니다.
• 효과: 만약 훈련 데이터에 '폭탄'이 없어도, AI 는 "폭탄은 위험하고 이상한 거야"라는 언어적 지식을 통해 폭탄이 터지는 장면을 즉시 감지할 수 있습니다. 상황을 문맥으로 이해하는 것입니다.

③ 잡음 제거와 초점 맞추기 (Token Compression)

• 비유: 비디오는 보통 배경 (하늘, 건물, 나무) 이 99% 를 차지하고, 이상한 사건은 1% 만 차지합니다. 기존 AI 는 배경까지 다 분석하려다 지쳐버립니다.
• 방법: LAVIDA 는 **"배경은 무시하고, 이상한 것만 쏙쏙 골라내는 필터"**를 씁니다.
• 효과: 컴퓨터가 처리해야 할 정보량이 급격히 줄어들어, 더 빠르고 정확하게 이상한 부분만 집중해서 찾아냅니다.

---

3. 왜 이것이 중요한가요? (결론)

이 기술은 **"알 수 없는 미래의 위험"**을 대비하게 해줍니다.

• 기존: "우리가 배운 범죄 유형 A, B, C 만 찾아냅니다."
• LAVIDA: "우리는 어떤 종류의 이상한 일이든, 어떤 장소에서든 찾아낼 수 있습니다. 왜냐하면 우리는 '이상함'의 개념을 이해하기 때문입니다."

한 줄 요약:

LAVIDA 는 실제 범죄 영상을 하나도 보지 않고도, 세상의 모든 사물을 아는 언어 모델과 논리적 훈련을 통해, 어떤 새로운 위험이든 실시간으로 찾아내는 초능력 CCTV를 만든 것입니다.

이 시스템은 이미 여러 테스트에서 기존 최고 기술 (SOTA) 보다 훨씬 뛰어난 성능을 보여주며, 실제 세상의 다양한 위험으로부터 우리를 보호할 수 있는 가능성을 열었습니다.

기술 요약

논문 제목: 실제 이상치 불필요: MLLM 기반 제로샷 비디오 이상 탐지 (LAVIDA)

1. 문제 정의 (Problem)

기존의 비디오 이상 탐지 (Video Anomaly Detection, VAD) 는 다음과 같은 한계를 가지고 있습니다:

• 데이터의 희소성과 다양성 부족: 실제 이상 데이터는 드물게 발생하며, 기존 데이터셋은 특정 시나리오와 이상 유형에 국한되어 있어 새로운 상황 (Open-World) 에 대한 일반화 능력이 떨어집니다.
• 맥락 의존적 의미 이해의 부재: 같은 행동이라도 시나리오에 따라 정상일 수도 있고 이상일 수도 있습니다 (예: '달리기'는 운동장에서는 정상, 은행에서는 이상). 기존 모델은 이러한 맥락적 의미를 깊이 있게 이해하지 못해 보이지 않는 이상 유형을 탐지하기 어렵습니다.
• 시공간적 희소성 (Spatiotemporal Sparsity): 이상 현상은 비디오의 매우 작은 부분 (시간적, 공간적) 에만 존재하며, 배경 정보로 인해 연산 비용이 증가하고 중요한 신호가 희석되는 문제가 있습니다.
• 훈련 데이터 의존성: 기존 방법들은 대부분 실제 이상 데이터로 훈련되거나, 훈련 없이 텍스트 기반 점수만 활용하여 공간적 위치 (Pixel-level) 를 정확히 파악하지 못합니다.

2. 제안 방법: LAVIDA (Methodology)

저자들은 LAVIDA (LLM-Assisted VIdeo Anomaly Detection Approach) 라는 엔드 - 투 - 엔드 제로샷 VAD 프레임워크를 제안합니다. 이 모델은 실제 VAD 데이터 없이 훈련되며, 멀티모달 대규모 언어 모델 (MLLM) 을 핵심으로 활용합니다.

주요 구성 요소:

1. 이상 노출 샘플러 (Anomaly Exposure Sampler):

   • 핵심 아이디어: 실제 이상 데이터 대신, 기존 시맨틱 세그멘테이션 (Semantic Segmentation) 데이터셋을 활용하여 가짜 이상 (Pseudo-anomalies) 을 생성합니다.
   • 작동 원리: 다양한 객체 (Parrot, Car, Dog 등) 가 포함된 세그멘테이션 데이터에서 무작위로 관련 없는 객체 카테고리를 샘플링하여 '이상'으로 간주하거나, 특정 객체를 '정상'으로 간주하는 방식으로 데이터를 변환합니다. 이를 통해 모델은 실제 VAD 데이터 없이도 다양한 이상 유형과 시나리오에 적응하도록 훈련됩니다.

2. 토큰 압축 (Token Compression via Reverse Attention):

   • 문제 해결: 비디오의 대부분은 배경 (Background) 이며, 이상 객체는 매우 작습니다. 모든 토큰을 처리하면 연산 비용이 과다하고 MLLM 의 추론 능력이 저하됩니다.
   • 해결책: 역주의 (Reverse Attention) 메커니즘을 도입합니다.
     1. KNN 기반 밀도 추정으로 배경 토큰 집합을 식별합니다.
     2. 배경 토큰과 가장 유사하지 않은 (가장 이질적인) 토큰들을 '이상 후보'로 선택합니다.
     3. 이를 통해 배경 정보를 압축하고 이상 패턴에 집중할 수 있는 컴팩트한 토큰 표현을 생성하여 연산 효율성을 높입니다.

3. 다중 스케일 의미 추출기 (Multi-Scale Semantic Projector):

   • MLLM 은 비디오 전체의 의미 (Clip-level) 를 잘 이해하지만, 프레임 단위 (Frame-level) 나 픽셀 단위 (Pixel-level) 의 세부 정보를 놓칠 수 있습니다.
   • 해결책: MLLM 에서 추출한 시맨틱 특징과 비전 백본 (Vision Backbone) 의 특징을 융합하는 프로젝터를 설계합니다. 학습 가능한 쿼리 토큰 (Learnable Query Tokens) 을 사용하여 비디오 수준의 맥락과 프레임 수준의 세부 정보를 동시에 접근하도록 하여, 정밀한 이상 탐지를 가능하게 합니다.

4. 다중 레벨 마스크 디코더 (Multi-Level Mask Decoder):

   • SAM2 (Segment Anything Model 2) 의 마스크 디코더를 기반으로 하여, 프레임 수준의 이상 점수와 픽셀 수준의 이상 분할 (Segmentation) 을 동시에 출력합니다.

3. 주요 기여 (Key Contributions)

1. 엔드 - 투 - 엔드 제로샷 VAD 프레임워크: 실제 이상 데이터 없이 MLLM 과 가짜 이상 데이터를 활용하여 훈련되는 최초의 엔드 - 투 - 엔드 VAD 모델 제안.
2. 이상 노출 샘플러 전략: 기존 세그멘테이션 데이터를 재구성하여 다양한 시나리오와 이상 유형을 학습할 수 있도록 함.
3. 효율적인 토큰 압축: 역주의 메커니즘을 통해 배경 노이즈를 제거하고 MLLM 의 연산 비용을 크게 절감하면서도 정확도를 유지.
4. SOTA 성능 달성: 프레임 레벨과 픽셀 레벨 모두에서 기존 제로샷 및 비지도/약지도 방법들을 능가하는 성능 달성.

4. 실험 결과 (Results)

저자들은 4 개의 벤치마크 데이터셋 (UBnormal, ShanghaiTech, UCF-Crime, XD-Violence) 과 1 개의 픽셀 레벨 데이터셋 (UCSD Ped2) 에서 제로샷 설정으로 실험을 수행했습니다.

• 프레임 레벨 성능 (Frame-level):
  • UBnormal: 76.45% AUC (기존 제로샷/ Few-shot 방법 대비 SOTA)
  • ShanghaiTech: 85.28% AUC
  • UCF-Crime: 82.18% AUC (비지도 방법 대비 우월)
  • XD-Violence: 90.62% AP (약지도 방법 대비 우월)
• 픽셀 레벨 성능 (Pixel-level):
  • UCSD Ped2: 87.68% AUC (기존 SOTA 대비 12.57%p 향상). 이는 공간적 이상 위치를 정확히 파악하는 능력을 입증합니다.
• 효율성: 토큰 압축을 통해 GPU 메모리 사용량을 약 54% 로 줄이면서도 성능 저하가 거의 없음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 데이터 의존성 탈피: VAD 분야에서 가장 큰 병목이었던 '실제 이상 데이터 수집의 어려움'을 해결했습니다. 외부의 일반적인 시맨틱 데이터만으로도 강력한 이상 탐지 모델을 훈련할 수 있음을 증명했습니다.
• 개방형 세계 (Open-World) 대응: 사전 정의된 이상 유형에 국한되지 않고, MLLM 의 언어 이해 능력을 통해 새로운 시나리오와 이상 유형을 즉시 탐지할 수 있는 능력을 갖추었습니다.
• 정밀한 위치 파악: 단순히 "이상이다"라고 판단하는 것을 넘어, 이상 발생의 정확한 시간적 구간과 공간적 영역 (픽셀 단위) 을 식별할 수 있어 실제 안전 및 감시 시스템 적용 가능성이 높습니다.

이 연구는 비디오 이상 탐지 분야에서 MLLM 의 잠재력을 극대화하고, 데이터 부족 문제를 해결하는 새로운 패러다임을 제시했다는 점에서 큰 의의가 있습니다.