FineVAU: A Novel Human-Aligned Benchmark for Fine-Grained Video Anomaly Understanding

이 논문은 기존 벤치마크의 한계를 극복하고 인간과 정렬된 평가 지표인 FVScore 와 고해상도 데이터셋 FineW3 를 포함한 새로운 벤치마크 FineVAU 를 제안하여, 비디오 이상 현상에 대한 LVLM 의 미세하고 구체적인 이해 능력을 종합적으로 평가합니다.

핵심

🎬 1. 문제점: "단어 맞추기" 게임의 한계

지금까지 AI 가 비디오의 이상한 사건 (예: 도둑질, 싸움, 폭발 등) 을 설명하는지 평가할 때는 두 가지 방식을 주로 썼습니다.

1. 단어 겹치기 (BLEU, ROUGE 등): 사람이 쓴 정답과 AI 가 쓴 답을 비교해서 공통된 단어가 몇 개나 있는지 세는 방식입니다.
   • 비유: 시험지 정답이 "사과를 먹었다"일 때, AI 가 "과일을 섭취했다"라고 써도 단어가 달라서 감점하는 꼴입니다. 의미는 같은데 점수가 낮아지는 거죠.
2. LLM 심판관 (Language Quality): 다른 AI 가 "글이 매끄럽고 논리적인가?"만 봅니다.
   • 비유: "사과를 먹었다" 대신 "코끼리가 날아다니며 춤을 추었다"라고 써도, 문장이 아주 유창하고 논리적으로 연결되면 "잘 썼다"고 점수를 줄 수 있습니다. 사실은 틀렸는데 점수는 높게 주는 어이없는 상황이 발생합니다.

결론: 기존 방법은 AI 가 사실을 제대로 봤는지는 상관없이, 글을 잘 썼는지만 평가하는 것이었습니다.

---

🔍 2. 해결책: FineVAU (파인바우) - "수사관"이 된 AI

이 연구팀은 **"이상한 사건을 이해한다"**는 게 단순히 글쓰기가 아니라, 세 가지 핵심 질문에 답하는 것이라고 정의했습니다. 마치 형사가 사건 현장을 조사하듯 말이죠.

• 무엇 (What): 무슨 일이 일어났나요? (예: "남자가 남자를 때렸다")
• 누가 (Who): 누가 관여했나요? (예: "검은 옷을 입은 키 큰 남자")
• 어디 (Where): 어디서 일어났나요? (예: "밤에 비가 오는 골목길")

이 세 가지를 모두 정확히 파악해야 비로소 "이상한 사건을 이해했다"고 인정하는 것입니다.

---

📏 3. 새로운 척도: FV-Score (에프브이 스코어)

이 연구팀은 새로운 점수판인 FV-Score를 만들었습니다. 이는 단순히 글자 수를 세는 게 아니라, AI 의 답변 속에 '핵심 증거'가 들어있는지를 하나하나 체크하는 방식입니다.

• 기존 방식: "글이 예쁘면 100 점!"
• 새로운 방식 (FV-Score):
  • "폭발"이 일어났는데 AI 가 "불꽃놀이"라고 했으면? → 0 점 (사실 오류)
  • "검은 옷"을 입은 사람이 있는데 AI 가 "흰 옷"이라고 했으면? → 0 점 (누가 잘못 봄)
  • "밤"에 일어났는데 AI 가 "낮"이라고 했으면? → 0 점 (장소/시간 오류)
  • 하지만 "두 사람이 싸웠다"고 정확히 말하고, 옷 색깔은 살짝 빗나갔다면? → 부분 점수

이 방식은 사람이 사건을 볼 때 중요하게 생각하는 요소와 AI 의 답변을 비교하므로, 훨씬 더 정확한 평가가 가능합니다.

---

🧪 4. 실험 결과: AI 의 "눈가림" 현상 발견

이 새로운 기준 (FineVAU) 으로 최신 AI 모델들을 시험해 보니 놀라운 결과가 나왔습니다.

• 정적인 것은 잘 봄: "건물이 있다", "도로가 있다"처럼 고정된 배경이나 큰 사물은 잘 알아냅니다. (비유: 사진 속 배경은 잘 보임)
• 동적인 것은 못 봄: 하지만 짧고 미세한 이상 행동을 놓칩니다.
  • 예시: "상점에서 물건을 훔쳐 가방에 넣는 순간"이나 "작은 싸움" 같은 건 AI 가 거의 못 봅니다.
  • 원인: AI 는 **"평범한 일상"**을 보기에 익숙해서, 이상한 일이 일어나도 "아, 그냥 사람들이 대화하는 구나"라고 착각합니다. (비유: AI 는 평범한 게 정답이라고 믿어서, 이상한 일이 있어도 "정상"이라고 보고하는 착각을 자주 합니다.)

---

💡 5. 요약: 왜 이 연구가 중요할까요?

이 논문은 **"비디오 감시나 안전 시스템에 AI 를 쓸 때, 단순히 글이 잘 쓰였는지 확인하는 게 아니라, 실제로 무슨 일이 일어났는지 정확히 파악했는지 확인해야 한다"**고 경고합니다.

• 기존: "글이 예쁘면 OK!" (위험한 사건을 놓칠 수 있음)
• 새로운 (FineVAU): "누가, 어디서, 무엇을 했는지 구체적으로 말해야 OK!" (실제 위험을 감지해야 함)

이 연구는 앞으로 AI 가 더 똑똑하게 비디오 속의 위험을 찾아내고, 우리가 믿고 맡길 수 있는 시스템을 만드는 데 중요한 발판이 될 것입니다. 마치 수사관이 증거를 꼼꼼히 따져보듯, AI 도 사건의 핵심을 정확히 파악하도록 훈련해야 한다는 메시지를 전달합니다.

기술 요약

1. 문제 정의 (Problem)

비디오 이상 탐지 (Video Anomaly Detection, VAD) 는 기존에 정의된 이상 유형을 분류하거나 프레임 위치를 찾는 데 초점을 맞춰 왔으나, **비디오 이상 이해 (Video Anomaly Understanding, VAU)**는 비디오 내의 비정상적인 사건의 뉘앙스와 배경을 깊이 있게 이해하고 자연어 형태로 설명하는 더 복잡한 과제입니다.

최근 대규모 시각 - 언어 모델 (LVLMs) 의 등장으로 VAU 연구가 진전되었으나, 이를 평가하는 벤치마크와 지표 (Metrics) 가 부재하여 다음과 같은 문제가 존재합니다:

• 기존 지표의 한계: BLEU, ROUGE-L 과 같은 n-gram 기반 지표는 어휘적 중복도만 측정하여 사실적 정확도나 문맥적 이해를 반영하지 못합니다.
• LLM 기반 평가의 주관성: 기존 LLM 기반 평가는 언어의 유창성이나 전체적인 일관성에 치중하여, 사실과 다른 설명 (할루시네이션) 을 포함하더라도 높은 점수를 주는 경향이 있으며, 인간의 이상 인식과 정렬되지 않은 주관적 결과를 초래합니다.
• 미세한 이해 부족: 현재 평가 방식은 사건의 '무엇 (What)', '누가 (Who)', '어디 (Where)'와 같은 핵심 요소를 세밀하게 분리하여 평가하지 못합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 FineVAU라는 새로운 벤치마크를 제안하며, 이를 세 가지 핵심 요소로 구성합니다.

A. FineVAU 벤치마크 및 문제 공식화

VAU 를 인간의 이상 인식에 기반한 3 차원 구조적 문제로 정의합니다:

1. What (Events): 비디오에서 발생하는 핵심 행동, 상호작용, 상태 변화 (예: "싸움", "폭발").
2. Who (Entities): 사건에 관여하는 주체 (사람, 차량 등) 와 그들의 시각적 속성 (옷차림, 나이, 성별 등).
3. Where (Location): 사건이 발생한 장소의 물리적 환경, 조명, 시간대, crowd density 등.

B. FV-Score (새로운 평가 지표)

기존 지표 대신 FV-Score를 제안합니다. 이는 LLM 기반의 판정자 (FineVAU-Judge) 를 사용하여 생성된 보고서 (R) 와 정답 (Ground Truth, G) 간의 의미적 일치도를 측정합니다.

• 구조적 점수화: 각 차원 (What, Who, Where) 별 점수를 별도로 계산하여 종합합니다.
  • Who, Where: 이진 척도 (0: 부재/오류, 1: 존재/정확).
  • What: 3 단계 척도 (0: 부재/오류, 0.5: 부분적/사소한 오류, 1: 정확/완전).
• 장점: 사실적으로 틀렸지만 언어적으로 유창한 설명을 감지하고, 인간이 이상을 인식하는 데 의존하는 핵심 요소를 기반으로 해석 가능한 피드백을 제공합니다.

C. FineW³ (새로운 데이터셋)

기존의 인간 주석 (UCA 등) 을 기반으로 LVLM 을 활용하여 What, Who, Where 정보를 체계적으로 증강한 고품질 데이터셋입니다.

• 자동화 파이프라인: 2 단계 프로세스를 통해 기존 주석을 세분화하고, LVLM(Gemini-2.5-Pro) 을 이용해 관여 주체, 시각적 속성, 장소 정보를 정밀하게 추출 및 연결합니다.
• 통계: 1,544 개의 비디오, 17,813 개의 사건 (정상 13,393 / 비정상 4,420), 59,392 개의 개체 및 74,593 개의 속성 정보를 포함합니다.

3. 주요 기여 (Key Contributions)

1. FineVAU 벤치마크: 이벤트, 개체, 위치라는 3 가지 핵심 요소를 기반으로 한 인간 정렬 (Human-Aligned) 미세 입자 (Fine-grained) VAU 평가 체계 제시.
2. FV-Score: LLM 기반의 핵심 요소 탐지 메트릭으로, 해석 가능하고 실행 가능한 피드백을 제공하며 인간 인식과 높은 상관관계를 가짐.
3. FineW³ 데이터셋: 체계적이고 확장 가능한 파이프라인을 통해 기존 주석에 미세한 시각 정보를 추가한 고품질 데이터셋 구축.
4. LVLM 한계 규명: 다양한 최신 LVLM 들에 대한 광범위한 실험을 통해 현재 모델들의 치명적인 맹점을 발견하고 공개함.

4. 실험 결과 (Results)

다양한 오픈 소스 LVLM (Qwen2.5-VL, InternVL3, LLaVA 시리즈 등) 을 Zero-shot 설정으로 평가한 결과는 다음과 같습니다.

• 정적 정보 vs 동적/미세 정보: 모델들은 정적인 배경 (장소, 조명) 과 개체 식별에는 비교적 높은 성능을 보이지만 (평균 61.3%), 미세한 공간 및 시간적 이해에는 심각한 어려움을 겪습니다.
  • 이벤트 인식: 평균 정확도가 **12.2%**에 불과하여, 대부분의 이상 사건을 놓치거나 잘못 설명합니다.
  • 시각적 단서 의존성: 폭발, 방화, 체포 등 강한 시각적 단서 (밝은 빛, 제복 등) 가 있는 사건은 잘 인식하지만, 소매치기나 작은 행동 변화와 같은 미세한 이상은 인식하지 못합니다.
• 정상성 편향 (Bias towards Normalcy): 모델들은 비정상적인 사건을 정상적인 사건 (예: 싸움을 대화로 인식) 으로 잘못 해석하는 할루시네이션 경향이 강합니다. 반대로 정상적인 상황을 비정상으로 잘못 인식하는 경우는 드뭅니다.
• 모델별 성능: InternVL3 이 전반적으로 가장 좋은 성능을 보였으며, LLaVA-OneVision 과 LLaVA-VID 는 대규모 컨텍스트를 가진 모델들보다 이벤트 이해에서 더 나은 성능을 보여, 정적 컨텍스트 이해와 이상 사건 이해 사이의 괴리를 시사합니다.
• 평가 지표 상관관계: FV-Score 는 인간의 판단과 가장 높은 상관관계 (Pearson 0.61, Kendall's Tau 0.56) 를 보이며, 기존 n-gram 기반 지표나 다른 LLM 기반 지표보다 우수함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 새로운 평가 패러다임: VAU 평가가 단순한 언어 생성 능력에서 벗어나, 사실적 정확도와 미세한 시각적 요소의 이해를 중시하는 방향으로 전환되어야 함을 강조합니다.
• 모델 발전 방향 제시: 현재 LVLM 들이 복잡한 이상 사건을 이해하는 데 있어 공간적, 시간적 미세한 이해가 부족하다는 사실을 규명함으로써, 향후 모델 개발 시 **할루시네이션을 줄이고 사실적 이해를 증진시키기 위한 표적 학습 (Targeted Training)**의 필요성을 제기합니다.
• 실용적 가치: 공공 안전 및 인프라 모니터링 등 실제 응용 분야에서 신뢰할 수 있는 이상 탐지 시스템 구축을 위해, 인간이 인지하는 방식과 정렬된 엄격한 벤치마크와 데이터셋이 필수적임을 보여줍니다.

이 논문은 비디오 이상 이해 분야에서 평가의 표준을 재정립하고, 차세대 LVLM 의 발전 방향을 제시하는 중요한 이정표가 됩니다.