ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance

이 논문은 복잡한 다중 모달 쿼리를 가진 비디오 감시 데이터에 대한 체계적인 평가를 위해 'ForeSeaQA' 벤치마크를 제안하고, 3 단계 파이프라인을 통해 기존 모델보다 정밀한 검색 및 시간적 위치 추정이 가능한 'ForeSea'라는 AI 포렌식 검색 시스템을 개발했습니다.

핵심

🕵️‍♂️ '포시 (ForeSea)': CCTV 영상 속의 '명탐정'을 찾아주는 AI

이 논문은 수많은 CCTV 카메라에서 찍힌 긴 영상 속에서, 경찰이나 수사관이 특정 사람이나 사건을 찾아야 할 때 겪는 고충을 해결해 주는 새로운 AI 시스템인 **'포시 (ForeSea)'**와 이를 평가하기 위한 새로운 시험지 **'포시 QA (ForeSeaQA)'**를 소개합니다.

기존의 기술로는 "저기 흰 셔츠 입은 남자가 언제 도망갔지?" 같은 복잡한 질문을 답하기가 매우 어려웠습니다. 이 논문은 그 문제를 어떻게 해결했는지 일상적인 비유로 설명해 드리겠습니다.

---

1. 왜 새로운 기술이 필요했을까요? (기존의 문제점)

상상해 보세요. 수천 시간 분량의 CCTV 영상이 쌓여 있는 방이 있습니다. 수사관이 "어제 오후 3 시에 이 사람 (사진) 이 도둑질을 했을 때, 그 옆에 있던 검은 모자 쓴 사람은 누구였나요?"라고 물어봅니다.

• 기존 방식 1 (단순 검색): "검은 모자"라는 글자만 검색하면, 검은 모자를 쓴 수많은 사람들이 나옵니다. 하지만 그중 진짜 범인은 어디일까요? 사람이 일일이 영상을 돌려봐야 합니다.
• 기존 방식 2 (기존 AI): AI 가 영상을 다 보게 하면, "아, 검은 모자가 있네요!"라고 말하지만, **"언제?"**나 **"어디서?"**에 대한 정확한 답을 못 합니다. 마치 책 전체를 빠르게 훑어보긴 했지만, 정답을 찾지 못하고 엉뚱한 장면을 말하는 것 같습니다.

핵심 문제: 기존 기술은 사진 (이미지) 과 질문 (텍스트) 을 동시에 이해하지 못했고, **정확한 시간 (언제 일어났는지)**을 찾아내는 데 서툴렀습니다.

---

2. '포시 (ForeSea)'는 어떻게 작동할까요? (3 단계 명탐정 프로세스)

이 시스템은 마치 능숙한 형사 팀이 사건을 해결하는 것처럼 3 단계로 작동합니다.

1 단계: 🕵️‍♂️ '수색대' (추적 모듈) - 쓸모없는 영상은 버려라!

• 비유: 방 안에 있는 수천 시간의 영상 전체를 보는 게 아니라, "사람"이 등장하는 장면만 골라냅니다.
• 작동: AI 가 CCTV 영상 속 사람 (피사체) 을 쫓아다니며, 사람만 나오는 짧은 클립으로 잘라냅니다. "사람이 안 나오는 빈 거리 영상"은 아예 무시합니다. 이렇게 하면 검색할 범위가 100 배 이상 줄어들어 속도가 빨라집니다.

2 단계: 📚 '도서관 사서' (멀티모달 인덱싱) - 모든 것을 한곳에 정리하다

• 비유: 잘라낸 영상 클립들을 사진과 설명이 달린 카드로 만들어 거대한 도서관에 정리합니다.
• 작동: "흰 셔츠를 입은 남자"라는 영상도, "검은 모자를 쓴 여자"라는 영상도 모두 텍스트와 이미지가 섞인 형태로 저장됩니다. 그래서 수사관이 "이 사람 (사진) + '도망간 시간 알려줘'"라고 물어보면, 도서관 사서가 즉시 관련 카드를 찾아냅니다.

3 단계: 🧠 '수사관' (Video LLM) - 증거를 분석하고 답을 내다

• 비유: 도서관에서 찾아낸 가장 유력한 3~5 개의 영상 클립만 수사관 (AI) 에게 보여줍니다.
• 작동: 수사관은 이 짧은 클립들을 보고 "아, 이 사람이 10 시 35 분에 자전거를 타고 도망갔네!"라고 정확한 시간과 함께 답을 합니다. 전체 영상을 다 보지 않아도, 핵심만 보기에 빠르고 정확합니다.

---

3. '포시 QA (ForeSeaQA)': 새로운 시험지

이 시스템이 정말 잘하는지 확인하기 위해, 연구팀은 **전 세계 최초의 'CCTV 수사 시험지'**를 만들었습니다.

• 기존 시험지: "영상에서 사고가 있었나요?" (O/X) 같은 단순한 질문만 있었습니다.
• 포시 QA 시험지:
  • 복합 질문: "이 사진의 사람이 언제 건물을 들어갔나요?" (사진 + 텍스트 + 시간)
  • 정밀한 시간: "정답은 10 시 35 분이지만, 10 시 30 분~40 분 사이를 말하면 감점!"처럼 정확한 시간을 찾아내야 합니다.
  • 다양한 상황: "누가 싸움을 시작했나요?", "누가 몇 번이나 나타났나요?" 등 다양한 수사 상황을 포함합니다.

이 시험지를 통해 기존 AI 들은 평균 60% 만 맞췄지만, 포시는 66% 를 맞췄고, 시간 정확도 (IoU) 는 11% 나 더 높았습니다.

---

4. 왜 이것이 중요한가요? (결론)

이 연구는 CCTV 수사의 미래를 바꿀 수 있는 두 가지 큰 기여를 했습니다.

1. 실제 수사관처럼 생각하게 만들었습니다: 단순히 "무엇이" 있는지 찾는 게 아니라, **"누가, 언제, 어디서"**를 사진과 함께 찾아내는 능력을 갖췄습니다.
2. 빠르고 정확합니다: 전체 영상을 다 보지 않고, 사람 중심의 핵심 장면만 골라 분석하므로 속도는 2 배 이상 빨라지고 정확도도 올라갔습니다.

한 줄 요약:

**"수천 시간의 CCTV 영상 속에서, 수사관이 원하는 사람과 사건을 '사진'과 '질문'으로 찾아내어 정확한 '시간'까지 알려주는 초고속 AI 명탐정"**이 탄생했습니다.

이 기술이 상용화되면, 실종자 찾기나 범죄 수사 시 수사가 걸리는 시간이 몇 주에서 몇 시간으로 단축될 수 있을 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 감시 영상 분석 시스템은 다음과 같은 한계를 겪고 있습니다:

• 복잡한 쿼리 처리 불가: 실제 수사 현장에서는 특정 인물의 사진 (이미지) 과 함께 "이 사람이 언제 싸움에 참여했는가?"와 같은 텍스트 질문을 결합한 멀티모달 (Multi-modal) 쿼리가 필수적입니다. 그러나 기존 CLIP 기반 모델이나 VideoRAG 시스템은 주로 텍스트 기반 검색에 국한되어 있어, 이미지와 텍스트를 동시에 이해하고 추론하는 데 실패합니다.
• 시간적 정밀도 부족: 긴 감시 영상 (수 시간~수 일) 에서 특정 사건이나 인물을 찾을 때, 단순히 관련 프레임을 찾는 것을 넘어 정확한 시간대 (Temporal Grounding) 를 특정하는 능력이 부족합니다.
• 벤치마크 부재: 감시 분야에서 멀티모달 쿼리와 시간적 정밀도를 동시에 평가할 수 있는 표준 벤치마크가 존재하지 않았습니다.
• 수동 작업의 비효율성: 기존 방식은 수동으로 시간을 필터링하거나 영상을 일일이 검토해야 하므로, 대규모 데이터 처리에 비효율적입니다.

2. 제안 방법 (Methodology)

저자들은 이 문제를 해결하기 위해 ForeSeaQA(새로운 벤치마크) 와 ForeSea(새로운 AI 검색 시스템) 를 제안했습니다.

A. ForeSeaQA (벤치마크)

• 목적: 감시 영상에서 멀티모달 쿼리 (이미지 + 텍스트) 를 입력받아 답변과 함께 정확한 시간대를 찾아내는 능력을 평가하기 위해 설계되었습니다.
• 데이터 구성: UCF-Crime 데이터셋을 기반으로, 밀집된 캡션 (dense captions) 에서 인물 개체를 추출하고, 멀티모달 LLM 을 통해 시각적 근거 (Bounding Box) 를 연결한 후, 6 가지 하위 태스크 (검색, 활동, 사건, 시간적 추론, 카운팅, 이상 탐지) 에 대한 QA 쌍을 생성했습니다.
• 특징:
  • 멀티모달 쿼리: 질문 텍스트와 함께 참조 이미지 (Reference Image) 를 제공합니다.
  • 시간적 정밀도: 답변뿐만 아니라 해당 사건이 발생한 정확한 시간 구간 (Timestamp) 을 함께 평가합니다.
  • 검증: 모든 데이터는 인간이 검증하여 정확성과 모호성 없는 질문을 보장합니다.

B. ForeSea (시스템 아키텍처)

ForeSea 는 3 단계의 플러그 앤 플레이 (Plug-and-play) 파이프라인으로 구성됩니다:

1. 추적 모듈 (Tracking Module):
   • 긴 감시 영상을 처리하여 관련 없는 배경을 필터링하고, 인물 중심 (Person-centric) 의 짧은 클립으로 분할합니다. 이는 검색 공간을 획기적으로 줄여줍니다.
2. 멀티모달 임베딩 모듈 (Multimodal Embedding Module):
   • 생성된 클립들을 텍스트와 이미지 (또는 이미지+텍스트) 쿼리와 동일한 통합 임베딩 공간 (Unified Embedding Space) 으로 인코딩합니다.
   • 기존 CLIP 과 달리, 텍스트만 변환하는 것이 아니라 영상 프레임과 쿼리 이미지를 직접 매칭하여 검색 정확도를 높입니다.
3. 검색 및 추론 모듈 (Retrieval & Reasoning):
   • 사용자의 쿼리에 대해 데이터베이스에서 Top-K 개의 후보 클립을 검색합니다.
   • 검색된 클립들을 Video LLM (Video Large Language Model) 에 입력하여, 해당 영상 내용을 요약하고 시간적으로 근거가 있는 답변을 생성합니다.
   • 공간적 단서 활용: 검색된 클립에 Bounding Box 좌표를 텍스트로 주입하거나 오버레이하여 Video LLM 이 특정 인물에 집중하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. ForeSeaQA 벤치마크 도입: 감시 분야에서 멀티모달 쿼리와 시간적 정밀도 (Temporal Grounding) 를 동시에 평가하는 최초의 벤치마크를 구축했습니다.
2. ForeSea 시스템 개발: 인물 중심 검색 (Person-centric retrieval) 과 멀티모달 RAG 를 결합하여, 복잡한 멀티모달 쿼리에 대해 높은 정확도와 시간적 정밀도를 달성하는 시스템을 제안했습니다.
3. 효율성과 성능 입증: 기존 Video LLM 과 RAG 기반 방법론보다 높은 성능을 보이면서도, 전체 영상을 처리하는 방식보다 입력 프레임 수를 절반으로 줄여 지연 시간 (Latency) 을 크게 단축했습니다.

4. 실험 결과 (Results)

ForeSeaQA 벤치마크 및 오픈 도메인 벤치마크 (VideoMME, MLVU) 에서 다음과 같은 결과를 얻었습니다:

• 정확도 및 시간적 IoU:
  • ForeSea 는 전체 정확도 66.0% 및 시간적 IoU 13.6% 를 기록하여, 기존 VideoRAG 모델 (VideoRAG, T*) 보다 정확도는 3.5%p, 시간적 IoU 는 11.0%p 향상되었습니다.
  • 특히 검색 (Search) 태스크에서 인물 중심 검색의 효과가 가장 두드러지게 나타났습니다.
• 멀티모달 쿼리 강점:
  • 이미지와 텍스트가 결합된 쿼리 (ForeSeaQAMM) 에서 기존 Video LLM 들의 성능이 급격히 떨어지는 반면, ForeSea 는 65.4% 의 높은 정확도를 유지하며 강건성을 입증했습니다.
• 효율성:
  • 전체 지연 시간 (End-to-end Latency) 이 2.6 초로, 기존 RAG 기반 방법론 (5.2~7.6 초) 보다 빠릅니다. 이는 불필요한 프레임을 제거하고 핵심 클립만 Video LLM 에 전달하기 때문입니다.
• 일반화 능력:
  • 감시 도메인을 넘어 오픈 도메인 장편 영상 벤치마크 (LongVideoBench 등) 에서도 최상위권 성능을 보여주며, 프레임 수를 줄임에도 불구하고 성능이 유지됨을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 실제 수사 현장 (Forensic Search) 에 필요한 복잡한 멀티모달 쿼리 처리에 대한 중요한 진전을 이루었습니다.

• 기술적 의의: 단순한 텍스트 검색을 넘어, "이 사람 (이미지) 이 언제 (시간) 무엇을 했는가 (텍스트)"와 같은 자연스러운 수사 질문을 처리할 수 있는 체계를 정립했습니다.
• 실용적 가치: 수동 검토의 부담을 줄이고, 수사관에게 정밀한 시간대와 시각적 증거를 즉시 제공할 수 있는 AI 기반 솔루션을 제시했습니다.
• 미래 방향: 인물 중심의 검색 전략이 장편 영상 이해의 강력한 인덕티브 바이어스 (Inductive Bias) 가 될 수 있음을 증명하여, 향후 효율적인 비디오 RAG 시스템 설계의 방향성을 제시했습니다.

요약하자면, ForeSea는 감시 영상의 방대한 데이터 속에서 특정 인물을 찾고 그 행동을 시간적으로 정확히 추적할 수 있는 최초의 멀티모달 AI 검색 프레임워크이며, 이를 검증하기 위한 ForeSeaQA라는 새로운 표준을 제시했다는 점에서 의미가 큽니다.