ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search

이 논문은 오픈 도메인 비디오 샷 검색을 위한 새로운 벤치마크인 ShotFinder 와 이를 기반으로 한 3 단계 검색 로컬라이제이션 파이프라인을 제안하며, 현재 멀티모달 대규모 언어 모델이 시간적 구조와 복잡한 의미 처리를 포함한 인간 수준의 성능을 달성하는 데 여전히 큰 과제가 있음을 규명합니다.

핵심

1. 문제 상황: "그때 그 장면, 어디 있지?" (영상 편집자의 고충)

상상해 보세요. 당신은 영화나 광고를 만드는 편집자입니다.
"햇살이 따스하게 비치는 카페 테이블에서, 긴 머리를 한 여자가 약간 앞으로 몸을 숙이고 있는 3 초짜리 장면"이 필요하다고 칩시다.

• 과거의 방식: 편집자는 유튜브나 영상 사이트에서 이 장면을 찾으려면, 직접 수천 개의 영상을 켜고, 멈추고, 다시 켜고, 시간을 기억해야 했습니다. 마치 거대한 도서관에서 책 한 권의 특정 페이지를 찾아내려면 모든 책장을 일일이 뒤져야 하는 것과 같습니다.
• 현재의 AI: 최근 AI 는 텍스트를 잘 이해하지만, "이런 느낌의 영상 장면을 찾아줘"라고 하면, 전체 영상 제목은 찾아줘도, 정작 필요한 그 짧은 3 초짜리 장면을 정확히 찾아내지는 못합니다.

2. 해결책: ShotFinder (상상력을 가진 사냥꾼)

연구팀은 이 문제를 해결하기 위해 ShotFinder라는 시스템을 만들었습니다. 이 시스템은 단순한 검색 엔진이 아니라, **상상력이 뛰어난 '영상 사냥꾼'**입니다.

세 단계로 이루어진 사냥 과정:

1. 상상력 발휘 (Video Imagination):
   • 사용자가 "카페에서 여자"라고만 말하면, AI 는 "아, 이건 아마 '카페 브이로그'나 '감성적인 커피 광고' 같은 전체 영상 속에 있을 거야!"라고 상상합니다.
   • 마치 실루엣만 보고 "이건 아마 사슴이겠지"라고 추측하는 것처럼, 짧은 장면 설명을 바탕으로 전체 영상의 맥락을 유추합니다.
2. 인터넷 사냥 (Web Search):
   • 상상한 내용을 바탕으로 유튜브 같은 곳에서 후보 영상들을 찾아옵니다.
3. 정밀 타격 (Temporal Localization):
   • 찾아낸 긴 영상 속에서 "아, 여기가 그 카페 장면이네!"라고 정확한 3 초 구간을 찾아냅니다.

3. 시험지 만들기: 5 가지 미션 (제약 조건)

이 시스템이 얼마나 잘하는지 보기 위해, 연구팀은 1,210 개의 고난도 미션을 준비했습니다. 단순히 "찾아줘"가 아니라, 다음과 같은 5 가지 까다로운 조건을 붙였습니다.

• ⏱️ 시간 순서: "이 장면이 이전에 무슨 일이 있었을 때 나온 거야?" (예: 커피를 따르기 전에 컵을 놓는 장면)
• 🎨 색상: "전체 분위기가 따뜻한 노란색 톤이어야 해."
• 🎬 스타일: "실사 영상이 아니라 애니메이션 스타일이어야 해."
• 🔊 소리: "배경에 재즈 음악이 들려야 해."
• 📺 화질: "화질이 선명한 1080P여야 해."

이것은 마치 **"빨간색 옷을 입고, 비가 오는 날, 노래를 부르며 걷는 사람"**을 찾는 것과 같습니다. 조건이 하나라도 틀리면 안 됩니다.

4. 실험 결과: AI 는 아직 인간을 따라잡지 못함

연구팀은 최신 AI 모델들 (GPT, Gemini, Qwen 등) 을 이 시험지에 풀어보게 했습니다. 결과는 어떨까요?

• 인간 vs AI: 인간 편집자는 88% 정도 성공했지만, 가장 뛰어난 AI 는 27% 정도만 성공했습니다. AI 가 인간을 따라잡기엔 아직 멀었다는 뜻입니다.
• 어떤 게 hardest?
  • 시간 순서 찾기는 비교적 잘했습니다. (예: "이전 장면" 찾기)
  • 하지만 색감이나 화면 스타일을 구분하는 건 AI 가 매우 어려워했습니다. (예: "따뜻한 느낌"을 시각적으로 이해하는 게 어렵습니다.)
• 크기가 중요할까? AI 모델이 크다고 해서 무조건 잘하는 건 아니었습니다. 어떤 작은 모델도 특정 부분에서는 큰 모델과 비슷하게 잘하기도 했습니다.

5. 결론: 아직 갈 길이 멀지만, 시작은 했다

이 논문은 **"영상 편집을 도와주는 AI 는 아직 초기 단계"**라고 말합니다.

• 현재: AI 는 전체 영상의 제목은 잘 찾지만, 정작 필요한 **작은 조각 (Shot)**을 찾아내는 데는 서툴러요. 특히 색감이나 분위기 같은 '느낌'을 이해하는 데는 한계가 있습니다.
• 미래: 하지만 ShotFinder 라는 기준을 마련함으로써, 앞으로 AI 가 어떻게 발전해야 하는지 (색감을 더 잘 이해하게 하거나, 시간 흐름을 더 잘 파악하게 하는 등) 방향을 제시했습니다.

한 줄 요약:

"지금 AI 는 거대한 도서관에서 책 제목은 잘 찾지만, 우리가 원하는 특정 페이지의 특정 그림을 찾아내기는 아직 서툴러요. 이 연구는 그 '찾기' 능력을 키우기 위한 첫걸음이자, AI 의 현재 실력을 낱낱이 보여주는 시험지입니다."

기술 요약

1. 문제 정의 (Problem Definition)

최근 대규모 언어 모델 (LLM) 과 멀티모달 LLM(MLLM) 은 정보 검색 분야에서 괄목할 만한 성과를 거두었으나, 기존 연구는 주로 텍스트나 정적 (static) 멀티모달 데이터에 집중되어 있었습니다. 반면, 오픈 도메인 비디오 샷 (Shot) 검색은 풍부한 시간적 구조 (temporal structure) 와 복잡한 시맨틱을 포함하지만, 이를 체계적으로 평가할 벤치마크와 분석이 부재한 상태였습니다.

실제 비디오 편집 워크플로우에서 편집자는 특정 샷을 찾기 위해 수동으로 프레임을 미리 보거나 타임스탬프를 기억해야 하며, 이는 진입 장벽을 높입니다. 현재 MLLM 이 검색 엔진과 연동하여 **샷 수준의 비디오 검색 및 시간적 위치 특정 (temporal localization)**을 수행할 수 있는지에 대한 체계적인 검증이 필요했습니다.

2. 방법론 (Methodology)

이 논문은 두 가지 핵심 기여를 제시합니다: ShotFinder 벤치마크와 이를 위한 Imagination-Driven 검색 파이프라인.

가. ShotFinder 벤치마크

• 데이터 구성: YouTube 에서 20 가지 주제 카테고리 (예: 다큐멘터리, 애니메이션, 스포츠 등) 에 걸쳐 1,210 개의 고품질 비디오 샷을 수집했습니다.
• 작업 정의: 편집 요구사항을 **샷 설명 (Shot Description)**과 5 가지 **단일 요인 제약 조건 (Single-factor Constraints)**으로 공식화했습니다.
  • 제약 조건: 시간적 순서 (Temporal order), 색상 (Color), 비주얼 스타일 (Visual style), 오디오 (Audio), 해상도 (Resolution).
  • 데이터 생성: 대형 모델을 사용하여 설명을 생성한 후, 컴퓨터 과학 전공 연구자 10 명이 인간 검증 (Human Verification) 을 통해 데이터의 정확성과 제약 조건 일관성을 확보했습니다.
• 평가 지표: 기존 CLIP 기반 유사도 점수는 미세한 제약 조건을 포착하는 데 한계가 있어, 키프레임 기반 MLLM 보조 평가 방법을 도입했습니다. 이는 검색된 샷이 입력 설명과 제약 조건을 만족하는지 MLLM 이 판단하게 하여 인간 평가와 높은 일치도를 유지합니다.

나. ShotFinder 검색 파이프라인 (3 단계)

제안된 방법은 텍스트 기반 샷 설명을 입력받아 웹에서 해당 샷을 찾아내는 3 단계 프로세스입니다.

1. Generator (쿼리 확장 via Video Imagination):
   • 단순한 키워드 추출 대신, "비디오 상상 (Video Imagination)" 메커니즘을 도입합니다.
   • 모델이 주어진 샷 설명을 바탕으로 "이 샷이 포함된 전체 비디오는 어떤 주제/컨텍스트를 가질 것인가?"를 추론하여, 검색 엔진에 적합한 비디오 레벨의 검색 쿼리를 생성합니다.
2. Retriever (후보 비디오 검색):
   • 생성된 쿼리를 사용하여 검색 엔진 (YouTube 등) 에서 후보 비디오 URL 을 수집하고, 접근 가능한 비디오를 다운로드합니다.
3. Localizer (설명 기반 시간적 위치 특정):
   • 다운로드된 비디오에서 적응형 프레임 샘플링 (Adaptive Frame Sampling) 을 수행합니다.
   • MLLM 을 사용하여 입력된 샷 설명과 샘플링된 프레임 (및 오디오) 을 비교하여, 목표 샷에 해당하는 정확한 시간 구간을 특정합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 오픈 도메인 비디오 샷 검색 벤치마크: 실제 편집 워크플로우를 반영한 1,210 개의 고품질 데이터셋과 6 가지 작업 (기본 샷 검색 + 5 가지 제약 조건) 을 포함하는 ShotFinder 를 최초로 제안했습니다.
2. Imagination-Driven 검색 방법론: 샷 설명과 전체 비디오 메타데이터 간의 간극을 메우기 위해 '비디오 상상'을 통한 쿼리 확장 전략을 제안했습니다.
3. 포괄적인 평가 및 분석: 다양한 폐쇄형 (GPT-5.2, Gemini 등) 및 오픈소스 (Qwen3 시리즈 등) 모델에 대한 평가를 수행하여 인간 성능과의 격차와 모델별 강약점을 분석했습니다.

4. 실험 결과 (Results)

• 성능 격차: 인간 평가자 (평균 정확도 88.5%) 와 최상위 모델 (GPT-5.2, 평균 26.9%) 사이에는 여전히 매우 큰 성능 격차가 존재합니다. 이는 오픈 도메인 샷 검색이 멀티모달 모델에게 여전히 해결되지 않은 핵심 과제임을 시사합니다.
• 제약 조건별 불균형:
  • Temporal (시간적): 상대적으로 해결 가능한 영역으로, 모든 모델에서 가장 높은 성능을 보였습니다.
  • Color (색상) & Style (스타일): 현재 모델들이 가장 큰 어려움을 겪는 영역입니다. 색상과 스타일 제약 조건은 모델의 성능을 크게 저하시켰습니다.
• 모델 비교:
  • 폐쇄형 모델: GPT-5.2 가 전반적으로 가장 우수했으나, 색상 인식에서는 여전히 한계가 있었습니다.
  • 오픈소스 모델: Qwen3 시리즈는 특정 하위 작업 (Temporal, Color) 에서 경쟁력 있는 성능을 보였으나, 스타일 인식에서는 폐쇄형 모델에 미치지 못했습니다.
  • 모델 규모: 모델 크기가 커진다고 해서 모든 작업에서 성능이 비례하여 향상되는 것은 아니었으며, 아키텍처 설계와 멀티모달 정렬 전략이 더 중요함을 보여주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 오픈 도메인 비디오 샷 검색이라는 새로운 과제를 정립하고, 이를 해결하기 위한 체계적인 벤치마크와 방법론을 제시했습니다.

• 실용적 가치: 실제 비디오 편집 및 콘텐츠 제작 분야에서 자연어 명령으로 특정 샷을 찾아내는 자동화 기술의 가능성을 탐구했습니다.
• 연구 방향 제시: 현재 멀티모달 모델이 시간적 맥락 이해는 어느 정도 가능하나, 색상, 스타일, 오디오 등 세부적인 감각적 속성과 복잡한 제약 조건을 통합적으로 처리하는 데는 한계가 있음을 명확히 지적했습니다.
• 미래 과제: 다중 제약 조건 (Multi-factor constraints) 이 결합된 복잡한 편집 시나리오와 더 정교한 프레임 추출 알고리즘 개발이 향후 연구 방향임을 제시했습니다.

요약하자면, ShotFinder 는 비디오 편집의 자동화를 위한 중요한 첫걸음이며, 현재 AI 모델의 능력을 평가하고 한계를 파악하는 데 필수적인 기준을 마련했다는 점에서 학술적, 산업적 의의가 큽니다.