DataCube: A Video Retrieval Platform via Natural Language Semantic Profiling

이 논문은 대규모 비디오 저장소에서 자연어 기반의 심층 의미 분석과 하이브리드 검색 기술을 활용하여 사용자 정의 데이터셋을 효율적으로 구축하고 검색할 수 있는 지능형 플랫폼 'DataCube'를 제안합니다.

핵심

🎥 데이터큐브 (DataCube): 거대한 영상 도서관의 '지능형 사서'

이 논문은 **"수백만 개의 영상을 가지고 있지만, 딱 맞는 영상을 찾는 게 너무 힘들다"**는 문제를 해결하기 위해 만든 **'데이터큐브 (DataCube)'**라는 시스템을 소개합니다.

이 시스템을 이해하기 쉽게 **거대한 '영상 도서관'**에 비유해서 설명해 드릴게요.

---

1. 문제: "책은 있는데, 찾고 싶은 게 안 보여요!" 📚🤯

지금까지 우리는 유튜브나 공공 데이터처럼 엄청난 양의 영상 (책) 을 가지고 있었습니다. 하지만 이 영상들은 원시 데이터 (Raw Data) 상태라, 마치 책장에 아무렇게나 쌓인 책들처럼 정리되어 있지 않았어요.

• 기존 방식 (CLIP): "고양이"라고 검색하면, 고양이와 비슷한 그림이 있는 책만 찾아줍니다. 하지만 "고양이가 비 오는 날 창가에 앉아 슬퍼하는 모습"처럼 세부적인 조건을 넣으면 찾기가 매우 어렵습니다.
• 문제점: 원하는 영상을 찾으려면 매번 영상을 다시 분석하고 정리해야 해서 시간과 돈이 너무 많이 들었습니다.

2. 해결책: 데이터큐브는 '똑똑한 사서'입니다 🧠✨

데이터큐브는 이 거대한 영상 도서관에 **AI 기반의 '지능형 사서'**를 배치한 것입니다. 이 사서는 다음과 같은 일을 합니다.

① 영상 정리 및 분류 (Semantic Profiling)

이 사서는 영상 하나하나를 보고 **자연어 (사람이 쓰는 말)**로 상세한 설명을 적어냅니다.

• 예시: "고양이"라는 영상 하나에 대해, 사서는 이렇게 메모를 남깁니다.
  • 주제: 고양이
  • 분위기: 차분하고 슬픔
  • 카메라: 창가에서 옆에서 찍음
  • 스타일: 애니메이션 아님, 실사
  • 키워드: 비, 빗방울, 창문

이렇게 영상의 내용을 '말'로 변환해두기 때문에, 우리는 복잡한 기술 없이 사람처럼 말로 검색할 수 있게 됩니다.

② 질 좋은 영상만 골라내기 (Quality Control)

모든 영상을 다 쓸 수는 없죠. 사서는 영상들을 검사합니다.

• 중복 제거: 똑같은 영상은 버립니다.
• 화질 검사: 너무 흐리거나, 움직이지 않는 정지된 영상은 제외합니다.
• 미적 평가: 눈이 편안한 예쁜 영상만 선별합니다.

③ 똑똑한 검색 엔진 (Hybrid Retrieval)

사용자가 "고양이가 비 오는 날 창가에 앉아 있는 실사 영상"이라고 검색하면, 사서는 두 가지 방식으로 찾아줍니다.

1. 빠른 검색 (Embedding): 키워드와 비슷한 영상들을 먼저 대략적으로 찾아옵니다. (1 만 개 정도)
2. 정밀한 검색 (Re-ranking & Deep Retrieval): 찾은 영상들을 AI 가 다시 한번 꼼꼼히 읽어보고, 가장 정확한 순서로 다시 정렬합니다. 특히 "애니메이션 제외"처럼 복잡한 조건이 들어오면, AI 가 영상을 직접 보고 "이건 애니메이션이니까 제외하자"라고 판단합니다.

---

3. 실제 사용 방법: 도서관을 방문하듯 🖥️🔍

이 시스템은 웹사이트로 접속해서 누구나 쓸 수 있습니다.

1. 검색: 검색창에 원하는 내용을 한국어나 영어로 입력합니다. (예: "로봇이 춤추는 장면, 배경은 우주")
2. 조건 설정: "영상 길이는 10 초 이내로", "해상도는 HD 로" 같은 조건을 체크합니다.
3. 결과 확인: 찾은 영상들을 미리 보고, 마음에 드는 것들을 선택합니다.
4. 다운로드: 선택한 영상들을 하나의 **'데이터셋 (책 더미)'**으로 만들어 다운로드할 수 있습니다.

4. 왜 이것이 중요할까요? 🌟

• 시간 절약: 연구자나 개발자가 직접 영상을 찾아 정리하는 수고를 덜어줍니다.
• 정확도 향상: "애니메이션 제외"처럼 까다로운 조건도 정확하게 찾아줍니다.
• 공유 문화: 누구나 자신의 영상 모음을 등록하고, 다른 사람들과 공유하여 더 큰 지식의 도서관을 만들 수 있습니다.

📝 한 줄 요약

데이터큐브는 거대하고 정리되지 않은 영상 바다 속에서, **사람이 말로 검색하면 AI 가 내용을 이해하고 가장 딱 맞는 영상들을 찾아주는 '초능력의 사서'**입니다.

이제 영상 데이터를 준비할 때, 더 이상 "찾는 데 100 시간"을 쓰지 않아도 됩니다. **"원하는 걸 말하면, 바로 가져다준다"**는 것이 이 시스템의 핵심입니다.

기술 요약

DataCube: 자연어 시맨틱 프로파일링을 통한 비디오 검색 플랫폼

1. 문제 정의 (Problem)

현대 비디오 이해 및 생성 모델의 발전은 고품질이고 작업에 특화된 데이터에 대한 수요를 급증시켰습니다. 그러나 HowTo100M, Panda-70M, Koala-36M 과 같은 페타바이트 규모의 대규모 오픈 도메인 비디오 저장소가 존재함에도 불구하고, 다음과 같은 한계로 인해 직접 활용하기 어렵습니다.

• 비효율적인 데이터 가공: 원시 비디오를 작업별 데이터셋으로 변환하는 과정은 비용이 많이 들고 시간이 오래 걸립니다.
• 유연성 부족: 기존 CLIP 기반의 임베딩 방법은 전체적인 시각 - 텍스트 유사성만 포착하여 세밀한 의미 (fine-grained semantics) 를 모델링하는 데 한계가 있으며, 인덱싱 파이프라인이 구축된 후 시스템을 확장하기 어렵습니다.
• 데이터 분포 제어의 어려움: 특정 작업에 맞는 콘텐츠 추출과 데이터셋 분포 조절이 어렵습니다.

2. 방법론 (Methodology)

DataCube 는 대규모 비디오 저장소에서 맞춤형 비디오 데이터셋을 효율적으로 구축할 수 있도록 설계된 엔드 - 투 - 엔드 지능형 플랫폼입니다. 주요 기술적 접근 방식은 다음과 같습니다.

• 자동 전처리 및 품질 관리 (Preprocessing & Quality Control):

  • 원시 비디오를 PySceneDetect 를 사용하여 의미론적 클립으로 자동 분할합니다.
  • 중복 제거 (URL 및 프레임 해시 기반), OCR(PaddleOCR), 광학 흐름 분석 (RAFT), 미적 품질 평가 (NIQE, MUSIQ) 를 포함한 다단계 품질 관리 파이프라인을 적용합니다.
  • 정지된 클립 (운동 점수 < 10) 은 필터링하고, 나머지 속성은 사용자 정의 필터링 옵션으로 저장합니다.

• 다차원 시맨틱 프로파일링 (Multi-dimensional Semantic Profiling):

  • 대규모 비전 - 언어 모델 (VLM, Qwen2.5-VL-7B) 을 활용하여 클립을 구조화된 자연어 시맨틱 프로파일로 변환합니다.
  • 프로파일에는 키워드, 시각적 스타일, 콘텐츠 의미, 카메라 뷰포인트 등이 포함됩니다.
  • 생성된 프로파일은 BGE 임베딩 모델로 인코딩되어 Milvus 에서 인덱싱되며, Ray 를 통해 CPU/GPU 작업이 동적으로 스케줄링되어 수억 개의 클립을 처리합니다.

• 하이브리드 및 딥 검색 엔진 (Hybrid & Deep Retrieval):

  • 하이브리드 검색: 사용자의 자연어 쿼리를 GPT 기반 인터페이스로 풍부하게 만든 후 BGE 임베딩으로 후보군 (기본 10,000 개) 을 추출하고, Qwen3-Reranker-0.6B 를 사용하여 신경 재순위화 (Neural Re-ranking) 를 수행합니다.
  • 딥 검색 (Deep Retrieval): 복잡한 쿼리나 고정밀 필터링이 필요한 경우, Qwen2.5-VL-72B 를 사용하여 비디오와 쿼리를 직접 비교하는 심층 의미 매칭을 수행합니다. 이는 vLLM 과 A100 GPU 를 활용하여 백그라운드에서 처리됩니다.

3. 주요 기여 (Key Contributions)

• 구조화된 시맨틱 표현: 비디오를 단순한 임베딩이 아닌 해석 가능한 자연어 속성 (스타일, 콘텐츠, 뷰포인트 등) 의 집합으로 변환하여 검색의 유연성과 해석 가능성을 높였습니다.
• 확장 가능한 아키텍처: 사전 계산된 시맨틱 표현을 활용하여 전체 코퍼스를 반복적으로 재처리하지 않고도 맞춤형 데이터셋을 즉시 구축할 수 있게 하여 계산 자원의 낭비를 방지했습니다.
• 상호작용형 웹 플랫폼: 중국어와 영어를 모두 지원하는 웹 인터페이스를 통해 사용자가 데이터 소스 (공용/개인) 를 선택하고, 자연어 쿼리로 검색하며, 결과를 탐색하고 데이터셋으로 내보낼 수 있는 기능을 제공합니다.
• 실제 적용 사례: 수백만 개의 비디오 클립 인덱스를 보유하고 있으며, 여러 대학과의 협력 연구 프로젝트에 도입되어 1,000 명 이상의 등록 사용자를 확보했습니다.

4. 결과 및 성능 (Results)

• 대규모 처리 능력: 수억 개의 비디오 클립을 인덱싱하고 검색할 수 있는 확장성을 입증했습니다.
• 정밀도 향상: 단순 임베딩 검색에 비해 심층 검색 (Deep Retrieval) 모드를 통해 복잡한 제약 조건 (예: "애니메이션 제외"와 같은 배제 조건) 을 포함한 정밀한 검색이 가능해졌습니다.
• 사용자 편의성: 검색 결과의 순위 매김, 히스토리 추적, 최대 10,000 개의 샘플을 포함한 커스텀 데이터셋의 자동 패키징 및 다운로드 기능을 통해 연구 및 분석 워크플로우를 간소화했습니다.

5. 의의 및 중요성 (Significance)

DataCube 는 비디오 중심의 연구와 응용 분야에서 데이터 준비 비용 (Data Preparation Cost) 을 획기적으로 절감하는 솔루션을 제시합니다.

• 데이터 공유 및 재사용 촉진: 시맨틱 프로파일의 재사용을 통해 데이터셋 구축의 효율성을 높이고, 데이터 공유 문화를 장려합니다.
• 연구 인프라 강화: 대규모 비디오 이해 및 생성 모델 훈련을 위한 고품질, 맞춤형 데이터셋 구축을 가능하게 하여 AI 연구의 속도를 가속화합니다.
• 지속 가능한 시스템: 사용자 기여형 저장소와 지속적인 확장을 통해 진화하는 생태계를 구축하여, 정적 데이터셋의 한계를 넘어선 동적인 비디오 검색 플랫폼의 새로운 패러다임을 제시합니다.

접근 정보:

• 웹사이트: https://datacube.baai.ac.cn/
• 지원 언어: 중국어, 영어
• 데모: 논문 내 링크를 통해 데모 비디오 시청 가능