VDCook:DIY video data cook your MLLMs

이 논문은 자연어 쿼리와 가변적 파라미터를 통해 실시간 영상 검색과 생성을 자동화하고, MCP 기반의 지속적 데이터 유입으로 동적 진화하는 오픈 생태계를 구축하여 MLLM 훈련용 전문 영상 데이터셋 제작의 장벽을 낮추는 'VDCook' 플랫폼을 제안합니다.

핵심

🍳 VDCook: 당신의 맞춤형 비디오 데이터 요리사

이 논문은 VDCook이라는 새로운 시스템을 소개합니다. 쉽게 말해, 이 시스템은 "AI 모델이 배워야 할 비디오 데이터를 직접 요리해 주는 자동화된 주방" 같은 것입니다.

기존의 방식과 VDCook 의 차이점을 이해하기 위해, **'레시피'와 '식자재'**에 비유해 설명해 드리겠습니다.

---

1. 기존 방식 vs VDCook: "통조림" vs "신선한 요리"

• 기존 방식 (통조림):
  과거에는 연구자들이 비디오 데이터를 만들 때, 인터넷에서 영상을 긁어와서 한 번에 대량으로 가공한 뒤 **'완성된 통조림'**처럼 딱딱하게 포장해서 배포했습니다.

  • 문제점: 통조림은 한 번 열면 내용물이 고정되어 있습니다. 만약 "오늘은 매운 국물이 필요해!"라고 원해도, 이미 만들어진 통조림은 바꿀 수 없습니다. 또한, 특정 지역 (예: 한국) 이나 특수한 상황 (예: 눈 오는 날의 도로) 에 맞는 통조림을 찾으려면 처음부터 다시 만들어야 하는 번거로움이 있었습니다.

• VDCook 방식 (신선한 요리):
  VDCook 은 **"요리사 (시스템)"**가 상주하는 주방입니다. 연구자가 "매운맛의 한국 도로 영상 100 개, 그리고 눈이 오는 장면도 섞어줘"라고 말하면 (자연어 요청), VDCook 이 바로 그 요구에 맞춰 실시간으로 영상을 찾아내고, 필요하면 AI 가 새로운 장면을 만들어내어 오늘의 메뉴를 즉석에서 요리해 줍니다.

2. VDCook 이 어떻게 작동하나요? (주방의 3 단계)

이 시스템은 크게 세 가지 단계로 작동합니다.

① 식자재 수집 (자동 수확 & 주문)

• 자동 수확 (MCP): 인터넷이라는 거대한 농장에서 연구자가 원하는 키워드 (예: "자전거 타는 강아지") 를 입력하면, 로봇이 자동으로 영상을 찾아옵니다.
• 주문 (사용자 업로드): 연구자 자신이 가진 비공개 영상도 가져와서 섞을 수 있습니다.
• 특징: 이 과정은 한 번으로 끝나는 게 아니라, 계속 새로운 식자재가 들어와서 주방이 항상 신선하게 유지됩니다.

② 손질과 라벨링 (재료 분석)

찾아온 영상은 바로 요리하지 않고, 먼저 정밀하게 손질합니다.

• 자동 분석: "이 영상은 사람이 몇 명 나오나?", "텍스트가 많이 보이니?", "카메라가 흔들리나?", "장면이 얼마나 역동적인가?" 등을 AI 가 자동으로 체크합니다.
• 중요한 철학: 기존 방식은 "조건에 안 맞으면 버린다"고 했지만, VDCook 은 **"조건에 안 맞더라도 라벨만 잘 붙여두자"**고 합니다. 나중에 "아, 흔들리는 게 필요했네?"라고 생각하면 다시 꺼내 쓸 수 있도록 모든 정보를 저장해 둡니다.

③ 요리 (데이터 조리)

이제 연구자의 주문대로 요리를 시작합니다.

• 검색과 조합: 필요한 장면을 찾아 모으고, 필요한 양만큼 합칩니다.
• 가상 재료 추가 (생성): 만약 "눈 오는 도로" 영상이 너무 적다면, AI 가 기존 영상을 바탕으로 새로운 눈 오는 장면을 만들어냅니다. (이것은 '긴 꼬리' 데이터, 즉 드문 상황을 채워주는 역할입니다.)
• 완성: 최종적으로 연구자가 원하는 형식의 데이터 패키지와, 이 데이터가 어디서 왔는지, 어떻게 만들었는지 기록된 **요리 레시피 (노트북)**를 함께 제공합니다.

3. 왜 이것이 중요한가요? (실제 사례)

이 시스템은 다양한 분야에서 빛을 발합니다.

• 드문 상황 (Long-Tail): 일반적인 영상에는 없는 '도로 침수', '건설 현장의 덤프트럭', '폐 CT 영상' 같은 드문 상황도 쉽게 요리할 수 있습니다.
• 예술적 스타일: '한국 전통 수묵화 스타일'의 영상을 만들고 싶다면, 실제 영상이 부족해도 AI 가 수묵화 스타일의 영상을 만들어내어 학습 데이터를 채워줍니다.
• 실험 결과: 연구팀은 이 시스템으로 만든 '수묵화 데이터'로 AI 모델을 훈련시켰더니, 기존 모델보다 훨씬 아름다운 수묵화 스타일의 영상을 만들어내는 것을 확인했습니다.

4. 핵심 요약: VDCook 의 3 가지 비결

1. 필터링은 나중에: 데이터를 버리기보다, 모든 정보를 라벨로 남긴 뒤 나중에 필요할 때 골라쓰는 유연함을 제공합니다.
2. 살아있는 생태계: 한 번 만들어서 끝나는 게 아니라, 새로운 데이터와 AI 의 발전에 따라 계속 진화하고 업데이트됩니다.
3. ** democratization (민주화):** 복잡한 데이터 구축 기술을 몰라도, 누구나 "자연어"로 주문만 하면 전문가 수준의 데이터를 만들 수 있게 됩니다.

결론

VDCook은 비디오 데이터를 **"한 번 만들어서 끝나는 제품"**이 아니라, **"필요할 때마다 요리해 주는 서비스"**로 바꿉니다. 마치 식당에서 메뉴를 주문하듯, 연구자나 기업은 자신에게 딱 맞는 AI 학습 데이터를 쉽고 빠르게 만들어낼 수 있게 된 것입니다. 이는 AI 가 더 똑똑하고, 다양한 상황을 이해할 수 있도록 돕는 거대한 인프라가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

대규모 멀티모달 사전 학습 (Pretraining) 은 비전 - 언어 및 비디오 - 언어 모델을 혁신적으로 발전시켰으나, 고품질의 도메인 특화 (In-domain) 비디오 데이터셋 구축은 여전히 높은 비용과 기술적 장벽에 직면해 있습니다. 기존 방식의 주요 한계점은 다음과 같습니다:

• 정적 (Static) 인 데이터셋: 기존 데이터셋은 한 번 구축되면 고정되어 있어, 새로운 도메인이나 연구 요구사항에 적응하려면 전체 파이프라인을 다시 구축해야 합니다.
• 처리 어려움: 공개된 대규모 비디오 코퍼스는 로컬에서 처리하기 너무 크거나, 도메인별 서브셋을 선별하기 위해 인덱싱 파이프라인을 재구성해야 하는 어려움이 있습니다.
• 재현성 부재: 데이터 구축 워크플로우가 비재현적 (Non-reproducible) 인 경우가 많아, 특정 조건에서의 데이터 선택과 가공 과정을 추적하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 비디오 데이터셋 구축을 '한 번의 오프라인 작업'이 아닌 **'사용자 정의가 가능한 지속 진화 시스템'**으로 재정의하고 VDCook을 제안했습니다. 이는 자연어 쿼리와 조정 가능한 파라미터를 통해 사용자가 필요에 따라 도메인 특화 비디오 데이터셋을 '요리 (Cook)'할 수 있게 합니다.

핵심 아키텍처 및 프로세스

1. 다중 소스 데이터 수집 (Multi-Source Acquisition):

   • MCP (Modular Crawling Protocol) 기반 자동 크롤링: 사용자 쿼리를 최적화하여 웹에서 동적으로 비디오를 수집하고, 도메인별 필터링 및 메타데이터 로깅을 수행합니다.
   • 사용자 기여 데이터: 개인 또는 사설 도메인 데이터를 표준 파이프라인을 통해 통합 처리합니다.

2. 유니파이드 비디오 처리 파이프라인 (Unified Processing Pipeline):

   • 메타데이터 풍부화 (Enrichment): 장면 분할, 모션 스코어링, OCR 텍스트 비율 추정, 자동 캡션 태깅 등을 수행합니다.
   • 필터링 전략의 전환: 기존처럼 전처리 단계에서 데이터를 강력하게 필터링 (삭제) 하는 대신, 메타데이터를 유연한 인덱싱 신호로 보존합니다. (예: 2 초 미만 클립 제외 등 구조적 필터링만 적용)
   • 이를 통해 하류 (Downstream) 사용자가 데이터 손실 없이 동적으로 선택 기준을 정의할 수 있습니다.

3. 인덱싱, 검색 및 '요리' (Cooking) 단계:

   • 검색: 사용자 쿼리를 확장하여 다중 소스에서 후보 클립을 검색합니다.
   • 조립 및 증강: 요청된 규모와 검색/합성 비율에 따라 클립을 조립합니다. 필요시 제어 가능한 합성 엔진을 사용하여 키프레임, 포즈, 스타일 라벨 등을 조건으로 변형 데이터를 생성합니다.
   • 정책 필터링 및 패키징: 품질 및 규정 준수 임계값에 따라 필터링하고, 각 클립의 메타데이터와 출처 (Provenance) 를 포함한 재현 가능한 매니페스트로 패키징합니다.

4. 모델 어노테이션 센터 (Model Annotation Center):

   • 비전 - 언어 모델, 행동 인식 모델, OCR 모델 등을 통합하여 다각도의 구조화된 태깅을 수행합니다. 사용자가 도메인 적응을 위해 커스텀 모델을 플러그인할 수 있습니다.

5. 데이터 - 모델 공진화 루프 (Data-Model Co-evolution Loop):

   • 롱테일 데이터 증강: 희귀한 도메인 (예: 드문 행동, 특수 예술 스타일) 에 대해 강력한 생성 모델을 활용하여 합성 데이터를 생성하고, 이를 다시 파이프라인에 주입 (Re-injection) 하여 데이터 커버리지를 점진적으로 확장합니다.
   • 기초 평가 플랫폼: 생성된 데이터셋으로 베이스라인 모델을 학습/파인튜닝하여 성능을 정량적으로 평가하고, 이를 데이터 품질 개선의 피드백 신호로 활용합니다.

3. 주요 기여 (Key Contributions)

• 시스템 수준의 재고찰: 비디오 데이터셋 구축을 고정된 오프라인 릴리스가 아닌, 온디맨드 및 구성 가능한 '요리 과정'으로 전환했습니다.
• 모듈형 파이프라인 설계: 쿼리 최적화, 병렬 검색, 제어 가능한 합성, 다차원 메타데이터 풍부화를 결합하여 유연한 도메인 데이터 생성을 지원합니다.
• 확장 가능한 데이터 섭취 및 거버넌스: MCP 기반 자동 수집과 커뮤니티 기여를 통해 데이터셋이 정적 아티팩트가 아닌 동적으로 진화하는 생태계가 되도록 했습니다.
• 1 억 개 이상의 클립 코퍼스 구축: 100M+ 개의 비디오 클립을 포함하는 대규모 코퍼스를 구축하고, 다양한 도메인 (의료, 도시 위험, embodied manipulation 등) 에 적용 가능한 서브셋을 공개했습니다.

4. 결과 (Results)

• 데이터 규모 및 품질: 1 억 개 이상의 클립을 보유하고 있으며, 평균 캡션 길이 (약 266 단어) 가 기존 오픈 데이터셋 (VidGen-1M, Panda-70M 등) 보다 풍부합니다. 1080p 및 4K 고해상도 콘텐츠 비율도 높습니다.
• 다양한 도메인 적용 사례:
  • 롱테일 데이터: 도로 침수, 건설 현장 덤프트럭, 도로 적설, 쓰나미 후 쓰러진 나무 등 일반 데이터셋에서 드물지만 중요한 시나리오를 성공적으로 구축했습니다.
  • 구체적 조작 (Embodied Manipulation): 객체 추적과 공간적 이해가 필요한 다단계 작업 데이터셋.
  • 멀티모달 디지털 휴먼: 음성, 제스처, 자막이 동기화된 대화형 비디오.
  • 한국/중국 전통 예술 스타일: 중국 수묵화 스타일의 비디오 합성 및 수집.
• 모델 검증 (수묵화 스타일 적응 실험):
  • Wan-1.3B 기반 모델을 VDCook 으로 구축된 수묵화 데이터셋으로 파인튜닝한 결과, 기존 모델 대비 붓터치 텍스처 표현 강화, 사진적 아티팩트 감소, 먹 번짐 효과 개선, 전통적 구도 일관성 향상이 확인되었습니다. 이는 VDCook 이 구축한 데이터가 도메인 특화 미적 사전 지식 (Aesthetic Priors) 을 효과적으로 전달함을 입증했습니다.

5. 의의 및 의의 (Significance)

• 장벽 해소: 도메인 특화 비디오 데이터셋 구축의 기술적 장벽을 낮추어 멀티모달 연구 및 응용 개발을 민주화합니다.
• 지속 가능한 데이터 생태계: 데이터셋을 '한 번 만들어지는 제품'이 아닌, 사용자 요구와 모델 능력에 따라 지속적으로 진화하는 '서비스'로 재정의했습니다.
• 재현성과 투명성: 각 데이터 클립의 출처, 메타데이터, 가공 과정을 명확히 추적 (Provenance tracking) 하여 연구의 재현성을 보장합니다.
• 미래 지향적 접근: 데이터와 모델이 상호 진화하는 루프를 통해 희귀 현상 (Long-tail) 에 대한 커버리지를 지속적으로 개선하는 패러다임을 제시합니다.

이 논문은 인프라 수준의 솔루션을 통해 멀티모달 연구의 데이터 구축 방식을 근본적으로 변화시키고, 재현 가능하고 확장 가능한 데이터 관행을 장려한다는 점에서 중요한 의의를 가집니다.