All in One: A Unified Synthetic Data Pipeline for Multimodal Video Understanding

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 을 비디오 이해에 훈련시키기 위해서는 객체 카운팅, 시각적 질문 응답 (VQA), 분할 (Segmentation) 등 다양한 작업을 아우르는 대규모 주석 데이터가 필요합니다. 그러나 현실 세계의 비디오 데이터를 수집하고 수동으로 주석을 달아주는 것은 다음과 같은 심각한 한계를 가지고 있습니다.

• 높은 비용과 시간: 밀도 높은 공간적 및 시간적 주석 (프레임 단위, 객체 추적, 시간적 일관성 라벨링 등) 을 생성하는 데 막대한 비용과 시간이 소요됩니다.
• 다양성 부족: 현실 데이터는 편향 (Bias) 이 존재하고, 추론 패턴의 커버리지가 고르지 않으며, 데이터 다양성이 제한적입니다.
• 확장성 문제: 이러한 제약으로 인해 멀티모달 모델의 확장성과 일반화 능력을 저해합니다.

2. 방법론 (Methodology)

저자들은 현실 데이터의 의존도를 줄이고 고품질의 무한한 멀티모달 비디오 데이터를 생성할 수 있는 **통합된 합성 데이터 생성 파이프라인 (Unified Synthetic Data Pipeline)**을 제안합니다. 이 파이프라인은 단일 이미지에서 시작하여 텍스트, 비디오, 오디오, 마스크 등 다양한 모달리티를 순차적으로 생성합니다.

A. 통합 생성 파이프라인 (All-in-One Pipeline)

1. 이미지 입력 (Image Modality): 파이프라인의 시작점으로, 구체적인 객체 모양, 색상, 레이아웃, 배경 구조를 제공합니다.
2. 텍스트 생성 (Text Modality): 입력된 이미지를 LLM(예: ChatGPT) 에게 전달하여 장면의 설명 (Caption) 을 생성합니다. 이는 단순한 묘사를 넘어 미래의 사건이나 가능한 시나리오를 포함하도록 설계되어 시간적 의도 (Temporal Intent) 를 확립합니다.
3. 비디오 생성 (Video Modality): 생성된 캡션과 원본 이미지를 조건 (Condition) 으로 사용하여 Wan 2.2와 같은 비디오 생성 모델을 통해 일관된 비디오 시퀀스를 생성합니다. 이는 정적 이미지를 동적인 시각적 이야기로 변환합니다.
4. 오디오 생성 (Audio Modality - 선택적): 생성된 비디오와 텍스트를 기반으로 VTA-LDM을 사용하여 동기화된 오디오를 생성할 수 있습니다. (본 논문에서는 주로 시각적 모달리티에 집중)
5. 마스크 생성 (Mask Generation): SAM2를 사용하여 입력 이미지에서 정밀한 객체 분할 마스크를 생성한 후, MUG-VOS를 통해 비디오 프레임 전반에 걸쳐 시간적으로 일관된 마스크를 전파 (Propagation) 합니다.

B. VQA 기반 미세 조정 전략 (VQA-based Fine-tuning)

기존의 캡션 기반 또는 지시어 (Instruction-following) 기반 훈련과 달리, 저자들은 **시각적 질문 응답 (VQA)**을 기반으로 한 미세 조정 전략을 도입했습니다.

• 구조화된 질문: 모델이 캡션이나 간단한 지시어에 의존하는 대신, 시각적 증거를 주의 깊게 관찰하고 객체, 속성, 시간적 관계를 추론하여 구조화된 질문에 답하도록 훈련합니다.
• 효과: 이는 모델이 시각적 지각과 언어 이해 간의 더 긴밀한 정렬을 이루게 하며, 카운팅, 비교, 시간적 추론, 인과 추론 등 복잡한 추론 능력을 강화합니다.

3. 주요 기여 (Key Contributions)

1. 통합 합성 데이터 파이프라인: 단일 이미지에서 텍스트, 비디오, 오디오, 마스크 등 다양한 형태의 무한한 멀티모달 데이터를 생성할 수 있는 파이프라인을 제안하여 MLLM 훈련 시 현실 데이터 의존도를 크게 낮췄습니다.
2. VQA 기반 미세 조정: 기존 캡션 중심 훈련을 넘어, VQA 스타일의 추론 훈련을 통해 멀티모달 LLM 의 추론 능력을 향상시키는 새로운 전략을 제시했습니다.
3. 실제 데이터로의 강력한 전이 (Transfer): 생성된 합성 데이터로 훈련된 모델이 객체 카운팅, 비디오 VQA, 비디오 객체 분할이라는 세 가지 도전적인 작업에서 실제 세계 벤치마크 (MS-COCO, LV-VIS, YouTube-VIS) 에서 기존 모델보다 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Experimental Results)

저자들은 MS-COCO 데이터셋에서 추출한 이미지를 기반으로 약 5,000 개의 합성 비디오와 1,000 개의 검증용 비디오를 생성하여 InternVideo2.5 모델을 미세 조정했습니다.

• 객체 카운팅 (Object Counting):
  • 합성 데이터 (특히 VQA supervision 포함) 로 미세 조정된 모델은 MS-COCO, LV-VIS, YouTube-VIS 데이터셋에서 Mean Absolute Error (MAE) 와 Mean Squared Error (MSE) 가 크게 감소하여 기존 모델보다 정확한 카운팅 성능을 보였습니다.
  • 예: MS-COCO 에서 MAE 가 5.46 (Baseline) 에서 3.18 (VQA only) 로 개선됨.
• 비디오 VQA (Video VQA):
  • CLIP-Score 와 Word Understanding Precision (WUP) 지표에서 합성 데이터 훈련 모델이 현저히 높은 점수를 기록했습니다.
  • 예: MS-COCO 에서 CLIP-Score 가 87.37 (Baseline) 에서 90.23 (VQA only) 로 상승.
• 비디오 분할 (Video Segmentation):
  • 합성 비디오로 SAM 모델을 미세 조정한 결과, 평균 IoU (mIoU) 가 0.4711 (Baseline) 에서 0.5239 로 5.28%p 향상되었습니다.
  • 데이터 규모가 2K 에서 5K 로 증가함에 따라 성능이 지속적으로 향상되어 합성 데이터의 확장성을 입증했습니다.
• 결론: 합성 데이터는 불완전할지라도 (약간의 아티팩트 존재), 풍부한 다양성과 시간적 일관성을 제공하여 모델이 실제 데이터의 편향에 과적합되는 것을 방지하고 일반화 능력을 높이는 데 효과적입니다.

5. 의의 및 중요성 (Significance)

이 연구는 멀티모달 비디오 이해 분야에서 합성 데이터가 단순한 보조 수단을 넘어, 실제 데이터 수집의 대안이자 핵심 구성 요소가 될 수 있음을 보여줍니다.

• 비용 효율성: 고비용의 수동 주석을 대체하여 대규모 고품질 훈련 데이터를 저렴하게 생성할 수 있습니다.
• 편향 해소 및 다양성: 합성 데이터를 통해 현실에서 얻기 어려운 다양한 객체 상호작용, 시간적 역학, 추론 패턴을 체계적으로 학습시킬 수 있습니다.
• 확장 가능한 프레임워크: 제안된 'All-in-One' 파이프라인은 다양한 작업 (카운팅, VQA, 분할) 에 걸쳐 일관된 데이터를 생성할 수 있어, 미래의 대규모 멀티모달 모델 훈련에 필수적인 인프라로 자리 잡을 가능성이 높습니다.

요약하자면, 이 논문은 제어 가능한 시뮬레이션 환경과 자동화된 주석 생성을 결합하여 고품질의 합성 비디오 데이터를 대량 생산하고, 이를 통해 MLLM 의 추론 능력을 획기적으로 향상시킨 획기적인 접근법을 제시합니다.