기술 요약: Many-for-Many (MfM)

문제 정의

현재의 시각적 생성 및 조작 연구는 파편화되어 있습니다. 확산 모델(Diffusion models)이 인상적인 결과를 달anim 성했음에도 불구하고, 기존의 접근 방식 대부분은 특정 작업(예: Text-to-Video 또는 Image-to-Video)을 위한 별도의 모델을 학습시키거나, 다운스트림 작업을 위해 사전 학습된 T2V 파운데이션 모델을 미세 조정(Fine-tuning)하는 데 집중되어 있습니다. 이러한 패러다임은 두 가지 주요 과제를 안고 있습니다:

1. 파운데이션 학습의 높은 비용: 견고한 T2V 파운데이션 모델을 처음부터 학습시키는 것은 방대한 양의 고품질 주석(Annotated) 데이터가 필요하며, 이는 비용 면에서 매우 비효-적입니다.
2. 작업의 파편화: 기존 모델들은 종종 한두 가지 작업에 국한됩니다. 여러 생성 또는 조작 작업(예: 인페인팅, 초해상도, 채색)을 수행하려면 별도의 모델이나 복잡한 미세 조정 파이프라인이 필요하며, 이는 비효율성과 성능 불일치를 초래합니다.

방법론

저자들은 10가지 이상의 다양한 시각적 생성 및 조작 작업을 수행할 수 있는 단일 모델을 처음부터 학습시키기 위해 설계된 통합 프레임워크인 **Many-for-Many (MfM)**를 제안합니다. 핵심 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. 통합 아키텍처 및 어댑터 (Unified Architecture and Adapter)

MfM 모델은 Flow Matching을 사용하여 학습된 3D 풀 어텐션(Full attention) 기반의 **Diffusion Transformer (DiT)**를 기반으로 구축되었습니다. 0D 텍스트 프롬프트부터 3D 비디오 마스크 및 깊이 지도(Depth map)에 이르는 다양한 입력 조건을 처리하기 위해, 저자들은 **경량 어댑터(Lightweight adapter)**를 도입했습니다:

• 조건 통합 (Condition Unification): 픽셀 데이터를 개별적으로 처리하는 대신, 어댑터는 이러한 3D 입력들을 하나의 통합된 특징 맵(Feature map)으로 결합합니다.
• 해상도 정렬 (Resolution Alignment): 어댑터는 컨볼루션 레이어와 다운샘플링 블록을 사용하여 입력 조건의 공간적 및 시간적 해상도를 비디오 VAE의 잠재 공간(예: $T \times H \times W \times C$를 $t \times h \times w \times c$로 변환)과 일치시킵니다.
• 작업 식별 (Task Identification): 작업 이름(예: "text-to-video", "image-to-video")을 텍스트 프롬프트에 추가하여, 특히 마스크와 같은 공통 입력을 공유하는 작업 간의 구분을 명확히 합니다.
• 깊이 통합 (Depth Integration): 모델의 3D 공간 지각 능력을 향상시키기 위해 깊이 지도를 조건부 입력으로 도입합니다.

2. 모델 변체 (Model Variants)

서로 다른 계산 요구 사항을 수용하기 위해 두 가지 버전의 모델을 학습시켰습니다:

• MfM-2B: 20억 개의 파라미터, 28개 레이어, 28개 어텐션 헤드.
• MfM-8B: 80억 개의 파라미터, 40개 레이어, 48개 어텐션 헤드.
  두 모델 모두 가변적인 해상도와 길이를 처리하기 위해 **3D 회전 위치 임베딩 (3D RoPE)**을 사용하며, 학습 안정성을 보장하기 위해 **Query-Key Normalization (QK-Norm)**을 활용합니다.

3. 학습 전략 (Training Strategy)

학습 과정은 점진적 공동 학습(Progressive joint learning) 전략을 채택합니다:

• 다중 작업 공동 학습 (Multi-Task Joint Learning): 모델은 이미지와 비디오 데이터가 혼합된 데이터로 학습됩니다. 이미지 대 비디오 데이터의 비율은 텍스트-이미지 쌍을 통해 의미적 연결을 먼저 구축한 후, 점진적으로 비디오 데이터를 도입하는 방식으로 조정됩니다.
• 데이터 증강 (Data Augmentation): 가용 데이터를 최대한 활용하기 위해, 기존 비디오로부터 다양한 학습 샘로를 생성합니다. 예를 들어, 비디오 인페인팅 작업은 무작위 마스크를 적용하여 생성하고, 비디오 채색 작업은 비디오를 그레이스케일로 변환하여 생성합니다. 이를 통해 별도의 전용 데이터셋 없이도 모델이 조작 작업을 학습할 수 있습니다.
• 해상도 진행 (Resolution Progression): 학습은 저해상도(예: 49×128×224)에서 시작하여 고해상도(최대 97×720×1280)로 진행되며, 마지막에는 임의의 종횡비를 지원하기 위해 NaViT를 사용하는 다중 해상도 단계로 마무리됩니다.

주요 기여 (Key Contributions)

1. 통합 프레임워크: MfM은 T2V, I2V, 비디오 확장, 인페인팅, 아웃페인팅, 채색, 초해상도, 스타일 전이 등 광범위한 작업을 효과적으로 처리하는 단일 모델을 처음부터 학습시킨 첫 번째 프레임워크입니다.
2. 효율적인 데이터 활용: 다중 작업 학습 전략과 통합 어댑터를 통해, MfM은 표준 T2V 학습에 사용할 수 없었던 데이터(예: 저해상도 또는 워터마크가 있는 데이터)를 활용함으로써 비용이 많이 드는 고품질 T2V 주석에 대한 의존도를 크게 낮췄습니다.
3. 적은 자원으로 높은 성능: 8B 모델은 최첨단 오픈 소스 T2V 파운데이션 모델들이 일반적으로 요구하는 학습 데이터의 10%만 사용하고도 경쟁력 있는 성능을 달성했습니다.

실험 결과 (Experimental Results)

저자들은 T2V 및 I2V에 대한 VBench 벤치마크와 16개의 별도 작업을 포함하는 커스텀 MfM-벤치마크를 통해 MfM을 평가했습니다.

• Text-to-Video (T2V): VBench-T2V 벤치마크에서 MfM-8B는 평가된 모델 중 **최고 평균 순위(3.04)**를 기록하며, Wan2.1 (14B), Hunyuan (13B)과 같은 더 큰 모델 및 Sora, Gen-3와 같은 상용 시스템을 능가했습니다. 외형, 전체적인 일관성, 역동성 정도에서 탁월한 성능을 입증했습니다.
• Image-to-Video (I2V): MfM은 VBench-I2V에서 **최고 평균 순위(3.33)**를 기록하며, 정적 일관성과 동적 생성 사이의 균형 잡힌 성능을 보여주었으며 전문화된 I2V 모델들을 앞질렀습니다.
• 비디오 조작 (Video Manipulation): 비디오 인페인팅, 아웃페인팅, 채색 작업에서 MfM은 참조 기반 지표(예: 전문화된 베이스라인 대비 FID 개선율 16.4% ~ 72.9%)에서 유의미한 개선과 우수한 시간적 일관성을 보여주었습니다.
• 어블레이션 연구 (Ablation Study): MfM의 다중 작업 전략을 사용하여 학습한 T2V 모델과 그렇지 않은 모델을 비교한 결과, 다중 작업 접근 방식이 모션 역동성 점수(0.819 vs 0.402)를 크게 향상시켰습니다. 이는 다양한 조작 작업에 대한 노출이 모델의 복잡한 움직임 이해도를 높인다는 것을 시사합니다.

의의 (Significance)

본 논문은 MfM이 경제적이고 통합된 시각적 파운데이션 모델로의 전환을 나타낸다고 주장합니다. 생성 및 조작 작업을 통합함으로써, MfM은 단일 모델이 현재의 특화된 또는 대규모 파운데이션 모델보다 훨씬 적은 데이터와 계산 자원을 사용하면서도 다양한 시각적 작업에서 매우 경쟁력 있는 성능을 달可以 있음을 보여줍니다. 이 연구는 이미지와 비디오 작업 간, 그리고 생성과 조작 작업 간의 지식 전이가 거대한 작업별 파운데이션 모델을 처음부터 학습시키는 데 따르는 막대한 비용 없이도 비디오 생성 품질을 높일 수 있는 실행 가능한 경로임을 시사합니다.

저자들은 현재 아키텍처가 1D(텍스트) 및 2D/3D(시각적) 조건을 셀프 어텐션을 통해 융합하기 전까지 별도로 처리한다는 한계점을 언급했습니다. 향-후 연구에서는 복잡한 입력 조건을 더 잘 처리하기 위해 시각-언어 모델(Vision-Language Models)을 통한 더 초기 단계의 명시적 멀티모달 융합을 탐구할 수 있다고 제안했습니다.