Rethinking UMM Visual Generation: Masked Modeling for Efficient Image-Only Pre-training

1. 문제 정의 (Problem Statement)

통합 멀티모달 모델 (Unified Multimodal Models, UMMs) 은 텍스트 이해와 이미지 생성을 하나의 모델로 통합하여 대화형 이미지 편집이나 맥락 인식 콘텐츠 생성 등 다양한 응용을 가능하게 합니다. 그러나 기존 UMM 의 시각적 생성 (Visual Generation) 구성 요소 학습에는 두 가지 주요 병목 현상이 존재합니다.

1. 데이터 의존성 및 부족: 기존 방식은 고품질의 텍스트 - 이미지 쌍 (Text-Image Pairs) 데이터에 크게 의존합니다. 이러한 데이터는 수집 및 큐레이션 비용이 매우 비싸고, 공개된 데이터셋은 제한적이며, 독점 데이터에 대한 접근성이 낮아 오픈 연구와 재현성을 저해합니다.
2. 비효율적인 학습 패러다임: 대규모 텍스트 - 이미지 쌍 데이터를 사용하여 생성 모델을 처음부터 학습 (Pre-training) 하는 것은 막대한 계산 자원을 요구하며, 효율성이 낮습니다. 또한, 제한된 데이터로 미세 조정 (Fine-tuning) 할 경우 텍스트 프롬프트에 충실한 이미지를 생성하지 못하는 경우가 많습니다.

2. 제안 방법: IOMM (Image-Only Training for UMMs)

저자들은 이러한 문제를 해결하기 위해 IOMM이라는 데이터 효율적인 2 단계 학습 프레임워크를 제안합니다. 이 프레임워크는 텍스트 - 이미지 쌍 데이터에 대한 의존성을 크게 줄이면서 SOTA(최고 수준) 성능을 달성합니다.

핵심 아키텍처 및 전략

• 2 단계 학습 파이프라인:

  1. 1 단계 (이미지만 Pre-training): 레이블이 없는 방대한 **이미지 전용 데이터 (Image-only data)**만을 사용하여 시각적 생성 구성 요소를 사전 학습합니다. 이 과정에서 텍스트 데이터는 전혀 사용되지 않습니다.
  2. 2 단계 (혼합 데이터 Fine-tuning): 사전 학습된 모델에 이미지 전용 데이터와 소량의 큐레이션된 텍스트 - 이미지 쌍 데이터를 혼합하여 미세 조정합니다. 이를 통해 지시 사항 (Instruction) 추종 능력과 생성 품질을 향상시킵니다.

• 기술적 혁신 (Key Technical Innovations):

  1. Residual Query Adapter (RQA):
     • 冻结된 (Frozen) 대규모 멀티모달 언어 모델 (MLLM) 을 생성 작업에 적응시키기 위해 도입된 경량 모듈입니다.
     • MLLM 의 전체 파라미터를 미세 조정하는 대신, 256 개의 학습 가능한 쿼리 토큰을 가진 어댑터만 학습합니다.
     • MLLM 의 출력을 직접 사용하는 것보다 생성 조건 (Conditioning) 을 더 효과적으로 정제하여, 파라미터 오버헤드를 최소화하면서도 생성 성능을 극대화합니다.
  2. Masked Image Modeling (희소 - 밀집 재구성):
     • 이미지 전용 학습 시 모델이 단순한 '항등 매핑 (Identity Mapping)'을 학습하는 것을 방지하기 위해 도입되었습니다.
     • 입력 이미지 패치 토큰의 일부를 무작위로 마스킹 (Masking) 하고, 나머지 가시 영역을 기반으로 마스킹된 부분을 재구성하도록 학습합니다.
     • 이는 텍스트 - 이미지 학습에서 발생하는 '희소 감독 (Sparse Supervision)'의 이점을 모방하여, 모델이 강건하고 구성적 (Compositional) 인 시각적 사전 지식 (Visual Prior) 을 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. IOMM 프레임워크 제안: 텍스트 - 이미지 쌍 데이터 없이도 고품질 UMM 생성 모델을 구축할 수 있는 데이터 및 계산 효율적인 2 단계 학습 패러다임을 제시했습니다.
2. 학습 레시피에 대한 체계적 분석: 이미지 전용, 텍스트 - 이미지 쌍, 혼합 데이터의 다양한 조합을 실험하여 **"이미지만으로 Pre-training 후 혼합 데이터로 Fine-tuning"**하는 방식이 가장 우수한 성능을 낸다는 것을 입증했습니다.
3. SOTA 성능 달성 및 효율성 증명:
   • IOMM-B (3.6B) 모델은 약 1,050 시간의 H800 GPU (이 중 1,000 시간은 효율적인 이미지 전용 Pre-training) 만으로 학습되었습니다.
   • 이는 BAGEL-7B 나 BLIP3-o-4B 와 같은 강력한 베이스라인을 능가하는 성능을 보여주며, 공개 데이터셋만으로 학습되었음에도 독점 데이터를 사용한 모델들과 경쟁하거나 능가합니다.

4. 실험 결과 (Results)

• 텍스트 - 이미지 생성 (Text-to-Image Generation):
  • GenEval 벤치마크: IOMM-B(512px) 는 0.89의 점수를 기록하여 BAGEL-7B(0.88) 와 BLIP3-o-8B(0.84) 를 능가했습니다.
  • WISE 벤치마크: 세계 지식 (World Knowledge) 평가에서 0.55를 기록하여 기존 모델들과 동등하거나 더 나은 성능을 보였습니다.
• 이미지 편집 (Image Editing):
  • 별도의 이미지 편집 데이터로 학습하지 않았음에도 (Zero-shot), ImgEdit-Bench에서 경쟁력 있는 성능을 보였습니다. 이는 이미지 전용 Pre-training 이 모델의 시각적 일관성과 편집 능력을 자연스럽게 향상시켰음을 의미합니다.
• 일반화 능력 (Generalization):
  • 제안된 혼합 데이터 미세 조정 전략은 OpenUni-L, Qwen-Image 등 기존 강력한 오픈소스 UMM 들에도 적용 가능하여, 생성 품질과 지시 사항 추종 능력을 일관되게 향상시켰습니다.

5. 의의 및 결론 (Significance)

이 논문은 UMM 의 시각적 생성 학습에 있어 텍스트 - 이미지 쌍 데이터의 의존성을 탈피할 수 있음을 증명했습니다.

• 비용 절감: 고비용의 텍스트 - 이미지 쌍 데이터 수집 없이, 공개된 이미지 데이터만으로 고품질 생성 모델을 학습할 수 있어 연구의 진입 장벽을 낮춥니다.
• 효율성: 계산 자원을 훨씬 더 효율적으로 사용하면서도 (약 1,000 시간의 GPU 학습 시간), 기존 방식보다 우수한 생성 품질과 지시 추종 능력을 달성했습니다.
• 향후 영향: IOMM 의 두 단계 학습 전략 (이미지 전용 Pre-training + 혼합 Fine-tuning) 은 향후 통합 멀티모달 모델 개발을 위한 새로운 표준 (Standard) 이 될 수 있으며, 오픈 소스 생태계의 활성화에 기여할 것으로 기대됩니다.

요약하자면, 이 연구는 **"이미지만으로 학습된 강력한 시각적 사전 지식을 활용하고, 소량의 텍스트 데이터로 정교한 조율만 하면 UMM 의 생성 능력을 극대화할 수 있다"**는 것을 체계적으로 증명했습니다.