OmniGen2: 지시 정렬을 위한 범용 멀티모달 생성 모델 기술 요약

이 논문은 복잡한 지시를 따르고 다양한 멀티모달 태스크 (이미지 생성, 편집, 컨텍스트 기반 생성) 를 통합적으로 수행할 수 있는 새로운 모델인 OmniGen2를 소개합니다. 기존 모델들이 복잡한 실세계 시나리오에서 지시 이행 능력과 일반화 성능이 부족하다는 문제를 해결하기 위해 제안되었습니다.

1. 문제 정의 (Problem)

기존의 멀티모달 생성 모델은 스타일 변환, 텍스트 렌더링, 컨텍스트 기반 생성 등 다양한 능력을 보여주지만, 다음과 같은 한계가 존재합니다:

• 지시 정렬 (Instruction Alignment) 의 부족: 복잡한 다단계 지시나 정밀한 세부 사항에 대한 지시를 일관되게 따르는 능력이 제한적입니다.
• 기반 모델의 한계: 일부 오픈소스 모델은 특정 작업에 특화되어 범용성이 떨어지거나, 특정 미적 선호도에 과도하게 최적화되어 유연성 (Plasticity) 이 손실되었습니다.
• 데이터 부족: 정교한 이미지 편집이나 일관된 컨텍스트 기반 생성을 위한 고품질 대규모 데이터셋이 부족합니다.
• 평가 기준의 부재: 컨텍스트 기반 생성 (In-Context Generation) 의 일관성을 평가할 수 있는 표준화된 벤치마크가 부재했습니다.

2. 방법론 (Methodology)

OmniGen2 는 강력한 기반 모델 구축과 점진적인 지시 정렬이라는 두 단계를 거치는 설계 철학을 따릅니다.

2.1. 아키텍처 (Architecture)

• 분리된 디코딩 (Decoupled Decoding): 텍스트 이해/생성과 이미지 생성을 위해 두 개의 별도 트랜스포머 모듈을 사용합니다.
  • 자회귀 트랜스포머 (VLM): Qwen2.5-VL-3B 를 기반으로 하여 멀티모달 지시 이해와 세계 지식을 담당합니다.
  • 확산 트랜스포머 (Diffusion Transformer): 고충실도 이미지 합성을 담당하며, VLM 의 은닉 상태 (Hidden States) 를 조건으로 받습니다.
• Omni-RoPE (Unified Positional Encoding): 기존 RoPE 의 한계를 극복하기 위해 도입된 새로운 위치 인코딩 방식입니다.
  • 각 토큰에 (인스턴스 ID, 높이, 너비)의 3 차원 위치 식별자를 부여하여, 여러 이미지 간의 구분을 명확히 하면서도 이미지 내의 공간적 일관성을 유지합니다.
  • 이를 통해 이미지 편집 및 컨텍스트 기반 생성 시 객체와 배경의 위치 관계를 정확히 학습합니다.

2.2. 데이터 구축 (Dataset Construction)

• 고품질 데이터 파이프라인: 기존 오픈소스 데이터의 한계를 보완하기 위해 비디오 소스를 활용한 대규모 데이터 구축 파이프라인을 개발했습니다.
• 다양한 태스크 데이터: 텍스트 - 이미지 (T2I), 이미지 편집, 컨텍스트 기반 생성, 그리고 자기 성찰 (Reflection) 을 위한 인터리브드 데이터를 포함합니다.
• 자기 성찰 (Reflection) 데이터: 생성된 이미지가 지시를 충족하는지 분석하고 오류를 수정하는 과정을 포함하는 데이터를 구축하여 모델의 논리적 추론 능력을 강화했습니다.

2.3. 점진적 강화 학습 정렬 (Progressive RL Alignment)

단일 학습 단계가 아닌, **그룹 상대적 정책 최적화 (GRPO)**를 활용한 점진적인 커리큘럼 학습을 적용합니다.

• 3 단계 커리큘럼:
  1. T1 (편집): EditScore 를 활용한 일반 편집 태스크.
  2. T2 (T2I): GenEval 을 활용한 검증 가능한 보상 기반 텍스트 - 이미지 생성.
  3. T3 (컨텍스트): Qwen2.5-VL-72B 를 활용한 컨텍스트 기반 생성.
• 이 순서는 태스크 간 지식 전이 (Knowledge Transfer) 를 촉진하고, 특정 태스크의 성능 저하를 방지하며 전반적인 지시 이행 능력을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. OmniGen2 모델: 체계적으로 지시 정렬된 강력한 멀티모달 생성 모델로, 다양한 태스크에서 우수한 지시 이행 능력과 컨텍스트 일관성을 입증했습니다.
2. 엔드 - 투 - 엔드 파이프라인: 강력한 기반 모델 구축부터 전용 멀티태스크 정렬까지의 통합 파이프라인을 제시했습니다.
3. OmniContext 벤치마크: 컨텍스트 기반 이미지 생성의 일관성 (개체, 객체, 장면) 을 평가하기 위해 고안된 새로운 벤치마크를 제안했습니다. 이는 기존 벤치마크가 다루지 못했던 다중 입력 이미지 및 복잡한 일관성 평가를 가능하게 합니다.

4. 실험 결과 (Results)

OmniGen2 는 다양한 벤치마크에서 SOTA(State-of-the-Art) 성능을 기록했습니다.

• 텍스트 - 이미지 생성 (T2I): GenEval 에서 0.95의 점수를 기록하여 UniWorld-V1(0.84), BAGEL(0.88) 등 기존 통합 모델들을 압도했습니다.
• 이미지 편집 (Image Editing): Emu-Edit 및 GEdit-Bench 에서 높은 정확도와 이미지 보존 능력을 보여주었습니다. 특히 GEdit-Bench 에서 7.21의 종합 점수를 기록하며 오픈소스 모델 중 Qwen-Image-Edit 에 이어 상위권을 차지했습니다.
• 컨텍스트 기반 생성 (In-Context Generation): 제안된 OmniContext 벤치마크에서 7.95의 종합 점수를 기록하여, 기존 오픈소스 모델 (Qwen-Image-Edit-2509 등) 보다 월등히 높은 성능을 보였습니다. 이는 제공된 참조 이미지의 주체를 새로운 컨텍스트에 정확하게 재현하는 능력을 의미합니다.
• 이해 능력: MMBench(79.1), MMMU(53.1) 등 시각 이해 태스크에서도 견고한 성능을 유지하며 기반 모델의 우수성을 입증했습니다.

5. 의의 및 결론 (Significance)

OmniGen2 는 멀티모달 생성 모델이 단순한 이미지 합성을 넘어, **복잡한 지시를 정밀하게 이해하고 실행하는 범용 지능 (General Purpose Generative Intelligence)**으로 발전하는 중요한 이정표입니다.

• 효율성: 3B(텍스트) + 4B(이미지) 의 파라미터 규모로 대규모 모델들과 경쟁 가능한 성능을 내며 효율성을 입증했습니다.
• 정렬 전략의 유효성: 단일 태스크 학습이 아닌, 점진적인 강화 학습 커리큘럼이 다양한 태스크 간의 시너지를 창출하고 일반화 능력을 향상시킨다는 것을 증명했습니다.
• 미래 연구 방향: OmniContext 벤치마크는 컨텍스트 기반 생성의 표준 평가 도구로 자리 잡을 것이며, 자기 성찰 (Reflection) 메커니즘을 통한 생성 품질 향상은 향후 멀티모달 모델 발전의 핵심 방향이 될 것입니다.

결론적으로, OmniGen2 는 기반 모델의 유연성과 정교한 지시 정렬 전략을 결합하여, 사용자가 원하는 대로 이미지를 생성, 편집, 변형할 수 있는 진정한 범용 멀티모달 생성 시스템을 실현했습니다.