Towards Unified Multimodal Interleaved Generation via Group Relative Policy Optimization

이 논문은 대규모 교차 멀티모달 데이터셋 없이도 기존 통합 모델을 강화학습 기반의 그룹 상대적 정책 최적화 (GRPO) 를 통해 시각적 스토리텔링 및 단계별 추론과 같은 멀티모달 교차 생성 능력을 갖춘 모델로 진화시키는 새로운 후속 훈련 전략을 제안합니다.

핵심

이 논문은 **"AI 가 글과 그림을 자연스럽게 섞어가며 이야기를 만들어내는 법"**을 가르치는 새로운 기술을 소개합니다.

기존의 AI 는 글을 쓰거나 그림을 그리는 능력은 있었지만, **"글을 쓰고, 그다음 그림을 그리고, 다시 글을 이어가는"**처럼 두 가지 능력을 한 번에 섞어서 (Interleaved) 사용하는 데는 서툴렀습니다. 마치 요리사가 "소스 만들기"와 "고기 굽기"는 각각 잘하지만, 이 두 가지를 번갈아 가며 하나의 완성된 요리를 만들어내는 과정은 어색했던 것과 비슷합니다.

이 연구는 이를 해결하기 위해 두 단계의 특별한 훈련을 제안합니다.

---

1. 첫 번째 단계: "간단한 맛보기 수업" (Warm-up)

비유: 요리 학교의 '기본 레시피' 교실

AI 는 이미 엄청난 양의 데이터로 글을 쓰고 그림을 그리는 법을 배웠습니다. 하지만 글과 그림을 섞는 법은 몰랐죠.
연구진은 AI 에게 아주 적은 양의 '글+그림'이 섞인 예제들만 보여줍니다.

• "감자를 씻어요 (글) → [감자 사진] → 감자를 자르세요 (글) → [자른 감자 사진]"
  이렇게 아주 간단한 예시만 몇 번 보여주면, AI 는 "아, 글과 그림을 번갈아 가며 이야기를 이어갈 수 있구나!"라는 기본적인 패턴을 깨닫게 됩니다. 이때 AI 가 원래 가지고 있던 글쓰기나 그림 그리기 실력은 잃지 않도록 보호합니다.

2. 두 번째 단계: "엄격한 심사위원과의 연습" (GRPO)

비유: 요리 경연대회에서의 '점수제' 훈련

이제 AI 는 글과 그림을 섞어낼 수 있게 되었지만, 아직 질이 떨어집니다. 글과 그림이 잘 맞지 않거나, 이야기가 엉뚱한 방향으로 흘러갈 수 있죠.
여기서 **GRPO(그룹 상대 정책 최적화)**라는 기술을 사용합니다. 이를 쉽게 설명하면 다음과 같습니다.

• 한 번에 여러 가지 시도하기: AI 가 같은 질문을 받으면, 한 번에 4 가지 다른 버전의 이야기 (글+그림 조합) 를 만들어냅니다.
• 심사위원의 점수: 연구진이 만든 '심사위원 AI'들이 이 4 가지 버전을 보고 점수를 줍니다.
  • 글 점수: 이야기가 논리적인가?
  • 그림 점수: 그림이 글 내용과 잘 맞는가? (예: "개"라고 썼는데 "고양이" 그림이 나오면 감점)
  • 형식 점수: 글과 그림이 제대로 번갈아 나왔는가?
  • 과정 점수: 이야기의 중간중간에도 잘 이어지는가?
• 상대평가: 4 가지 버전 중 가장 잘 만든 것이 무엇인지 비교해서, 그 '가장 좋은 버전'을 따라 하도록 AI 를 훈련시킵니다.

이 과정을 반복하면 AI 는 **"어떤 글이 나오면 어떤 그림이 따라와야 하고, 어떻게 이어져야 가장 좋은 점수를 받는지"**를 스스로 배우게 됩니다.

---

왜 이 기술이 중요할까요?

기존 AI 는 "글만 쓰거나" "그림만 그리는" 경우가 많았습니다. 하지만 진짜 세상의 이야기나 복잡한 설명은 글과 그림이 섞여야 더 잘 전달됩니다.

• 예시 1 (요리법): "감자를 씻으세요" (글) → [감자 사진] → "물을 끓이세요" (글) → [끓는 물 사진]
• 예시 2 (동화): "공주가 숲속으로 갔어요" (글) → [숲속 그림] → "그리고 용을 만났어요" (글) → [용 그림]

이 연구 덕분에 AI 는 이제 글과 그림을 자연스럽게 오가며, 마치 인간이 그림책을 만들거나 설명서를 작성하듯 더 풍부하고 정확한 내용을 만들어낼 수 있게 되었습니다.

요약

이 논문은 **"AI 가 글과 그림을 섞어내는 능력을 깨우기 위해, 적은 데이터로 기본을 다진 뒤 (Warm-up), 여러 번의 시도를 비교하며 점수를 받아 스스로 고쳐가는 (GRPO) 훈련법"**을 개발했다는 이야기입니다. 그 결과, AI 가 만들어내는 이야기와 그림이 훨씬 더 자연스럽고 일관성 있게 변했습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 비전 - 언어 통합 모델 (Unified Vision-Language Models) 은 Multimodal 이해 (예: 시각적 질문 답변) 와 생성 (예: 텍스트 - 이미지 생성) 능력을 하나의 프레임워크로 통합하는 데 큰 진전을 이루었습니다.
• 핵심 문제: 기존 통합 모델들은 대부분 멀티모달 인터리빙 (Multimodal Interleaved) 생성, 즉 텍스트와 이미지를 교차하며 자연스럽게 이어지는 시퀀스를 생성하는 능력에 미흡합니다.
  • 현재 모델들은 주로 텍스트만 또는 이미지만 생성하거나, 모드 전환을 위한 명시적/암시적 제어에 의존합니다.
  • 시각적 스토리텔링, 단계별 시각적 추론 등 텍스트와 이미지가 긴밀하게 결합된 작업에서는 성능이 떨어집니다.
• 제약 사항: 고품질의 대규모 멀티모달 인터리빙 데이터셋이 부족하여, 이러한 능력을 학습시키기 어렵습니다. 기존 모델은 사전 학습된 능력을 유지하면서 새로운 인터리빙 생성 능력을 활성화하는 데 어려움을 겪고 있습니다.

2. 제안된 방법론 (Methodology)

이 논문은 대규모 인터리빙 데이터 없이도 기존 통합 모델의 인터리빙 생성 능력을 해제하고 향상시키기 위해 두 단계의 학습 전략을 제안합니다.

A. 워밍업 단계 (Warm-up Stage)

• 목적: 모델이 인터리빙 생성 패턴에 노출되도록 하되, 기존 멀티모달 이해 및 텍스트 - 이미지 생성 능력을 유지합니다.
• 데이터 구성:
  • 소량의 큐레이션된 인터리빙 텍스트 - 이미지 시퀀스 (ActivityNet, GenHowTo, OpenStory++ 등).
  • 멀티모달 이해 및 텍스트 - 이미지 생성을 위한 제한된 SFT (Supervised Fine-Tuning) 데이터.
• 효과: 이 단계를 거친 모델은 지시사항에 따라 기본적인 인터리빙 콘텐츠를 생성할 수 있게 되지만, 텍스트와 이미지 간의 정렬 (Alignment) 이 약하고 일관성이 부족합니다.

B. 강화 학습 기반 정책 최적화 (GRPO-based Reinforcement Fine-Tuning)

워밍업 이후, **그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO)**를 멀티모달 환경에 확장하여 적용합니다.

1. 통합 정책 최적화 (Unified Policy Optimization):

   • 텍스트와 이미지 생성을 단일 디코딩 궤적 (Single Decoding Trajectory) 으로 간주하여 통합적으로 모델링합니다.
   • 기존 텍스트 전용 GRPO 를 확장하여, 텍스트 토큰과 시각적 토큰이 혼합된 시퀀스 내에서 그룹 내 비교 (Intra-group comparison) 를 수행합니다.

2. 하이브리드 보상 신호 (Hybrid Reward Signal):
   생성 품질을 극대화하기 위해 세 가지 요소를 결합한 보상을 설계했습니다.

   • 텍스트 보상 ($r_t$): 입력 프롬프트에 대한 텍스트의 관련성과 일관성을 평가.
   • 시각/멀티모달 보상 ($r_v$): 생성된 이미지의 품질과 텍스트 - 이미지 정렬 (Alignment) 을 평가 (ImageReward 사용).
   • 포맷 보상 ($r_f$): <thought>, <vis> 등의 특수 토큰을 사용하여 모드 전환이 올바른 구조를 따르도록 제재 (Format fidelity).

3. 프로세스 레벨 보상 (Process-level Reward):

   • 기존 결과 중심 (Outcome-based) 보상만으로는 복잡한 멀티모달 작업의 학습이 비효율적일 수 있음.
   • 각 모드 전환 단계 (Step) 마다 중간 보상을 부여하여, 생성 과정 전반에 걸쳐 세밀한 피드백을 제공합니다. 이는 모델이 단계별 추론을 더 효과적으로 수행하도록 돕습니다.

3. 주요 기여 (Key Contributions)

1. 데이터 효율적인 워밍업 전략: 소량의 큐레이션된 인터리빙 데이터만으로도 통합 모델의 잠재된 인터리빙 생성 능력을 활성화하는 방법을 제시.
2. 통합 정책 최적화 프레임워크: 텍스트와 이미지를 단일 디코딩 궤적에서 autoregressive 방식으로 생성하며, GRPO 를 멀티모달 환경에 성공적으로 적용.
3. 다차원 하이브리드 보상 설계: 텍스트 품질, 시각적 정렬, 구조적 충실도를 동시에 평가하는 보상과, 단계별 학습 효율성을 높이는 프로세스 레벨 보안을 도입.
4. 성능 입증: MMIE 및 InterleavedBench 벤치마크에서 기존 통합 모델들을 압도하는 성능을 보여주었으며, 기존 멀티모달 이해/생성 능력을 유지함을 입증.

4. 실험 결과 (Results)

• 벤치마크: MMIE (Multimodal Interleaved Evaluation) 와 InterleavedBench에서 평가 수행.
• 성능 향상:
  • MMIE: 제안된 방법 (Ours) 은 59.50 점으로, 기존 최강 모델인 Anole(55.22 점) 보다 약 4.28 포인트, MiniGPT-5 보다 약 8.58 포인트 높은 점수를 기록했습니다. 특히 상황 분석 (Situational analysis) 및 다단계 추론 (Multi-step reasoning) 작업에서 큰 개선을 보였습니다.
  • InterleavedBench: 텍스트 품질, 지각적 품질, 이미지 일관성, 텍스트 - 이미지 정렬, 전반적 유용성 등 모든 지표에서 기존 모델 (GILL, EMU-2 등) 을 능가했습니다.
• Ablation Study:
  • 워밍업 단계 없이는 인터리빙 생성이 불가능하거나 매우 낮은 점수 (0.51) 를 기록했으나, 워밍업 + GRPO 를 적용하면 성능이 비약적으로 상승했습니다.
  • 하이브리드 보상 (포맷 + 텍스트 + 시각 + 프로세스) 의 각 구성 요소가 점진적으로 성능을 향상시키는 것을 확인했습니다.
  • KL 페널티와 그룹 크기 (G=4) 가 학습 안정성과 성능에 중요한 역할을 함을 확인했습니다.
• 일반화 능력: 인터리빙 생성 능력을 향상시켰음에도 불구하고, 기존 멀티모달 이해 (MME-P, MMvet 등) 및 텍스트 - 이미지 생성 능력은 유지되었습니다 (Catastrophic forgetting 없음).

5. 의의 및 결론 (Significance)

• 데이터 효율성: 대규모 고품질 인터리빙 데이터셋이 없어도, 소량의 데이터와 강화 학습을 통해 통합 모델의 한계를 극복할 수 있음을 증명했습니다.
• 차세대 멀티모달 AI: 시각적 스토리텔링, 단계별 설명, 복잡한 추론 등 텍스트와 이미지가 유기적으로 결합된 작업을 수행할 수 있는 범용 AI 시스템의 실현 가능성을 높였습니다.
• 학습 패러다임 전환: 멀티모달 생성을 단일 의사결정 과정으로 간주하고, 과정 중심의 세밀한 보상 (Process-level reward) 을 도입함으로써 복잡한 멀티모달 태스크의 학습 효율성을 크게 개선했습니다.

이 연구는 통합 비전 - 언어 모델이 단순한 이해와 생성의 결합을 넘어, 자연스러운 멀티모달 인터랙션과 추론이 가능한 다음 단계의 AI 로 발전하는 데 중요한 이정표가 됩니다.