📊 statistics

Reinforcing the Generation Order of Multimodal Masked Diffusion Models

이 논문은 멀티모달 마스크 확산 모델(Multimodal Masked Diffusion Models)에서 생성 순서를 동적으로 최적화하기 위해 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)를 통해 학습된 학습 가능한 제어 모듈을 소개하며, 이를 통해 텍스트-이미지 정렬 및 멀티모달 이해 능력을 유의미하게 향상시킨다.

원저자: Yidong Ouyang, Zhe Wang, Sourav Bhabesh, Dmitriy Bespalov

게시일 2026-07-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yidong Ouyang, Zhe Wang, Sourav Bhabesh, Dmitriy Bespalov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

완벽한 케이크를 굽는다고 상상해 보세요. 하지만 레시피를 왼쪽에서 오른쪽으로 따라가는 대신, 재료를 완전히 무작위적인 순서로 채워 넣어야 합니다. 이것이 바로 **마스크 확산 모델(Masked Diffusion Models)**이 작동하는 방식입니다. 이들은 다음에 어떤 재료를 넣을지 추측할 수 있는 매우 똑똑한 제빵사와 같지만, 한 가지 까다로운 선택을 해야 합니다. 바로 어떤 재료를 다음에 넣을 것인가 하는 문제입니다.

오랫동안 사람들은 다음 재료를 고르는 가장 좋은 방법은 제빵사의 확신도를 살펴보는 것이라고 생각했습니다. "만약 제빵사가 다음 단계가 '밀가루'라고 99% 확신한다면, 밀가루를 넣자!"라고 말이죠. 이 방식은 규칙이 엄격하고 경로가 명확한 스도쿠 같은 논리 퍼즐을 푸는 데는 아주 잘 작동했습니다.

하지만 반전이 있습니다. 이 논문의 저자들은 시각적인 케이크(이미지 등)를 굽거나 복잡한 그림을 이해하려고 할 때, 이 "확신 트릭"이 완전히 실패한다는 것을 발견했습니다.

문제점: 확신만으로는 부족하다

연구진은 이미지를 생성하거나 사진을 이해하기 위해 기존의 "Top-K" 전략(가장 확신이 높은 추측을 선택하는 방식)을 사용해 보았습니다. 그들은 모델이 특정 픽셀이나 단어에 대해 엄청난 확신을 가지고 있더라도, 그것이 다음에 그려야 하거나 말해야 할 올바른 내용이라는 것을 의미하지는 않는다는 것을 발견했습니다. 이는 마치 제빵사가 설탕이 필요하다고 100% 확신하지만, 달걀을 넣기 전에 설탕을 먼저 넣어 전체 케이크를 망치는 것과 같습니다. 이 논문은 이러한 확신 기반의 휴리스틱(heuristics)이 이미지 품질이나 멀티모달 이해도를 개선하지 못한다는 것을 명시적으로 보여줍니다.

해결책: 스마트한 "지휘자"

그렇다면 그들은 대신 무엇을 했을까요? 그들은 **학습 가능한 제어 블록(learnable control block)**을 구축했습니다. 이것을 제빵사 옆에 서 있는 작지만 매우 똑똑한 지휘자라고 생각해 보세요.

단순히 "확신하나요?"라고 묻는 대신, 지휘자는 "지금 전체 그림에 무엇이 필요한가?"라고 묻는 법을 배웁니다.

학습 방법: 그들은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**라는 방법을 사용했습니다. 지휘자가 재료를 넣는 100가지 서로 다른 순서를 시도한다고 상상해 보세요. 어떤 순서는 형편없는 케이크를 만들고, 어떤 것은 괜찮은 케이크를, 어떤 것은 걸작을 만듭니다. 지휘자는 이 그룹을 살펴보고, 어떤 순서가 평균과 비교했을 때 가장 잘 작동했는지 확인하여 승리하는 전략을 배우는 것입니다. 이것은 확신에 관한 것이 아니라, 시행착오를 통해 최적의 순서를 배우는 것입니다.

결과: 더 나은 케이크

이 새로운 지휘자를 테스트했을 때 다음과 같은 결과가 나왔습니다:

텍스트-투-이미지(Text-to-Image): 이미지가 설명과 얼마나 일치하는지를 보는 까다로운 테스트인 GenEval 벤치마크에서, 그들의 방식은 성능을 4.08% 향상시켰습니다. 이미지는 "파란 의자에 앉아 있는 빨간 고양이"와 같은 까다로운 것들(공간적 관계)을 처리하거나 사물의 개수를 정확히 세는 능력이 좋아졌습니다.
멀티모달 이해(Multimodal Understanding): 사진을 읽고 이해하는 테스트인 VLMEvalKit에서, 이들은 **4.85%**의 상대적 개선을 보였습니다. 모델은 복잡한 질문을 통해 추론하는 능력이 좋아졌으며, 단순히 한 단어로 대답하며 포기하지 않게 되었습니다.

이 논문이 부정하는 것

이 논문이 말하고자 하는 바를 주의해서 볼 필요가 있습니다. 이 논문은 기존의 확신 트릭이 모든 것에 쓸모없다고 주장하는 것이 아닙니다(스도쿠 같은 곳에서는 여전히 잘 작동합니다!). 이 논문은 특히 멀티모달 작업(이미지와 텍스트가 혼합된 작업)에서 단순한 확신 점수에 의존하는 것은 막다른 길이라고 명시적으로 주장합니다. 이 논문은 시각적 토큰들 사이의 무질서하고 복잡한 관계를 다루기 위해서는 학습된 적응형 시스템이 필요하다는 것을 증명합니다.

핵심 요약

이 논문은 AI가 그림을 그리거나 복잡한 장면을 정말 잘 이해하기 위해서는 단순히 자신의 직감(확신)을 따르는 것만으로는 부족하다고 제안합니다. 오케스트라가 적절한 시간에 적절한 음을 연주하도록 안내하는 지휘자처럼, 무엇을 생성하느냐만큼이나 어떤 순서로 생성하느냐가 중요하다는 것을 학습된 전략을 통해 알아내야 합니다. GRPO를 통해 이 "지휘자"를 훈련함으로써, 모델은 더 나은 이미지를 생성하고 사진을 더 깊이 있게 이해하는 법을 배웠으며, 이는 무엇을 생성하느냐만큼 어떻게 생성하느냐가 중요하다는 것을 입증했습니다.

기술 요약: 멀티모달 마스크 확산 모델(Multimodal Masked Diffusion Models)의 생성 순서 강화

문제 정의

마스크 확산 모델(MDM)은 이산적 데이터 생성을 위한 자기회귀(autoregressive) 모델의 강력한 대안으로 등장하였으며, 임의의 순서로 토큰을 생성할 수 있는 유연성을 제공한다. 최근 연구는 모델 로짓(확신도 점수)을 활용하여 적응형 토큰 생성 순서를 정하는 것이 구조화된 언어 작업(예: 스도쿠 풀기, 코드 합성)에서 성능을 크게 향상시킨다는 것을 입증했으나, 이러한 전략이 멀티모달 설정에서도 효과적인지는 여전히 불분명하다.

저자들은 기존의 신뢰도 기반 휴리스틱(Top-K 및 Top-K margin 전략 등)이 모델의 로짓에만 의존하기 때문에, 텍스트-이미지 합성 및 멀티모달 이해 측면에서는 성능 향상을 이끌어내지 못한다는 결정적인 격차를 식별하였다. 예비 실험 결과, 특정 위치에서의 로짓 확신도는 이미지의 전체적인 레이아웃, 시각적 일관성 또는 복잡한 추론 체인에 대한 해당 토큰의 중요도를 신뢰성 있게 반영하지 못하는 것으로 나타났다. 결과적으로, 단순한 휴리스틱이 놓치는 복잡한 공간적 및 의미적 상호 의존성을 포착할 수 있도록 멀티모달 작업에 특화되어 최적의 생성 순서를 결정할 수 있는 메커니즘이 필요하다.

방법론

본 논문은 멀티모달 마스크 확산 모델에서 생성 순서를 동적으로 결정하도록 설계된 **학습 가능한 제어 블록(learnable control block)**을 제안한다. 이 접근 방식은 정적인 휴리스틱 기반 순서 대신 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 통해 최적화된 정책으로 대체한다.

1. 제어 블록 아키텍처

이 방법의 핵심은 각 디노이징 단계 $t$ 에서 작동하는 **언마스크 정책 모듈(Unmask Policy Module, UPM)**이다.

입력: UPM은 최종 트랜스포머 레이어의 은닉 상태(hidden states), 현재 단계 인덱스 $t$ , 그리고 토큰별 마스크 지표를 입력으로 받는다.
출력: 각 마스크된 토큰 $i$ 에 대해 랭킹 점수 $h_{\theta,t}^i$ 를 할당한다.
선택 메커니즘: 이 점수를 바탕으로, 플래킷-루스(Plackett-Luce) 정책은 상위- $K$ 세트의 토큰( $U_t$ )을 순차적으로 샘플링하여 언마스크한다. 이를 통해 학습된 점수가 높은 토큰이 우선적으로 생성되도록 보장하며, 모델이 이미지의 어느 부분을 먼저 해결할지 적응적으로 결정할 수 있게 한다.

2. GRPO를 통한 학습

제어 블록은 역방향 확산 과정에 대한 정책으로 취급되며, 별도의 가치 함수(value function)를 학습하는 계산적 오버헤드를 피하는 GRPO를 사용하여 최적화된다.

궤적 샘플링(Trajectory Sampling): 주어진 멀티모달 입력 $c$ (텍스트 프롬프트 및 선택적 이미지)에 대해, 모델은 $G$ 개의 생성 궤적 그룹을 샘플링한다.
보상 신호: 각 궤적은 최종 출력 품질(예: 프롬프트와의 정렬, 정답의 정확성)에 따라 스칼라 보상 $r$ 을 받는다.
어드밴티지 추정: 그룹 내 보상의 통계값(평균 및 표준 편차)을 사용하여 신호를 정규화함으로써 어드밴티지를 추정한다.
목적 함수: 제어 정책은 어드밴티지 가중 밀도 비(advantage-weighted likelihood ratio)를 최대화하도록 최적화된다. 결정적으로, 단일 단계의 밀도 비를 추정하는 이전 연구들과 달리, 이 방법은 전체 궤적( $T$ 디노이징 단계)에 걸쳐 그래디언트를 누적하여 제어 블록이 전체 생성 과정으로부터 학습 신호를 받을 수 있도록 한다.

3. 추론

추론 과정에서 제어 블록과 확산 모델은 공동으로 작동한다. 각 단계에서 제어 블록은 남아 있는 마스크된 토큰들에 대한 랭킹 점수를 계산하고, 언마스크할 상위- $K$ 토큰을 샘플링하며, 확산 모델은 그들의 값을 예측한다. 이 과정은 시퀀스가 완전히 디노이징될 때까지 반복된다.

주요 기여

경험적 관찰: 저자들은 기존의 신뢰도 기반 전략(Top-K, Top-K margin)이 기호적 추론에는 효과적이지만, 이미지 생성이나 멀티모달 이해에서는 성능을 개선하지 못함을 입증하였다.
학습 가능한 제어 메커니즘: 멀티모달 합성의 특정 요구 사항을 처리하기 위해 GRPO로 직접 최적화되는 새로운 제어 블록을 제안한다.
포괄적 평가: 본 프레임워크는 두 가지 주요 벤치마크를 통해 평가되었다:
- GenEval: 구성적 복잡성에 초점을 맞춘 텍스트-이미지 정렬 벤치마크.
- VLMEvalKit: 시각적 질의응답, 추론 및 인식을 다루는 멀티모달 이해용 스위트.

실험 결과

제안된 방법은 베이스라인 및 휴리스틱 순서 전략에 비해 일관된 개선을 보여준다:

텍스트-이미지 생성 (GenEval):
- 이 방법은 베이스라인 대비 전체 정확도에서 4.08%의 상대적 향상을 달야냈다.
- 특히 공간 추론 및 다중 객체 구성이 필요한 작업인 **Two Objects (+0.08)**와 **Position (+0.07)**에서 유의미한 이득이 관찰되었다.
- 결과는 학습 기반의 순서 제어가 모델이 미세한 공간 관계를 더 잘 포착하도록 돕는다는 것을 나타낸다.
멀티모달 이해 (VLMEvalKit):
- 이 접근 방식은 평가된 벤치마크 전반에 걸쳐 4.85%의 상대적 향상을 달성하였다.
- 개방형 질문 및 복잡한 추론을 포함하는 MathVista_MINI (+1.3) 및 **COCO_VAL (+0.7)**에서 주목할 만한 개선이 나타났다.
- 질적 분석에 따르면, 모델은 단일 토큰 응답으로 퇴화하지 않고 더 상세한 추론(예: 객체의 이름을 명시적으로 언급)을 생성한다.

의의 및 주장

본 논문은 생성 순서가 멀티모달 마스크 확산 모델의 핵심 요소이지만, 그 최적화에는 단순한 로짓 기반 휴리스틱 이상의 것이 필요하다고 주장한다. 학습 가능한 제어 블록을 GRPO를 통해 도입함으로써, 저자들은 모델이 복잡한 공간적 및 의미적 의존성에 따라 토큰의 우선순위를 적응적으로 학습할 수 있음을 보여준다.

이 연구의 의의는 언어 생성 순서 전략과 멀티모달 애플리케이션 사이의 간극을 메우는 데 있다. 저자들은 학습 기반의 순서 정책이 생성된 이미지의 시각적 일관성과 멀티모달 모델의 추론 능력을 모두 향상시키는 데 필수적임을 입증하였다. 저자들은 자신들의 접근 방식이 엄격한 벤치마크를 통해 검증된 바와 같이, 멀티모달 생성 및 이해를 개선하기 위한 일반적이고 효과적인 프레임워크를 제공한다고 결론짓는다.