기술 요약: AlphaGRPO

문제 제기

통합 멀티모달 모델 (UMMs) 은 순수 자기회귀 (autoregressive) 아키텍처에서 혼합형 AR-Diffusion 모델로 진화하여, 원활한 시각적 이해와 생성을 가능하게 했습니다. 그러나 이러한 모델이 복잡한 생성 작업 (예: 추론 기반 텍스트 - 이미지 (T2I) 및 자기반성적 정제) 에 내재된 이해력을 활용하도록 효과적으로 강화하는 것은 여전히 큰 과제입니다.

현재의 접근 방식은 종종 강화학습 (RL) 적용 전에 고品質 데이터를 합성하여 지도 미세조정 (SFT) 을 수행하기 위해 독점 모델을 사용하는 '콜드스타트 (cold-start)' 단계에 의존합니다. 이러한 패러다임은 성능 향상이 더 강력한 교사 모델의 증류에서 비롯된 것인지, 아니면 대상 모델의 잠재적 능력 활성화에서 비롯된 것인지 구분하기 어렵게 만드는 위험이 있습니다. 또한, 시각적 생성을 위한 기존 RL 방법들은 종종 전체적인 스칼라 보상 (예: VIEScore) 또는 미세조정된 보상 모델을 사용합니다. 이러한 접근 방식은 미묘한 의미론적 오류를 구분하지 못하는 오픈월드 시나리오에서 판별력이 부족하여, 보상 과적합과 불안정한 학습 신호를 초래합니다.

방법론: AlphaGRPO

저자들은 콜드스타트 SFT 단계 없이 AR-Diffusion UMM 에 직접 그룹 상대 정책 최적화 (GRPO) 를 적용하는 AlphaGRPO 프레임워크를 제안합니다. 이 방법은 세 가지 핵심 구성 요소에 기반합니다:

1. 통합 궤적 공식화

AlphaGRPO 는 멀티모달 생성을 단일 연속 궤적 $\tau = (y, z_{1 \to 0})$으로 개념화합니다. 여기서 $y$는 자기회귀 추론 텍스트 토큰을, $z$는 확산 생성 경로를 나타냅니다. 이 공식화는 두 가지 작업을 통합합니다:

• 추론 T2I: 모델이 이미지 ($z$) 를 생성하기 전에 공간 레이아웃을 계획하고 세계 지식을 추출하기 위해 추론 텍스트 ($y$) 를 생성합니다.
• 자기반성적 정제: 모델은 초기 생성물의 불일치를 진단하고 새로운 추론 궤적을 통해 수정 전략을 실행합니다.

최적화 목표는 GRPO 를 사용하여 추론 정책과 생성 흐름을 동시에 업데이트합니다. 최종 이미지의 그룹 보상에서 도출된 공유 이득 $\hat{A}_i$가 두 구성 요소 모두를 업데이트하는 데 전파되어, 추론 개선이 시각적 품질과 직접적으로 상관관계를 갖도록 보장합니다.

2. 분해형 검증 가능 보상 (DVReward)

스칼라 보상의 불안정성을 해결하기 위해 저자들은 DVReward를 도입합니다. 멀티모달 대규모 언어 모델 (MLLM) 에게 전체적인 점수 (0–10) 를 할당하도록 요청하는 대신, DVReward 는 복잡한 사용자 요청을 원자적이고 검증 가능한 질문들로 분해합니다.

• 분해: LLM 이 프롬프트를 의미론적 질문 (예: 개체 존재 여부, 공간적 관계) 과 품질 질문 (예: 질감 충실도, 기하학적 구조) 로 분해합니다. 핵심적으로, 추상적인 형용사를 관찰 가능한 물리적 현상으로 변환합니다 (예: "뜨겁습니까?" 대신 "증기가 있습니까?").
• 신뢰도 점수화: 사전 훈련된 MLLM(Qwen3-VL) 이 검증자로 작용합니다. 이진 Yes/No 출력 대신 "Yes"토큰의 확률 비율 ($P_{Yes} / (P_{Yes} + P_{No})$) 을 계산하여 연속적인 신뢰도 점수를 생성합니다.
• 집계: 최종 보상은 의미론적 점수와 품질 점수의 기하평균으로, 안정적이고 해석 가능하며 판별력 있는 신호를 제공합니다.

3. 오탐지 정정 (FPR)

자기반성적 정제 과정에서 모델이 이미 저하된 궤적을 "개선"하여 오탐지 최적화 신호를 생성할 위험이 있습니다. AlphaGRPO 는 유효성 제약을 강제하는 FPR 을 도입합니다. 즉, 정제된 궤적이 초기 입력보다 엄격하게 개선되지 않는 경우 (즉, $r(z_i) \leq r(z_{init})$), 그룹의 최소 보상을 할당합니다. 이는 비효율적인 정제 시도가 음의 이득을 초래하도록 하여 모델의 저하를 억제합니다.

주요 기여

1. AR-Diffusion UMM 을 위한 최초의 GRPO 프레임워크: AlphaGRPO 는 추가적인 콜드스타트 단계 없이 AR-Diffusion 통합 모델에 GRPO 훈련을 도입한 최초의 프레임워크로, 잠재된 추론 및 자기정제 원시 기능을 잠금 해제합니다.
2. DVReward 메커니즘: 이 논문은 프롬프트를 원자적 검증 가능 질문으로 분해하는 새로운 세밀한 보상 메커니즘을 소개합니다. 이 접근 방식은 안정적인 감독 신호를 제공하며, 일반적 능력을 훼손하지 않고 일반 MLLM 을 보상 모델로 사용하는 올바른 방법론을 입증합니다.
3. 일반화 및 강건성: 이 프레임워크는 강화학습이 추론 T2I 와 자기반성적 정제 모두를 향상시킬 수 있음을 검증하여, 편집 작업에 대한 명시적 훈련 없이도 다양한 벤치마크에서 상당한 개선을 달성했습니다.

실험 결과

저자들은 여러 벤치마크에 걸쳐 Bagel모델 (네이티브 UMM) 에서 AlphaGRPO 를 평가했습니다:

• 텍스트 - 이미지 생성: AlphaGRPO 는 GenEval, TIIF-Bench, DPG-Bench, WISE에서 일관된 개선을 보여주었습니다. 특히, 자기반성적 정제만으로도 직접적인 추론 T2I 훈련과 유사한 성능을 달성하여 일반화된 추론 능력의 습득을 시사했습니다.
• 이미지 편집 (GEdit-Bench): 편집 데이터에 대한 명시적 훈련 없이, 자기반성적 정제로 훈련된 AlphaGRPO 는 GEdit-Bench 에서 7.08점을 기록하여 Bagel 베이스라인보다 0.52점 더 높은 성과를 거두었습니다. 이는 AlphaGRPO 를 통해 학습된 정렬이 편집 작업으로 효과적으로 이전됨을 나타냅니다.
• 추론 시간 정제: 추론 시간 자기반성적 정제 (Inf. SRR) 를 적용하면 성능이 더욱 향상되어 TIIF-Bench(Short) 에서 **83.9%**를 달성하고 Bagel 보다 5.8% 더 높은 성과를 보였습니다.
• Ablation 연구:
  • DVReward는 긴 프롬프트와 복잡한 벤치마크에서 특히 전체적 스칼라 보상 (VIEScore) 과 인간 선호도 모델 (PickScore, HPSv3) 보다 일관되게 우수한 성과를 보였습니다.
  • 신뢰도 점수화(토큰 로짓 사용) 는 경직된 이진 점수화보다 우월하여 더 부드러운 기울기를 제공했습니다.
  • 오탐지 정정은 특히 TIIF-Bench Long 과 같은 까다로운 분할에서 노이즈가 있는 보상에 대한 과적합을 방지하는 데 결정적이었습니다.

중요성 및 주장

이 논문은 AlphaGRPO 가 통합 모델의 내재적 이해력을 활용하여 고충실도 생성을 안내한다고 주장합니다. 콜드스타트 단계의 필요성을 제거하고 분해형 보상 메커니즘을 활용함으로써, 저자들은 강화학습이 AR-Diffusion 모델에서 잠재된 추론 및 자기수정 능력을 활성화할 수 있음을 입증합니다.

중요성은 더 강력한 교사로부터 지식을 증류하는 것에서 모델 자체의 내재적 원시 기능을 향상시키는 것으로의 전환에 있습니다. 결과는 검증 가능하고 원자적인 보상에 의해 안내된 추론과 생성에 대한 통합적 접근 방식이 생성 및 편집 작업 모두에서 강건하고 일반화된 멀티모달 지능을 달성할 수 있음을 검증합니다. 저자들은 이 방법이 효과적이지만, 초기 출력 생성을 위한 기본 모델의 능력에 의존하며 기본 모델에 내재된 것 이상의 새로운 사회적 위험을 도입하지 않는다고 언급합니다.