기술 요약: 이산 정책 최적화를 위한 가이드 대비 토큰 크레딧 할당

문제 제기

생성 모델에 대한 강화 학습 (RL) 의 최근 발전, 특히 그룹 상대 정책 최적화 (GRPO) 와 DAPO 와 같은 그 변형들은 수학적 추론부터 텍스트-이미지 합성에 이르기까지 다양한 분야에서 강력한 성능을 입증해 왔습니다. 그러나 이러한 방법들은 생성된 시퀀스의 모든 토큰에 균일하게 전파되는 샘플 수준의 보상에 의존합니다. 이러한 균일한 크레딧 할당은 세밀한 토큰 수준의 기여도를 포착하지 못합니다.

실제로 모든 토큰이 동등하게 중요한 것은 아닙니다. 체인 오브 씽킹 (CoT) 추론에서 특정 토큰 (예: 수학적 유도 과정) 은 정답의 정확성을 주도하는 반면, 다른 토큰 (예: 구두점, 연결 동사) 은 채움재 (fillers) 역할을 합니다. 마찬가지로 텍스트-이미지 생성에서 특정 이미지 영역은 텍스트 프롬프트와 직접적으로 연관되는 반면, 다른 영역 (배경 등) 은 덜 관련이 있습니다. 기존 토큰 크레딧 할당 방법들은 종종 토큰 신뢰도, 기울기, 또는 엔트로피와 같은 휴리스틱에 의존하지만, 시각 및 텍스트 모달리티 전반에 걸쳐 의미적으로 중요한 영역을 식별할 수 있는 통합 메커니즘이 부족합니다.

방법론: 가이드 대비 정책 최적화 (GCPO)

저자들은 양의 프롬프트와 음의 프롬프트 하의 모델 예측을 대비시킴으로써 토큰별 이점을 할당하는 새로운 알고리즘인 **가이드 대비 정책 최적화 (GCPO)**를 제안합니다. 이 방법은 텍스트-이미지 확산 모델의 표준 추론 기술인 **클래스리스 가이드 (CFG)**에서 영감을 받았습니다.

1. 대비적 가이드 메커니즘

GCPO 는 양의 프롬프트 ($x$) 와 음의 프롬프트 ($x^-$) 를 기반으로 한 모델 예측 간의 발산을 측정하여 토큰별 중요도 가중치 ($\eta$) 를 계산합니다.

• 텍스트-이미지의 경우: 양의 프롬프트는 사용자 입력이며, 음의 프롬프트는 일반적으로 빈 문자열 (무조건부 생성) 입니다.
• 멀티모달 추론 (VLMs) 의 경우: 지시 조정 모델은 빈 프롬프트를 기본적으로 지원하지 않으므로, 저자들은 원래 질문에 접미사 지시 **"잘못된 답을 생성하라"**를 추가하여 음의 프롬프트를 구성합니다. 이는 모델이 올바른 답에 대한 암묵적 신념과 잘못된 답에 대한 신념 사이의 대비를 생성합니다.

중요도 가중치는 두 조건 하의 토큰 분포 간의 쿨백 - 라이블러 (KL) 발산을 사용하여 계산됩니다:
$$\eta_{i,t} = D_{KL}(\pi_\theta(y_{i,t}|x, y_{i,<t}) \parallel \pi_\theta(y_{i,t}|x^-, y_{i,<t}))$$
높은 $\eta$ 값을 가진 토큰은 프롬프트에 대해 모델의 예측이 매우 민감한 영역을 나타내며, 이는 의미적 중요성을 시사합니다.

2. 순위 기반 정규화

원시 KL 발산 값은 작업, 프롬프트, 시퀀스 길이에 따라 규모가 극단적으로 달라질 수 있습니다. 소프트맥스 또는 최소 - 최대와 같은 표준 정규화 기법은 이상치 (예: 첫 번째 토큰) 에 확률 질량을 집중시키는 경향이 있습니다. 이를 해결하기 위해 GCPO 는 **히스토그램 평활화 (순위 기반 정규화)**를 사용합니다.

• 정규화되지 않은 $\eta$ 값은 시퀀스 내 누적 분포 함수 (CDF) 값으로 변환됩니다.
• 이는 발산의 절대적 규모와 관계없이 샘플 간 정규화 가중치 분포가 일관되도록 하여, 작업별 하이퍼파라미터 튜닝 없이 안정적인 훈련을 가능하게 합니다.

3. 정책 최적화 목적 함수

정규화된 가중치 ($\eta_{normalized}$) 는 샘플별 이점 ($\hat{A}_i$) 을 스케일링하여 토큰별 이점 ($\hat{A}^{GCPO}_{i,t}$) 을 얻는 데 사용됩니다:
$$\hat{A}^{GCPO}_{i,t} = \eta_{normalized, i,t} \cdot \hat{A}_i$$
이 토큰별 이점은 표준 GRPO 목적 함수의 균일한 이점을 대체하여, 정책 업데이트가 의미적으로 중요한 토큰에 더 집중할 수 있도록 합니다.

주요 기여

1. 새로운 토큰 크레딧 할당: GCPO 는 양의 프롬프트와 음의 프롬프트를 대비시킴으로써 토큰별 중요도 가중치를 유도하는 방법을 도입하여, 명시적인 토큰 수준 보상이 없이도 주요 추론 단계나 시각적 영역을 효과적으로 식별합니다.
2. 언어 및 멀티모달 도메인 확장: CFG 는 이미지 생성에서 표준이지만, 이 논문은 "잘못된 답을 생성하라"는 특정 음의 프롬프트 전략을 설계하여 모델의 암묵적 정확성 신념을 드러냄으로써 이산 언어 생성 및 멀티모달 추론으로 이 개념을 성공적으로 확장합니다.
3. 강건한 정규화: 순위 기반 정규화 (히스토그램 평활화) 의 제안은 RL 훈련에서 원시 발산 지표와 관련된 불안정성 문제를 해결하여 다양한 작업 전반에 걸쳐 부드러운 최적화를 보장합니다.
4. 일반화 가능성: 이 방법은 텍스트-이미지 생성과 복잡한 멀티모달 추론 작업 모두에서 효과적임이 입증되었으며, 기존 베이스라인을 능가합니다.

실험 결과

저자들은 GCPO 를 두 가지 주요 벤치마크에서 평가했습니다:

텍스트-이미지 생성

• 벤치마크: GenEval.
• 베이스 모델: Janus-Pro-7B.
• 결과: GCPO 는 전체 점수 0.89를 달성하여 베이스 모델 (+0.09), 이전 RL 방법인 Janus-Pro-R1, 그리고 GRPO 베이스라인 (0.85) 을 능가했습니다. 이는 훨씬 더 큰 모델들 (예: Qwen-Image-2507, BAGEL) 의 성능과 일치했습니다.
• 관찰: 가장 큰 개선은 프롬프트와의 정밀한 토큰 수준 정렬이 중요한 "세기 (Counting)" 및 "색상 속성 (Color Attribution)" 작업에서 나타났습니다.

멀티모달 추론

• 벤치마크: MathVerse, MathVision, MM12K, LogicVista, 그리고 MMMU-Pro.
• 베이스 모델: Qwen2.5-VL-7B 및 Qwen3-VL-8B.
• 비교: GCPO 는 GRPO, DAPO, 그리고 시각적 의존 토큰에 초점을 맞춘 이전 작업인 VPPO 와 비교되었습니다.
• 결과: GCPO 는 모든 베이스라인을 일관되게 능가했습니다. 예를 들어, Qwen3-VL-8B 모델에서 GCPO 는 MMMU-Pro 에서 **55.3%**를 달성하여 VPPO (52.4%) 와 DAPO (50.5%) 를 능가했습니다.
• 애블레이션: 연구는 정보 이득이나 절대적 차이와 비교하여 KL 발산이 가장 효과적인 지표임을 확인했으며, 빈 이미지나 일반적인 프롬프트와 같은 다른 전략보다 "잘못된 답을 생성하라"는 음의 프롬프트가 더 우수함을 입증했습니다.

중요성 및 주장

이 논문은 GCPO 를 이산 정책 학습을 위한 간단하고 일반적이며 확장 가능한 최적화 전략이라고 주장합니다. 그 중요성은 다음과 같습니다:

• 학습 신호 정제: 균일한 샘플 수준 보상에서 세밀한 토큰 수준 이점으로 이동함으로써, GCPO 는 모델이 모든 토큰을 동등하게 취급하는 대신 추론 흔적의 "실체"와 관련 시각적 영역에 집중할 수 있게 합니다.
• 추론과 훈련의 연결: 추론 시간 기술 (CFG) 을 훈련 시간 보상 형성 메커니즘으로 성공적으로 적응시켜, 샘플링 중 CFG 가 명시적으로 사용되지 않는 도메인에서도 대비 신호가 정책 최적화를 안내할 수 있음을 보여줍니다.
• 휴리스틱에 대한 우위: 신뢰도나 기울기와 같은 정적 휴리스틱에 의존하는 이전 토큰 크레딧 할당 방법과 달리, GCPO 는 모델의 프롬프트 조건에 대한 민감도에 기반하여 가중치를 동적으로 유도하여 더 의미적으로 기반을 둔 신호를 제공합니다.

저자들은 이 방법이 올바른 답과 잘못된 답을 구분할 수 있는 초기 능력을 갖춘 모델 (음의 프롬프트에 응답하기 위해) 에 필요하며 프롬프트 의존적 RL 작업에만 엄격하게 적용 가능하다는 제한 사항을 지적합니다. 그러나 그들은 GCPO 가 토큰 수준 크레딧 할당을 위한 강건한 메커니즘을 제공함으로써 이산 정책 최적화의 미래 발전을 위한 길을 닦았다고 주장합니다.