💬 NLP

MDP-GRPO: Stabilized Group Relative Policy Optimization for Multi-Constraint Instruction Following

이 논문은 이산적이고 저분산된 보상 설정에서의 불안정성을 극복하기 위해 다중 온도 샘플링, 이중 앵커 어드밴티지, 전망 이론 기반의 셰이핑(prospect-theoretic shaping), 그리고 비대칭 KL 정규화를 채택하여 다중 제약 조건 지시 이행 성능을 유의미하게 향향시킨 GRPO의 안정화된 변형인 MDP-GRPO를 소개한다.

원저자: Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammad Mahdi Salmani-Zarchi, Zahra Rahimi, Heshaam Faili, Mohammad Javad Dousti

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 유능하지만 약간은 산만하고 제멋대로인 요리사(AI)에게 매우 구체적인 레시피를 따르도록 가르치고 있다고 상상해 보세요. 이 레시피는 단순히 "케이크를 만드세요"가 아니라, "정확히 달걀 3개를 사용하세요", "초콜릿을 사용하지 마세요", "지시 사항을 모두 대문자로 작성하세요", 그리고 "메모의 끝을 'Bon Appétit'라는 문구로 맺으세요"와 같은 엄격한 규칙들의 목록입니다.

AI의 세계에서 이것을 **다중 제약 조건 지시 이행(Multi-Constraint Instruction Following)**이라고 부릅니다. 문제는 표준적인 AI 학습 방식이 규칙이 이토록 엄격할 때 혼란을 겪기 쉽다는 점입니다. 왜냐하면 피드백이 이분법적(규칙을 지켰거나, 지키지 못했거나)이기 때문입니다.

다음은 이 논문의 해결책인 MDP-GRPO를 일상적인 비유를 사용하여 쉽게 풀어낸 설명입니다.

문제점: "그룹 성적"의 함정

논문은 현재의 AI 학습 방식(이를 GRPO라고 부릅니다)이 어떻게 작동하는지 설명하며 시작합니다. 선생님이 8명의 학생(AI의 시도들)이 모인 그룹에게 동시에 퀴즈를 내는 상황을 상상해 보세요. 선생님은 각 학생을 완벽한 기준에 따라 개별적으로 채점하는 대신, 학생들을 서로 상대적으로 채점합니다.

7명의 학생이 "C"를 받고 1명의 학생이 "B"를 받았다면, "B"를 받은 학생은 엄청난 보너스를 받고 "C"를 받은 학생들은 엄청난 벌점을 받습니다.
결함: 엄격한 규칙 준수 상황에서는 그룹 내 모든 학생이 똑같은 점수를 받는 경우가 흔합니다(예: 모두가 "대문자 사용" 규칙을 어김).
- 제로 분산 붕괴 (Zero-Variance Collapse): 모두가 "0점"을 받으면, 선생님은 누가 더 잘했는지 판단할 방법이 없습니다. "성적"은 모두에게 0이 되고, AI는 아무것도 배우지 못합니다.
- 평균 중심의 맹목성 (Mean-Centering Blindness): 한 그룹의 학생들이 모두 처참하게 실패하고, 다른 그룹의 학생들도 모두 처참하게 실패했을 때, 선생님은 그들이 "똑같이 형편없기" 때문에 동일하게 취급합니다. AI는 자신이 어떤 특정 규칙을 어겼는지 알 수 없게 됩니다.
- 저분산 증폭 (Low-Variance Amplification): 점수가 99, 100, 100, 100일 때, 99와 100 사이의 미세한 차이가 거대한 벌점으로 증폭되어, AI가 과잉 반응하게 만들고 불안정하게 만듭니다.

해결책: MDP-GRPO

저자들은 이러한 결함들을 고치기 위해 네 가지 "도구"를 갖춘 새로운 학습 방법을 제안합니다. 이것을 선생님의 채점 시스템을 업그레이드하는 것이라고 생각하면 됩니다.

1. "맛의 혼합기" (다중 온도 샘플링 - Multi-Temperature Sampling)

문제: AI에게 이야기의 변형 8개를 쓰라고 요청했을 때, AI는 거의 동일한 이야기 8개를 쓸 수 있습니다. 만약 이들이 모두 동일하다면, 모두가 같은 점수를 받게 되고 학습은 정체됩니다.
해결책: 저자들은 AI에게 서로 다른 "창의성 수준"을 사용하여 8개의 이야기를 쓰도록 지시합니다. 어떤 것은 매우 엄격하게(낮은 온도), 어떤 것은 매우 자유롭고 창의적으로(높은 온도) 작성됩니다.
결과: 이를 통해 규칙이 어렵더라도 8번의 시도가 서로 충분히 달라져서 서로 다른 점수를 가질 수 있게 합니다. 이는 "모두가 0점을 받는" 문제를 방지합니다.

2. "두 개의 닻" 시스템 (이중 앵커 이점 - Dual-Anchor Advantages)

문제: 그룹 전체가 엉망진창일 때(모두가 실패했을 때), "상대적 채점" 시스템은 무너집니다.
해결책: 선생님은 학생들을 서로 비교할 뿐만 아니라, **고정된 가상의 "중립적인 학생"**과도 비교합니다.
- 운 좋게 규칙의 딱 50%를 맞힌 "중립적인 학생"이 있다고 가정해 봅시다.
- 만약 AI의 그룹이 이 중립적인 학생보다 성적이 낮다면, AI는 명확한 신호를 받습니다: "너는 평균보다 못하고 있어, 더 노력해!"
- 이는 AI가 실패하고 있는 와중에도 학습 신호를 얻을 수 있게 하여, "실패에 대한 맹목성"을 방지합니다.

3. "손실에 대한 인간의 공포" (전망 이론 기반 형성 - Prospect-Theoretic Shaping)

문제: 표준적인 학습은 작은 승리와 작은 패배를 동일하지만 반대되는 것으로 취급합니다. 하지만 현실에서 인간은 얻는 기쁨보다 잃는 고통을 더 크게 느낍니다.
해결책: 저자들은 경제학의 개념인 **전망 이론(Prospect Theory)**을 빌려왔습니다. 그들은 AI가 규칙을 어겼을 때 느끼는 "고통"을 규칙을 따랐을 때의 "기쁨"보다 훨씬 더 강렬하게 느끼도록 프로그래밍했습니다.
- AI가 규칙을 어기면 벌칙은 매우 크고 날카롭습니다.
- AI가 규칙을 따르면 보상은 제한적이고 완만합니다.
- 이는 AI가 너무 무모해지는 것을 막고, 엄격한 제약 조건을 매우 조심스럽게 다루도록 강제합니다.

4. "비대칭 안전벨트" (비대칭 KL 정규화 - Asymmetric KL Regularization)

문제: 때때로 규칙을 따르려다 보니 AI가 평소처럼 말하는 법을 잊어버리거나 너무 경직될 수 있습니다.
해결책: 그들은 AI의 변화에 "안전벨트"를 채웁니다.
- AI가 개선되고 있다면(규칙을 더 잘 따른다면), 안전벨트는 느슨해져서 큰 변화를 허용합니다.
- AI가 나빠지고 있다면(규칙을 어긴다면), 안전벨트는 즉시 조여져서 파괴적인 실수를 하는 것을 방지합니다.

결과

저자들은 이 새로운 방법을 Llama-3.2 및 Gemma-2와 같은 모델에 테스트했습니다.

규칙 준수 능력 향상: AI는 엄격한 다중 부분 지시 사항을 따르는 능력이 눈에 띄게 향상되었습니다 (엄격한 성공률에서 최대 5% 향상).
안정적인 학습: 학습 과정에서 AI가 난관에 부딪혀도 학습이 멈추거나 혼란에 빠지지 않았습니다.
지능 유지: 결정적으로, AI는 이러한 엄격한 규칙을 배우는 동안 일반적인 지식(상식 퀴즈 답변이나 논리 퍼즐 해결 등)을 잃지 않았습니다.

요약

이 논문은 AI에게 엄격한 다중 규칙을 따르도록 가르치는 것이, 10가지의 작고 구체적인 제약 조건이 있는 레시피를 따르도록 요리사를 가르치는 것과 같다고 주장합니다. 표준적인 방법들은 그룹 내의 모든 이가 실패할 때 혼란을 겪기 때문에 실패합니다. MDP-GRPO는 다음을 통해 이를 해결합니다:

연습 시도를 더 다양하게 만듭니다.
고정된 기준점을 제공하여 AI가 실패하는 중에도 자신의 상태를 알 수 있게 합니다.
AI가 성공을 "사랑하는" 것보다 실수를 "두려워하게" 만듭니다.
실수할 때 AI가 너무 급격하게 변하는 것을 막아줍니다.

그 결과, AI는 일반적인 똑똑함을 유지하면서도 복잡하고 엄격한 지시를 훨씬 더 신뢰성 있게 수행할 수 있게 되었습니다.

기술 요약: MDP-GRPO

문제 정의

대규모 언어 모델(LLM)은 종종 다중 제약 조건 지시 이행(multi-constraint instruction following), 즉 단일 프롬프트가 여러 개의 명시적이고 결정론적인 규칙(예: 특정 형식, 금지된 단어, 정확한 종료 문구)을 준수해야 하는 상황에서 어려움을 겪습니다. **검증 가능한 보상을 활용한 강화 학습(RLVR)**은 규칙 기반 체커를 사용하여 신뢰할 수 있고 편향 없는 신호를 제공함으로써 유망한 해결책을 제시하지만, 표준 **그룹 상대적 정책 최적화(GRPO)**는 이 환경에서 불안정해지는 경향이 있습니다.

핵심 문제는 다중 제약 조건 보상이 이산적(discrete)이며 빈번하게 저분산(low-variance) 특성을 갖는다는 점에 있습니다. 훈련 초기 단계나 제약 조건이 엄격한 경우, 샘플링된 완료 문구 그룹은 동질적인 보상(모든 샘플이 동일한 제약을 만족하거나 위반함)을 생성하곤 합니다. 이러한 조건에서 표준 GRPO의 z-점수 그룹 정규화는 세 가지 구체적인 병리 현상을 겪습니다:

저분산 증폭(Low-Variance Amplification): 미세한 보상 변동이 불균형하게 큰 어드밴티지로 증폭되어 취약한 업데이트를 유발합니다.
평균 중심성 맹목(Mean-Centering Blindness): z-점수 정규화는 절대적인 보상 수준을 무시하므로, 상대적 분포가 유사하다면 지속적으로 실패하는 그룹과 지속적으로 성공하는 그룹을 구분할 수 없게 만듭니다.
제로 분산 붕괴(Zero-Variance Collapse): 그룹 내 모든 샘플이 동일한 보상을 받을 때, 그룹 표준 편차( $\sigma_{group}$ )는 0에 수렴합니다. 이는 어드밴티지 신호를 0으로 만들거나 정의되지 않게 하여 학습 신호 자체를 완전히 제거합니다.

방법론: MDP-GRPO

이러한 불안정성을 해결하기 위해 저자들은 세 가지 상호 보완적인 메커니즘을 통합한 GRPO의 안정화된 변형인 MDP-GRPO를 제안합니다.

1. 다중 온도 샘플링 (예방)

동질적인 그룹 형성을 방지하기 위해, 이 방법은 고정된 온도 샘플링 대신 $G$ 개의 완료 문구 그룹에 대한 온도 스케줄( $T = [\tau_1, \dots, \tau_G]$ )을 도입합니다.

메커니즘: 낮은 온도는 탐색(exploitation, 고품질 베이스라인)을 장려하고, 높은 온도는 탐험(exploration)을 유도합니다.
목표: 이를 통해 단일 그룹 내에 고품질 완료 문구와 탐색적 완료 문구를 혼합함으로써, 근본적인 RL 목적 함수를 변경하지 않고도 작은 배치 사이즈에서도 충분한 보상 분산( $\sigma_{group} > 0$ )을 확보합니다.

2. 이중 앵커 어드밴티지 (신호 복구)

제로 분산 붕괴와 평균 중심성 맹목 문제를 해결하기 위해, 이 방법은 표준 그룹 상대적 어드밴티지와 함께 **목표 인식 앵커(goal-aware anchor)**를 도입합니다.

메커니즘: 중립적인 베이스라인을 제약 조건이 확률 $p=0.5$ 로 충족되는 이항 프로세스로 모델링합니다. 이를 통해 제약 조건의 수에 따라 스케일링되는 고정된 "목표 인식" 어드밴티지( $\delta_i$ )를 생성합니다.
통합: 최종 어드밴티지( $A_i$ )는 형태가 조정된 그룹 상대적 어드밴티지( $\tilde{z}_i$ )와 형태가 조정된 목표 인식 어드밴티지( $\tilde{\delta}_i$ ) 사이의 가중 보간입니다:
$A_i = (1 - \alpha)\tilde{z}_i + \alpha\tilde{\delta}_i$
이점: 그룹 분산이 0인 경우에도 목표 인식 앵커가 유효한 학습 신호를 제공하여 훈련 정체를 방지합니다.

3. 전망 이론 기반 셰이핑 (안정화)

전망 이론(Prospect Theory)(Kahneman & Tversky, 1979)에서 영감을 얻어, 이 방법은 보정된 어드밴티지를 혼합하기 전에 유계(bounded)이며 비대칭적인 셰이핑 함수를 적용합니다.

메커니즘: 스케일링된 tanh 변환을 통해 어드밴티지를 제한하고 손실 회피(loss aversion, $\lambda_- > \lambda_+$ )를 강제합니다.
목표: 이는 제약 조건 위반(부정적 결과)이 동일한 수준의 성공보다 더 큰 그래디언트 업데이트를 유발하도록 하여, 퇴보를 강력하게 처벌합니다. 동시에, 셰이핑 함수는 저분산으로 인한 무제한적인 그래디언트 발생을 방지하여 훈련을 안정화합니다.

4. 비대칭 KL 정규화

목적 함수에는 비대칭 KL 페널티가 포함됩니다. 어드밴티지가 음수일 때(성능 저하 시)는 페널티 계수를 높게( $\beta_{high}$ ), 양수일 때(성능 향상 시)는 낮게( $\beta_{low}$ ) 설정하여 성능 저하 시 모델을 더욱 강력하게 제약합니다.

주요 기여

병리 현상의 공식화: 본 논문은 이산적이고 저분산인 보상 체계에서 그룹 상대적 정책 업데이트가 겪는 세 가지 실패 모드(저분산 증폭, 평균 중심성 맹목, 제로 분산 붕괴)를 식별하고 공식화했습니다.
샘플링을 통한 예방: 근본적인 목적 함수를 변경하지 않고도 작은 배치 설정에서 인위적으로 보상 다양성을 높이는 다중 온도 그룹 샘플링을 도입했습니다.
신호 복구: 제로 분산 그룹에서 학습 신호를 복구하고 표준 정규화에서 손실된 절대적 성능 정보를 회복하기 위한 이중 앵커 어드밴티지를 제안했습니다.
강건한 셰이핑: 업데이트 크기를 제한하고 제약 조건 위반 수정을 우선시하기 위해 전망 이론적 셰이핑을 적용했습니다.
실험적 검증: 이러한 구성 요소들이 다중 제약 작업에서 일반적인 능력을 유지하면서도 안정성과 성능을 어떻게 집단적으로 개선하는지 입증했습니다.

실험 결과

이 방법은 Gemma-2-2B 및 Llama-3.2-3B 모델을 사용하여 IFEval, FollowBench, 그리고 선별된 다중 제약 데이터셋에서 평가되었습니다.

성능 향상: MDP-GRPO는 표준 GRPO 및 제로샷 베이스라인보다 일관되게 우수한 성능을 보였습니다. Llama-3.2-3B의 경우, 커스텀 데이터셋에서 **엄격한 제약 준수(HSR)**를 최대 **5.0%**까지 향상시켰습니다.
소규모 배치 효율성: 이 방법은 그룹 크기가 줄어든 경우( $G=4$ )에 특히 효과적이었습니다. 다중 온도 샘플링을 통해 MDP-GRPO는 더 큰 그룹( $G=8$ )으로 훈련된 표준 GRPO의 성능에 근접할 수 있었으며, 이는 제한된 컴퓨팅 자원 환경에서의 유용성을 입증합니다.
난이도 확장성: 안정화된 변형(특히 이중 앵커를 포함한 버전)은 제약 조건의 수가 증가함에 따라 베이스라인보다 더 느리게 성능이 저하되었으며, 복잡한 프롬프트(난이도 5-6)에서도 더 높은 성공률을 유지했습니다.
일반 능력: MMLU 및 ARC 평가를 통해 지시 이행 능력의 향상이 일반적인 추론이나 지식 유지의 희생을 통해 이루어진 것이 아님을 확인했습니다.
훈련 역학: 진단 결과, 제안된 방법들이 표준 GRPO에 비해 제로 분산 그룹의 빈도를 성공적으로 줄이고 KL 발산 드리프트를 제어했음을 보여주었습니다.

의의 및 주장

저자들은 MDP-GRPO가 보상 희소성으로 인해 표준 그룹 정규화 방식이 실패하기 쉬운 다중 제약 환경의 RLVR을 위한 안정적이고 신뢰할 수 있는 프레임워크를 제공한다고 주장합니다. z-점수 정규화의 수학적 병리 현상을 명시적으로 해결함으로써, 이 방법은 다음을 가능하게 합니다:

작은 그룹 크기에서도 안정적인 수렴.
학습된 보상 모델이나 인간의 선호도 라벨 없이도 이산적이고 규칙 기반인 보상으로부터 효과적인 학습.
동질적인 보상 분포에 직면했을 때 발생하는 표준 GRPO 업데이트의 "취약성"에 대한 강건성.

결론적으로, 이 접근 방식은 결정론적이고 검증 가능한 제약 조건에 특화되어 설계되었으나, 핵심 구성 요소(이중 앵커 및 전망 셰이핑)는 보상 소스에 구애받지 않으므로 다른 RL 설정에도 적응될 수 있습니다. 다만, 저자들은 이 방법이 자동 체커에 의존하며, 학습된 보상 모델 없이는 주관적이거나 스타일적인 제약 조건에는 직접적으로 확장되지 않을 수 있음을 조심스럽게 언급하였습니다.