💬 NLP

Constrained Group Relative Policy Optimization

이 논문은 그룹 내 정규화로 인해 발생하는 해로운 결합 효과를 제거하기 위해 가공되지 않은 보상 대신 표준화된 어드밴티지를 스칼라화함으로써 제약 조건 준수와 학습 안정성을 개선하는 Group Relative Policy Optimization의 라그랑주 기반 확장인 Constrained GRPO를 소개한다.

원저자: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

게시일 2026-09-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

급변하는 인공지능의 세계에서 연구자들은 자율주행 자동차를 운전하는 것부터 어려운 수학 문제를 푸는 것에 이르기까지 복잡한 문제를 해결하도록 거대 컴퓨터 모델을 가르치고 있습니다. 이 모델들은 시행착오를 통해 학습하는데, 이 과정을 강화 학습이라고 합니다. 미로를 풀려고 노력하는 학생을 상상해 보십시오. 학생은 출구에 도辿하면 보상을 받고, 벽에 부딪히면 벌칙을 받습니다. 시간이 흐르면서 학생은 보상을 극대화하고 벌칙을 피하는 법을 배웁니다. 그러나 우리가 모델에게 "보행자를 절대 치지 마라" 또는 "항상 올바른 문법을 사용하라"와 같이 엄격한 규칙을 따르게 하면서도 동시에 유용하게 행동하도록 만들고자 할 때 큰 문제가 발생합니다. 규칙이 너무 엄격하면 모델은 쓸모없게 될 수 있고, 너무 느슨하면 규칙을 어길 수 있습니다. 이를 해결하기 위해 과학자들은 성공하고자 하는 욕구와 제약 조건을 준수해야 하는 필요성 사이의 균형을 맞추며, 모델이 학습함에 따라 각 규칙의 중요도를 조정하는 수학적 프레임워크를 사용합니다.

이러한 모델을 가르치는 대중적인 방법인 GRPO(Group Relative Policy Optimization)는 효율적이며 모든 단계를 평가하기 위해 별도의 "판사" 모델을 필요로 하지 않기 때문에 선호되어 왔습니다. 대신, 이 방법은 동일한 질문에 대해 생성된 일련의 답변들을 서로 비교하여 어떤 것이 더 나은지 결정합니다. 이 방법은 일반적인 작업에는 잘 작동하지만, 연구자들은 이를 엄격한 안전 규칙에 적용하는 것이 까다롭다는 것을 발견했습니다. 밀라(Mila) - 퀘벡 AI 연구소와 에콜 폴리테크니크 드 몬트리올의 연구팀은 새로운 연구에서, 서로 다른 목표들을 하나의 점수로 결합하는 기존의 방식이 실제로 시스템의 규칙 준수 능력을 망가뜨리고 있다는 사실을 발견했습니다. 그들은 이 결함을 해결하고 모델이 안전 한계치를 엄격히 준수하면서도 복잡한 행동을 학습할 수 있도록 하는 새로운 접근 방식인 CGRPO(Constrained Group Relative Policy Optimization)를 도입했습니다.

연구진이 식별한 핵심 문제는 컴퓨터가 여러 목표를 동시에 처리하는 방식입니다. 표준적인 접근 방식에서는 모델이 받는 모든 보상과 벌칙을 가져와서 하나의 숫자로 혼합한 다음, 학습을 용이하게 하기 위해 그 숫자를 정규화합니다. 연구진은 이 혼합 과정이 숨겨진 간섭을 일으킨다는 것을 보여주었습니다. 컴퓨터가 한 규칙의 가중치를 조정할 때, 의도치 않게 다른 모든 규칙의 상대적 중요성도 함께 변화시킵니다. 이는 오케스트라의 특정 악기 볼륨을 조절하기 위해 노브를 돌리는데, 그 노브가 밴드 전체의 균형까지 바꿔버리는 것과 같습니다. 바이올린 소리를 키우려 해도 의도치 않게 드럼 소리는 너무 작아지고 플루트 소리는 너무 커질 수 있는 것입니다. 이로 인해 모델은 정확히 어떤 규칙을 따라야 하는지 배우기가 매우 어려워지며, 종종 안전 제약 조건을 무시하거나 학습 과정 중에 불안정해지는 원인이 됩니다.

이를 해결하기 위해 연구진은 연산의 순서를 변경했습니다. 보상과 벌칙을 먼저 혼합하는 대신, 모델이 각 규칙의 가치를 개별적으로 계산하고 개별적으로 정규화하도록 했습니다. 각 규칙이 독자적으로 공정하게 처리된 후에야 학습된 가중치를 사용하여 이들을 결합합니다. 이 단순한 전환은 숨겨진 간섭을 제거합니다. 신호를 마지막까지 분리된 상태로 유지함으로써, 모델은 특정 규칙에 대해 자신이 얼마나 개선되고 있는지 명확하게 파악할 수 있습니다. 결과적으로 학습 과정은 훨씬 더 안정적이고 예측 가능해졌습니다. 연구진은 이 새로운 방법을 세 가지 매우 다른 환경에서 테스트했습니다: 에이전트가 용암을 피하고 배터리를 관리해야 하는 간단한 그리드 기반 게임, 수천 개의 복잡한 교통 시나리오가 포함된 현실적인 자율주행 시뮬레이션, 그리고 초등 수준의 문장제 수학 문제를 포함한 수학적 추론 과제입니다.

그리드 기반 게임에서 새로운 방법은 에이전트가 훨씬 더 매끄럽게 학습할 수 있게 해주었습니다. 표준 방식은 에이전트를 지나치게 조심스럽게 만들어 용암을 너무 공격적으로 피하느라 거의 움직이지 못하게 만든 반면, 새로운 방식은 에이전트가 위험에 대한 가용 "예산"을 효과적으로 사용하여 목표에 도달하면서도 안전을 유지할 수 있게 했습니다. 자율 주행 시뮬레이션에서 새로운 접근 방식은 경로를 완수하는 능력이 뛰어날 뿐만 아니라 더 안전한 운전자를 만들어냈습니다. 새로운 방법으로 훈련된 모델은 신호를 먼저 혼합했던 이전 방식들에 비해 안전 준수 및 경로 진행 측면에서 더 높은 점수를 기록했습니다. 이 모델들은 전진하는 능력을 희생하지 않으면서도 충돌을 성공적으로 피하고 교통 법규를 준수했습니다. 이는 기존의 방법들이 유지하기 어려워했던 균형입니다.

마지막 테스트는 언어 모델이 수학 문제를 풀면서 동시에 답변이 짧고, 형식이 올바르며, 유효한 숫자를 포함하도록 가르치는 것이었습니다. 여기서도 새로운 방법은 다시 한번 우월함을 입증했습니다. 표준 혼합 방식을 사용해 훈련된 모델들은 답변을 더 짧게 만들거나 특정 형식을 맞추기 위해 정답을 희생하는 경우가 많았습니다. 반면, 새로운 방식은 모델이 형식을 갖추고 길이를 유지하면서도 수학적 정확성을 확보하는 데 우선순위를 두도록 보장했습니다. 15억 개의 파라미터를 가진 작은 모델부터 70억 개의 파라미터를 가진 더 큰 모델에 이르기까지, 이 새로운 접근 방식은 값비싼 추가 훈련 구성 요소 없이도 일관되게 더 정확한 결과를 만들어냈습니다.

이러 возника한 결과는 우리가 서로 다른 학습 신호를 결합하는 방식이 신호 그 자체만큼 중요하다는 것을 시사합니다. 컴퓨터가 보상과 규칙을 처리하는 순서를 바꾸는 것만으로도, 연구진은 제약 조건을 훨씬 더 신뢰성 있게 준수하는 시스템을 만들 수 있었습니다. 이 연구는 단순히 작은 개선을 제공하는 것이 아닙니다. 이는 규칙을 따르는 것이 목표를 달성하는 것만큼이나 중요한 실제 세계에서 인공지능이 안전하게 작동하도록 훈련하기 위한 더 명확한 경로를 제공합니다. 이 연구는 우리가 AI가 유능하면서도 안전하기를 원한다면, 성공을 측정하는 방식이 모델이 실제로 무엇을 해야 하는지에 대해 혼란을 주지 않도록 주의해야 함을 확인시켜 줍니다.

기술 요약: 제약 조건이 있는 그룹 상대 정책 최적화 (Constrained Group Relative Policy Optimization)

문제 정의

그룹 상대 정책 최적화(GRPO)는 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)을 미세 조정하는 데 있어, 특히 수학적 추론이나 체계적인 의사결정 도메인에서 지배적인 크리틱 프리(critic-free) 접근 방식으로 부상했습니다. GRPO는 단일 쿼리에 대해 샘플링된 여러 출력값들로부터 얻은 보상을 그룹 내 정규화를 통해 추정함으로써, 학습된 가치 함수(크리틱)의 필요성을 제거합니다.

그러나 특정 행동 임계값을 강제해야 하는 안전 필수(safety-critical) 도메인에서 필수적인 **제약 조건이 있는 정책 최적화(constrained policy optimization)**와 GRPO의 호환성 여부는 엄밀하게 검토된 바 없습니다. 기존의 다중 목적 GRPO 방식은 종종 보상 항에 수동으로 가중치를 부여하는 방식에 의존하는데, 이는 제약 마르코프 결정 과정(CMDP)의 원칙적인 프레임워크를 결여하고 있습니다. CMDP는 고정된 가중치가 아닌 명시적인 임계값을 통해 제약을 강제하며, 일반적으로 라그랑주 완화법(Lagrangian relaxation)을 사용합니다. 본 연구가 다루는 핵심 과제는 안정성을 해치거나 목적 함수 간의 의도된 트레이드오프를 왜곡하지 않으면서, 라그랑주 기반의 제약 강제 기법을 GRPO 프레임워크에 통합하는 것입니다.

방법론: 제약 조건이 있는 GRPO (Constrained GRPO)

저자들은 GRPO의 정책 최적화와 제약 조건 처리를 위한 라그랑주 완화법을 결합한 Constrained GRPO를 제안합니다. 이 방법은 지표 비용 함수(indicator cost functions)를 사용하여 행동 제약(예: 안전 위반)을 정의하고, 목표 행동률을 강제하기 위해 승수(multipliers)를 학습합니다.

결정적 실패 모드: 보상의 스칼라화 (Scalarizing Rewards)

GRPO를 라그랑주 방법과 결합하는 직관적인 접근 방식은 정규화 전에 보상을 스칼라화하는 것입니다. 이 접근 방식에서는 현재 라그랑주 승수( $\lambda$ )를 사용하여 보상과 비용 항을 하나의 스칼라 신호로 선형 결합한 뒤, 이를 그룹 내에서 표준화(평균 차감 및 표준 편차로 나눔)합니다.

본 논문은 이 접근 방식에서 발생하는 결정적인 실패 모드인 **공유 분모 결합(shared-denominator coupling)**을 식별합니다:

정규화 의존성: 표준화 분모(그룹 표준 편차, $\hat{\sigma}_{S_\lambda}$ )는 승수의 함수인 스칼라화된 신호에 의존합니다.
결합된 민감도: 단일 승수 $\lambda_k$ 를 변경하면 해당 제약의 가중치뿐만 아니라 모든 구성 요소(보상 및 기타 제약)에 대한 정규화 인자까지 변경됩니다.
결과: 이는 공분산 매개 결합(covariance-mediated coupling)을 유발하여, 제약의 유효 가중치가 모든 승수와 현재 배치 통계의 복잡하고 비선형적인 함수가 되도록 만듭니다. 이는 승수 역학을 불안정하게 만들어, 특정 페널티 승수를 높였음에도 불구하고 의도치 않게 보상 신호를 억제하거나 다른 제약을 억제하여 지정된 행동률을 효과적으로 강제하지 못하게 합니다.

제안된 해결책: 어드밴티지의 스칼라화 (Scalarizing Advantages)

이를 해결하기 위해 저자들은 보상이 아닌 표준화된 어드밴티지를 스칼라화할 것을 제안합니다. 절차는 다음과 같습니다:

구성 요소별 표준화: 각 보상과 비용 구성 요소를 그룹 내에서 독립적으로 표준화합니다(각 구성 요소의 평균을 빼고 표준 편차로 나눕니다).
$Z_{R,i} = \frac{R_i - \bar{R}}{\hat{\sigma}_R}, \quad Z_{C_k,i} = \frac{C_{k,i} - \bar{C}_k}{\hat{\sigma}_{C_k}}$
선형 결합: 그 후 표준화된 구성 요소들을 라그랑주 승수를 사용하여 최종 어드밴티지로 결합합니다.
$A_i = \lambda_R Z_{R,i} - \sum_{k=1}^K \lambda_k Z_{C_k,i}$

이론적 근거:
저자들은 민감도 분석(Theorem 4.1 및 Corollary 4.2)을 통해 어드밴티지를 스칼라화하면 공유 분모 결합이 제거됨을 보여줍니다. 소프트맥스 정규화된 승수는 여전히 구성 요소 간의 경쟁을 유발하지만(하나의 로짓을 높이면 다른 것의 질량이 감소함), 구성 요소들의 방향은 이미 정규화되어 있습니다. 결과적으로 프라이멀 업데이트(primal update)는 변경되는 정규화 분모의 혼란스러운 효과 없이 승수 변화에 직접 반응합니다. 이는 더 양호한 조건의 업데이트를 제공하며, 라그랑주 승수의 증가가 해당 제약의 강력한 강제로 확실하게 이어지도록 보장합니다.

주요 기여

프레임워크 도입: 지표 비용과 학습된 라그그랑주 승수를 통해 사용자 지정 행동 제약을 강제하는 정책 최적화 프레임워크인 Constrained GRPO를 도입하여, 수동적인 보상 가중치 튜닝의 필요성을 제거했습니다.
이론적 분석: 쌍대 변수(dual variables)의 변화에 따른 프라이멀 업데이트의 국소적 반응을 공식적으로 규명했습니다. 저자들은 정규화 전 보상을 스칼라화하는 것이 목적 함수의 유효 가중치를 왜곡하는 특정 결합을 유발하는 반면, 어드밴티지를 스별화하는 것은 이 문제를 피한다는 것을 증명했습니다.
실증적 검증: 세 가지 서로 다른 도메인에서 어드밴티지 스칼라화가 보상 스칼라화보다 더 안정적인 학습과 충실한 제약 준수를 이끌어냄을 입증했습니다.

실험 결과

저자들은 세 가지 벤치마크에서 Constrained GRPO를 평가했습니다.

1. 그리드월드 환경 (Gridworld Environment)

용암과 배터리 제약이 있는 제어된 10x10 그리드월드에서:

스칼라화된 어드밴티지: 안정적인 학습 곡선을 생성하였으며, 제약 위반율이 지정된 임계값(0.01)을 향해 자연스럽게 적응하도록 했습니다. 라그랑주 승수가 가용 비용 예산을 활용하도록 효과적으로 조정되었습니다.
스칼라화된 보상: 승수 값에 관계없이 학습 초기 단계에서 제약률을 거의 0에 가깝게 붕괴시켰습니다. 유효 가중치가 노이즈가 심해지고 학습된 승수와 결합이 해제되어 일관되지 않은 동작을 보였습니다.

2. NAVSIM-v2 (자율 주행)

안전 페널티(충돌, 주행 가능 영역 등)와 성능 지표를 집계하는 EPDMS를 사용하여 NAVSIM-v2 "Navhard" 분할에서 평가되었습니다.

성능: Constrained GRPO(스칼라화된 어드밴티지 방식)는 Stage 1(실제 장면)에서 가장 높은 EPDMS를 달enc성했으며, Stage 2(합성 장면)에서도 GRPO 베이스라인 중 두 번째로 높은 성적을 기록하며 unconstrained GRPO 변형들과 hard-constraint GRPO 베이스라인을 능가했습니다.
제약 준수: 승수가 제약 만족을 유도하지 못했던 스칼라화된 보상 방식과 달리, 스칼라화된 어드밴티지는 승수가 의도한 영향력을 행사할 수 있게 하여 제약 준수 능력을 빠르게 개선했습니다(예: DAC가 약 1000 스텝 내에 개선됨).
비교: 이 방법은 학습된 크리틱 없이도 unconstrained GRPO보다 우수한 성능을 보였으며, PPO-Lagrangian과 대등하거나 더 나은 성능을 보였습니다.

3. GSM8K (수학적 추론)

Qwen2.5-Instruct 모델(1.5B, 3B, 7B)을 사용하여 초등학교 수준의 수학 문제에 대해 평가되었습니다. 제약 조건에는 정확성, 형식 준수, 정수 유효성이 포함되었으며, 주요 보상은 길이를 최소화하는 것이었습니다.

정확성: Constrained GRPO(스칼라화된 어드van티지 방식)는 모든 규모에서 Multi-Objective GRPO(GDPO)보다 일관되게 높은 정확도를 보였습니다 (예: 3B에서 0.770 $\to$ 0.802; 7B에서 0.768 $\to$ 0.887).
트레이드오프: 이 방법은 모델이 정확성을 희생하면서 길이를 과도하게 최적화하는 현상(unconstrained 또는 가중치가 잘못 설정된 다중 목적 설정에서 흔히 발생하는 실패 모드)을 방지했습니다.
효율성: 1.5B 및 3B 규모에서 Constrained GRPO는 가치 함수를 학습시키는 계산 비용 없이 PPO-Lagrangian과 대등하거나 더 나은 성능을 달성했습니다.

의의 및 주장

본 논문은 Constrained GRPO가 대규모 모델의 안전 필수적 미세 조정을 위한 견고한 크리틱 프리 프레임워크를 제공한다고 주장합니다. 이 연구의 주요 의의는 GRPO의 그룹 내 정규화와 라그랑주 승수 사이의 미묘하지만 결정적인 상호작용을 식별하고 해결했다는 점에 있습니다.

저자들은 정규화 전에 보상을 스칼라화하는 관행이 학습된 승수와 실제 정책 업데이트 역학 사이의 연결을 끊는 공유 분모 결합을 유발하기 때문에, 제약 최적화를 위한 기본적으로 결함이 있다고 단언합니다. 어드밴티지를 스칼라화하는 방식으로 전환함으로써, 이 방법은 라그랑주 승수가 의도한 대로 작동하도록 보장합니다. 즉, 목적 함수와 제약 사이의 트레이드오프를 직접 제어하게 함으로써, 값비싼 크리틱 모델이나 수동적인 보상 가중치 조절 없이도 더 안정적인 학습, 신뢰할 수 있는 안전 임계값 준수, 그리고 향상된 작업 성능을 이끌어냅니다.