🤖 AI

GRPO is Secretly a Process Reward Model

본 논문은 결과 보상 모델을 사용하는 그룹 상대적 정책 최적화 (GRPO) 가 과정 보상 모델과 동등함을 이론적으로 증명하고, 불균형 단계 처리에 있는 결함을 규명하며, 명시적인 과정 보상 모델을 요구하지 않으면서 추론 성능과 학습 효율성을 크게 향상시키는 간단한 수정안 ( $\lambda$ -GRPO) 을 제안한다.

원저자: Michael Sullivan, Alexander Koller

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael Sullivan, Alexander Koller

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"GRPO 는 비밀리에 프로세스 보상 모델이다"라는 논지에 대한 설명을 일상적인 비유와 함께 간단한 개념으로 분해하여 제시합니다.

핵심 아이디어: 레시피에 숨겨진 '비밀 재료'

복잡한 수학 문제를 해결하도록 로봇을 가르친다고 상상해 보세요. 로봇에게 프롬프트를 주면, 로봇은 해결책을 단계별로 작성해 보려고 합니다.

보통 로봇을 평가하는 두 가지 방법이 있습니다:

최종 성적 (결과 보상): 마지막 결과만 봅니다. 정답을 맞혔나요? 맞으면 +10 점, 틀리면 0 점입니다. 이는 학생이 문제를 푸는 과정을 무시하고 시험 점수만 보는 교사와 같습니다.
단계별 성적 (프로세스 보상): 모든 단계를 평가합니다. "방정식 세우기 잘했네", "여기 부호를 잘못 썼네"라고 말합니다. 이는 모든 줄을 사람이 (또는 똑똑한 AI 가) 확인해야 하므로 더 어렵습니다.

논지의 발견:
저자들은 GRPO(Group Relative Policy Optimization, 그룹 상대적 정책 최적화) 라는 인기 있는 학습 방법이 사실은 첫 번째 일 (최종 성적) 만 하도록 설계되었음에도 불구하고, 실수로 두 번째 일 (단계별 성적) 을 하고 있다는 사실을 발견했습니다.

저자들은 이를 '프로세스 보상 모델 (PRM)'이라고 부르지만, GRPO 는 '비밀스럽게' 그 역할을 한다고 말합니다. 마치 요리사가 케이크를 굽는다고 생각하지만, 자신이 모르고 있는 비밀 재료를 사용해 케이크가 완벽하게 부풀어 오르게 만드는 것과 같습니다.

'비밀'이 작동하는 방식: 그룹 채팅 비유

GRPO 가 어떻게 단계별로 비밀스럽게 평가하는지 이해하려면, 같은 수수께끼를 풀려고 하는 학생들 (한 '그룹') 이 있는 교실을 상상해 보세요.

준비: 교사가 질문을 던집니다. 다섯 명의 학생이 답을 적습니다.
중복:
- 학생 A 는 씁니다: "먼저, 2 를 더하고..."
- 학생 B 는 씁니다: "먼저, 2 를 더하고..."
- 학생 C 는 씁니다: "먼저, 2 를 더하고..."
- 학생 D 는 씁니다: "먼저, 5 를 곱하고..."
- 학생 E 는 씁니다: "먼저, 5 를 곱하고..."
학생 A, B, C 는 동일한 첫 번째 단계 ("2 를 더하기") 를 공유합니다. 학생 D 와 E 는 서로 다른 첫 번째 단계를 공유합니다.
비밀 평가:
- 그룹의 최종 답이 좋으면, 교사는 전체 그룹에 높은 점수를 줍니다.
- A, B, C 가 동일한 첫 번째 단계를 공유했기 때문에, 알고리즘은 이렇게 깨닫습니다: "이 특정 단계 ('2 를 더하기') 는 이 세 사람에게 좋은 결과를 가져오는 것 같네."
- 그런 다음 이 특정 단계를 사용한 모든 사람에게 '보너스'를 줍니다.
- 반대로 그룹이 실패하고 D 와 E 가 모두 "5 를 곱하기"로 시작했다면, 알고리즘은 그 단계가 위험하다고 판단하고 페널티를 줍니다.

결과: 교사는 최종 답만 보았지만, 알고리즘은 성공적인 그룹에서 어떤 단계들이 함께 나타났는지 관찰함으로써 어떤 단계가 좋고 어떤 것이 나쁜지 효과적으로 파악했습니다.

문제점: '불공평한 군중'

저자들은 이 비밀 메커니즘에 결함이 있음을 발견했습니다. 군중이 균형 잡혀 있을 때는 잘 작동하지만, 불균형할 때는 무너집니다.

비유:
특정 아이디어에 투표한 사람의 수를 세는 투표 시스템을 상상해 보세요.

상황: 학급의 90% 가 "2 를 더하기"로 시작하고, 10% 만 "5 를 곱하기"로 시작합니다.
결함: "2 를 더하기" 그룹이 평균보다 약간 낮은 점수를 받으면, 알고리즘은 "5 를 곱하기" 단계를 처벌하는 것보다 "2 를 더하기" 단계를 90 배 더 강하게 처벌합니다. 단순히 그 단계를 수행하는 사람이 너무 많기 때문입니다.
결과: 로봇은 "2 를 더하기" 경로가 실제로는 좋은 경로임에도 불구하고, '군중'이 너무 크고 약간 나쁜 점수를 받았다는 이유만으로 해당 경로를 완전히 시도하지 않을 수 있습니다. 숫자가 왜곡되면 새로운 경로를 탐색하거나 좋은 경로에 머무르는 것을 두려워하게 됩니다.

해결책: $\lambda$ -GRPO ('공정성 필터')

저자들은 $\lambda$ -GRPO라는 간단한 해결책을 제안했습니다.

비유:
모든 표를 동등하게 세는 대신, '공정성 필터'를 추가합니다.

어떤 단계가 매우 인기가 많다면 (많은 학생이 수행했다면), 필터는 "좋아, 점수를 사람 수로 나누자"라고 말합니다.
어떤 단계가 드물다면, 필터는 "좋아, 이 하나에 더 많은 가중치를 주자"라고 말합니다.

이를 통해 각 단계가 특정 그룹에서 우연히 수행된 사람의 수에 따라 평가되는 것이 아니라, 그 자체의 가치에 따라 평가되도록 보장합니다. 알고리즘이 군중의 크기에 의해 괴롭힘을 당하지 않도록 막아줍니다.

결과: 더 빠르고 더 똑똑함

저자들은 이 해결책을 실제 수학 문제로 테스트했습니다:

더 나은 성능: 수정된 모델 ( $\lambda$ -GRPO) 은 표준 모델보다 수학 추론 작업에서 더 높은 점수를 받았습니다.
더 빠른 학습: 그들은 절반의 시간(더 적은 학습 단계) 에 최고 성능에 도달했습니다.
추가 비용 없음: 모든 단계를 평가하기 위해 비싼 사람을 고용할 필요가 없었습니다. 기존 알고리즘의 수학을 조정하기만 했습니다.

요약

이 논문은 인기 있는 AI 학습 방법 (GRPO) 이 사실은 처음부터 비밀리에 단계별 평가자처럼 행동하고 있었음을 밝힙니다. 그러나 불균형한 그룹에 혼란을 겪는 버그가 있었습니다. 저자들은 간단한 수학적 조정 ( $\lambda$ -GRPO) 으로 이 버그를 수정하여, 추가적인 비싼 도구가 필요 없이 AI 가 추론 작업을 더 빠르고 더 잘 학습하도록 만들었습니다.

기술 요약: GRPO 는 비밀리에 프로세스 보상 모델이다

문제 제기

대형 언어 모델 (LLM) 에 대한 강화 학습 (RL) 은 종종 전체 트래젝토리에 단일 스칼라 보상을 부여하는 결과 보상 모델 (ORM) 에 의존합니다. 프로세스 보상 모델 (PRM) 은 중간 단계를 보상함으로써 더 세분화된 신용 할당을 제공하지만, 명시적인 신경망 PRM 을 학습시키는 데는 비용이 많이 드는 단계별 인간 주석이 필요하며 보상 해킹에 취약합니다. 결과적으로 많은 성공적인 RL 응용, 특히 수학 추론 분야에서 전통적인 PPO 에서 사용되는 크리틱 모델과 일반화 이점 추정 (GAE) 을 제거한 그룹 상대 정책 최적화 (GRPO) 를 활용합니다.

그러나 GRPO 가 단계별 신호를 어떻게 처리하는지에 대한 이해에는 중요한 간극이 존재합니다. GRPO 는 일반적으로 결과 수준의 알고리즘으로 간주되지만, 이것이 암시적으로 프로세스 수준의 신용 할당을 수행하는지 여부는 명확하지 않습니다. furthermore, 그러한 암시적 할당이 존재한다면, 프로세스 단계의 빈도나 보상이 불균형할 때 탐색과 활용에 부정적인 영향을 미치는 표준 GRPO 목적 함수에 내재된 결함이 있는지도 알려져 있지 않습니다.

방법론

이론적 동등성

저자들은 ORM 을 갖춘 표준 GRPO 가 비자명한 몬테카를로 기반 PRM 을 갖춘 PRM 인지 RL 목적 함수와 수학적으로 동등하다는 이론적 증명을 제공합니다.

암시적 프로세스 단계: 저자들은 훈련 그룹 $G$ 내의 동일한 접두사를 공유하는 트래젝토리의 부분집합을 "프로세스 집합"( $\lambda$ ) 으로 정의합니다. 이러한 공유 접두사는 자연스럽게 프로세스 단계 (부분 트래젝토리) 를 정의합니다.
암시적 PRM 구성: 그들은 각 트래젝토리를 일련의 프로세스 단계로 매핑하는 함수 $f$ 를 구성합니다. 특정 프로세스 단계에 할당된 보상은 해당 특정 접두사를 공유하는 그룹 내 모든 트래젝토리의 평균 결과 보상 (몬테카를로 추정치) 입니다.
동등성 증명: 약한 가정 하에 (특히 토큰 수준 정책 기울기 목적 함수와 배치당 단일 업데이트 반복을 사용하는 경우), 저자들은 표준 GRPO 손실 함수 ( $L_{GRPO}$ ) 가 이러한 암시적 단계별 보상에 상대적인 이점을 계산하는 PRM 인지 손실 함수 ( $L_{PRM}$ ) 와 동일함을 증명합니다.

결함 식별

분석은 불균형한 프로세스 단계 빈도와 관련된 표준 GRPO 목적 함수의 결함을 드러냅니다.

표준 공식에서 프로세스 단계가 총 손실에 기여하는 정도는 해당 단계를 공유하는 트래젝토리 수 ( $|\lambda|$ ) 에 의해 스케일링됩니다.
프로세스 단계가 음의 이점 (즉, 평균 보상이 그룹 평균보다 낮음) 을 가지지만 많은 트래젝토리에 의해 공유되는 경우, 벌칙은 $|\lambda|$ 에 의해 증폭됩니다. 이는 해당 단계를 생성할 확률을 불균형하게 억제하여, 다른 트래젝토리와 낮은 보상의 접두사를 공유하게 된 고보상 트래젝토리의 탐색을 방해할 수 있습니다.
반대로, 단계가 양의 이점을 가지면 보상 신호가 증폭되어 대체 경로 탐색을 방해할 수 있습니다.

제안된 해결책: $\lambda$ -GRPO

이 결함을 완화하기 위해 저자들은 GRPO 손실 함수에 대한 간단한 수정인 $\lambda$ -GRPO를 제안합니다.

메커니즘: 토큰 $y^{(i)}_t$ 에 대한 토큰 수준 손실은 해당 프로세스 집합의 크기의 역수인 $|\lambda(i,t)|^{-1}$ 로 스케일링됩니다.
효과: 이 정규화는 표준 목적 함수에서 발견되는 빈도 스케일링 인자 $|\lambda|$ 를 상쇄합니다. 결과적으로 각 프로세스 집합은 해당 접두사를 공유하는 트래젝토리 수와 관계없이 주어진 인덱스에서 손실에 동등하게 기여합니다. 이는 알고리즘이 그룹 내 빈도만으로 인해 단계를 과도하게 벌하거나 과도하게 보상하는 것을 방지합니다.

주요 결과

암시적 PRM 의 실증적 검증

저자들은 "숨겨진"PRM 구조가 실제 환경에서 비자명함을 실증적으로 검증했습니다.

OpenRS 수학 추론 데이터셋을 사용하여 훈련 중 트래젝토리 접두사로 형성된 트리 구조 ( $B(G)$ ) 를 분석했습니다.
결과는 그룹 크기가 6 과 36 일 때, 생성된 그룹의 99% 이상이 비자명한 프로세스 보상을 유도했음을 보여주었습니다 (즉, 접두사가 상당히 겹쳤음).
훈련이 진행되고 모델이 수렴함에 따라 이러한 접두사 구조의 복잡성 (경로 깊이) 과 중간 단계에 관여하는 토큰의 비율이 급격히 증가했습니다.

합성 작업에서의 성능

"반탐색"가설을 테스트하도록 설계된 합성 이진 트리 환경에서:

표준 GRPO 는 해당 경로가 낮은 보상 경로와 접두사를 공유할 때 (증폭된 음의 이점으로 인해) 최대 보상 목표 경로에 수렴하는 데 어려움을 겪었습니다.
$\lambda$ -GRPO 는 접두사 길이와 음의 보상 값의 다양한 구성에서 목표 경로에 더 일관되게 수렴했습니다.

하류 추론 벤치마크

저자들은 OpenRS 데이터셋에서 DeepSeek-R1-Distill-Qwen-1.5B 와 Llama-3.2-1B-Instruct 모델을 미세 조정하고 다섯 가지 추론 벤치마크 (AIME24, MATH-500, AMC23, Minerva, OlympiadBench) 에서 평가했습니다.

정확도: $\lambda$ -GRPO 모델은 20 개 특정 작업/모델 구성 중 15 개에서 표준 GRPO 모델보다 우수한 성능을 보였습니다.
효율성: $\lambda$ -GRPO 모델은 표준 GRPO 가 필요한 훈련 단계 수의 절반 미만으로 피크 검증 정확도에 도달했습니다.
가속: 저자들은 정규화 계산에 대한 계산 오버헤드는 무시할 수 있으면서도, 피크 성능 도달까지의 단계 수 측면에서 약 2 배의 훈련 속도 향상을 보고했습니다.

중요성과 주장

본 논문은 표준 GRPO 알고리즘이 결과 수준 보상과 트래젝토리 겹침에서 파생된 풍부하고 내재된 PRM 구조를 이미 보유하고 있다고 주장합니다. 이 작업의 중요성은 세 가지 주요 영역에 있습니다:

이론적 통찰: GRPO 를 신비화하지 않고, 이것이 단순히 결과 수준 알고리즘이 아니라 몬테카를로 추정을 통해 구조화된 단계별 보상을 암시적으로 최적화하는 것임을 증명합니다.
알고리즘적 개선: 빈도 불균형과 관련된 표준 목적 함수의 특정 수학적 결함을 식별하고, 성능을 크게 향상시키는 계산적으로 저렴한 해결책 ( $\lambda$ -GRPO) 을 제시합니다.
실용적 영향: 명시적인 신경망 PRM 학습 비용이나 단계별 인간 주석 수집 없이 고품질 단계별 신용 할당을 달성할 수 있음을 보여줍니다. 암시적 구조를 활용함으로써 실무자는 추가 비용이 거의 들지 않으면서 추론 능력과 훈련 효율성을 향상시킬 수 있습니다.

저자들은 향후 연구가 비싼 명시적 PRM 에만 의존하기보다 이러한 암시적 단계별 신호를 활용해야 한다고 결론지었습니다.