기술 요약: VeriGate (GRPO를 위한 검증기 게이팅 단계별 감독 방식)

1. 문제 정의

Group Relative Policy Optimization (GRPO)는 검증기 기반의 결과 보상(outcome rewards)을 사용하여 대규모 추론 모델(LRM)을 학습시키는 효과적인 방법으로 부상했습니다. 그러나 저자들은 표준 GRPO가 복잡한 추推理 작업에서 성능을 저해하는 두 가지 결정적인 한계를 식별했습니다:

1. 제로 그래디언트 붕괴 (보상 퇴화, Zero-Gradient Collapse/Reward Degeneracy): GRPO는 그룹 상대적 이점(group-relative advantages)에 의존합니다. 주어진 프롬프트에 대해 샘플링된 모든 궤적(trajectory)이 동일한 검증기 보상(예: 모두 틀려서 보상이 0인 경우)을 받으면, 그룹 상대적 이점이 0으로 붕괴됩니다. 이러한 "퇴화된" 배치에서는 보상 기반의 학습 신호가 사라지고 KL 정규화 항만 남게 됩니다. 이는 모델에 가장 많은 가이드가 필요한 어려운 프롬프트에서 학습이 정체되게 만듭니다.
2. 단계별 신용 할당(Credit Assignment)의 부재: 결과 전용 보상은 전체 추론 궤적에 단일 스칼라 값을 할당합니다. 결과적으로, 정답인 솔루션의 모든 토큰은 동일한 양(+)의 이점을 받고, 오답인 솔루션의 모든 토큰은 동일한 음(-)의 이점을 받습니다. 이는 모델이 진정으로 유용한 추론 단계와 부차적이거나 가짜인 단계를 구분하는 것을 방해하며, 탐색 능력과 견고한 추론 과정을 학습하는 능력을 제한합니다.

프로세스 보상 모델(PRM)은 더 조밀한 단계별 감독을 제공하지만, 이를 GRPO에 성급하게 통합하면 새로운 위험을 초래할 수 있습니다:

• 보상 해킹 (Reward Hacking): PRM은 고유한 편향을 가진 학습된 모델입니다. 집계된 PRM 점수(이를 결과 보상처럼 취급)를 직접 최적화하면, 정책이 실제 정확도를 개선하는 대신 PRM이 선호하는 패턴을 악용하도록 유도할 수 있습니다.
• 취약한 집계 (Brittle Aggregation): 단계별 점수를 하나의 궤적 스칼라로 압축하는 방식(예: 곱 또는 최솟값 사용)은 단 하나의 단계라도 잘못 측정될 경우 유효한 보상을 왜곡하여 미세한 신용 할당 기능을 상실하게 만듭니다.
• 검증기 권위의 상실 (Loss of Verifier Authority): 신뢰할 수 있는 검증기 신호를 불완전한 PRM 신호로 대체하면, 검증기가 신뢰할 수 있는 작업에서 성능이 저하될 수 있습니다.

2. 방법론: VeriGate

저자들은 검증기 신호가 유익하지 않을 때만 GRPO에 프로세스 감독을 통합하는 방식인 VeriGate(Verifier-Gated Step-Level GRPO)를 제안합니다. 이 접근 방식은 세 가지 핵심 설계 선택을 기반으로 합니다:

S1: 검증기 게이팅 감독 (Verifier-Gated Supervision)

VeriGate는 샘플링된 그룹 내 검증기 보상의 유익성을 기반으로 하는 동적 전환 메커니즘을 구현합니다:

• 유익한 검증기 (Informative Verifier): 프롬프트에 대해 샘플링된 궤적들이 혼합된 검증기 보상(일부는 정답, 일부는 오답)을 생성하는 경우, VeriGate는 표준 GRPO와 정확히 동일하게 작동하며 검증기 신호에만 의존합니다.
• 퇴화된 검증기 (Degenerate Verifier): 샘플링된 모든 궤적이 동일한 검증기 보상(특히 모두 0인 경우)을 받는 경우, 표준 GR포의 이점은 붕로됩니다. 이 특정 경우에만 VeriGate는 폴백(fallback) 메커니즘으로서 PRM 기반의 토큰 수준 감독을 활성화합니다.
• 근거: 이는 검증기가 정답 여부를 구별할 수 있을 때는 검증기의 신뢰성을 보존하고, 검증기가 학습 신호를 제공하지 못하는 어려운 프로ンプ트에서만 불완전한 PRM을 사용하도록 제한합니다.

S2: 미래 누적 토큰 보상 (Future-Cumulated Token Rewards, FCTR)

단계별 점수를 하나의 궤적 수준 스칼라로 압축하여 신용 할당을 취약하게 만드는 대신, VeriGate는 단계 점수를 미래 누적 보상으로 변환합니다.

• 단계 $j=1 \dots S$를 가진 궤적에 대해, 단계 $j$의 보상은 단계 $j$부터 궤적 끝까지의 PRM 점수의 합으로 정의됩니다: $c_{i,j} = \sum_{k=j}^{S} r_{i,k}$.
• 이 설계는 토큰이 즉각적인 단계의 품질뿐만 아니라, 그 토큰이 가능하게 하는 *지속(continuation)*의 품질에 대해서도 신용을 부여합니다. 이는 로컬 PRM 노이즈를 완화하고 초기 토큰이 다운스트림의 올바른 추론을 가능하게 한 것에 대해 보상받도록 보장합니다합니다.

S3: 그룹 정규화된 토큰 수준 이점 (Group-Normalized Token-Level Advantages)

이 조밀한 보상을 절대적 보상 해킹을 재발시키지 않고 GRPO 프레임워크에 통합하기 위해, VeriGate는 미래 누적 보상을 그룹 정규화된 토큰 수준 이점으로 변환합니다.

• 단계 $j$의 궤적 $i$에 있는 토큰의 이점은 다음과 같이 계산됩니다: $A_{i,j} = \frac{c_{i,j} - \bar{c}}{\sigma(c)}$, 여기서 $\bar{c}$는 평균이고 $\sigma(c)$는 샘플링된 그룹 내의 모든 미래 누적 보상의 표준 편차입니다.
• 강건성 속성: 저자들은 이 이점들이 PRM 보상의 프롬프트별 양의 아핀 변환($c' = a \cdot c + b$)에 대해 불변임을 증명합니다(Proposition 3.1). 이는 정책이 PRM 점수를 균일하게 이동시키거나 재조정(흔히 발생하는 보상 해킹의 형태)하도록 학습하더라도, 정규화된 이점은 변하지 않아 정책이 이러한 인위적 현상을 악용하는 것을 방지함을 의미합니다.

3. 주요 기여

1. 검증기 게이팅 프로세스 감독: 유익한 경우에는 표준 검증기 업데이트를 유지하고, 모든 0의 검증기 그룹에 대해서만 PRM 기반의 토큰 수준 감독으로 전환하는 GRPO의 간단한 확장 기능을 제공합니다.
2. 지속 인지적 신용 할당 (Continuation-Aware Credit Assignment): 미래 누적 보상과 그룹 정규화된 이점을 사용하는 새로운 메커니즘을 통해, 단계 점수를 단일 스칼라로 붕괴시키지 않고도 조밀한 단계별 학습 신호를 제공합니다.
3. 보상 해킹 저항성 감소: VeriGate의 정규화된 이점 공식이 PRM 보상의 아핀 변환에 불변이라는 이론적 및 경험적 증거를 제시하여, 집계된 PRM 점수를 최적화하는 방식보다 불완전한 PRM 신호에 대한 과최적화를 제한합니다.
4. 경험적 이득: 여러 벤치마크에서 결과 전용 GRPO 및 PRM-as-outcome 베이스라인 대비 향상된 추론 정확도와 zero-gradient 실패 감소를 입증했습니다.

4. 실험 결과

저자들은 MATH 및 GSM8K 데이터셋에서 훈련된 Qwen2.5-Instruct 모델(1.5B 및 7B 파라미터)을 사용하여 VeriGate를 평가하였으며, 6개의 추론 벤치마크(GSM8K, MATH-500, AMC, AIME-24, MinervaMath, OlympiadBench)에서 평가를 수행했습니다.

• 정확도 향상: VeriGate는 1.5B 모델에서 약 20%, 7B 모델에서 **12%**의 평균 정확도 향상을 결과 전용 GRPO 및 PRM-as-outcome 베이스라인 대비 달성했습니다.
• 제로 그래디언트 완화: 이 방법은 훈련 후 검증기 보상을 0으로 받는 프롬프트의 비율을 실질적으로 줄였으며, 이는 더 나은 탐색과 퇴화된 학습 체제에서의 탈출을 나타냅니다.
• 보상 해킹 저항성:
  • 정량적 분석: PRM 점수는 상승하지만 검증기 점수는 정체되는(해킹을 나타내는) PRM-as-ORM과 달리, VeriGate는 검증기와 PRM 보상이 정렬되어 함께 성장함을 보여주었습니다.
  • 정성적 분석: "해킹된" 응답(높은 PRM 점수, 낮은 검증기 점수) 분석 결과, PRM-as-ORM 모델은 구조적으로는 그럴듯하지만 논리적으로 결함이 있는 장황한 추론을 생성하는 경향이 있었습니다. 반면 VeriGate는 정답으로 이어지는 일관된 추론 궤적을 생성했습니다.
  • 교차 PRM 검증: 훈련에 사용된 PRM과 다른 외부 PRM(Math-Shepherd)으로 평가했을 때, VeriGate는 높은 성능을 유지한 반면 PRM-as-ORM의 성능은 크게 떨어졌습니다. 이는 VeriGate가 특정 PRM의 특이성에 과적합되는 것이 아니라 실제 추론을 학습함을 시사합니다.
• 어블레이션 연구 (Ablations): 검증기 게이트나 미래 누적 메커니즘을 제거하면 성능이 크게 하락하여, 두 설계 선택의 유효성을 입증했습니다.

5. 의의 및 주장

본 논문은 VeriGate가 검증기 기반 보상의 신뢰성을 희생하지 않으면서도 어려운 추론 문제에 대한 GRPO의 근본적인 약점을 해결하는 "간단한 드롭인 수정(drop-in modification)"을 제공한다고 주장합니다.

• 신뢰성: 게이팅을 통해 검증기가 가능한 한 학습을 주도하도록 보장하며, PRM은 퇴화된 경우에만 회복 메커니즘으로 사용합니다.
• 강건성: 미래 누적 보상에서 유도된 중심화되고 정규화된 이점을 사용하여, PRM 보상의 흔한 유형인 아핀 변환에 대한 수학적으로 근거 있는 방어 체계를 제공합니다.
• 추론 품질: 결과는 VeriGate가 단순히 특정 보상 모델의 선호도를 최적화하는 것이 아니라, 추론의 질(충실한 단계별 도출)을 개선함을 시사합니다.

저자들은 이 방법이 여전히 PRM의 가용성과 품질에 의존하며, 모델의 불량한 단계 분할이 신용 할당을 약화시킬 수 있다는 한계를 인정했습니다. 또한 현재 실험이 수학적 추론에 집중되어 있으므로 코드 생성이나 도구 사용과 같은 다른 도메인에 대한 광범ening한 평가가 필요하다고 언급했습니다. 그럼에도 불구하고, 이 연구는 이론적으로 견고하고 경험적으로 효과적인 방식으로 RLVR에 조밀한 프로세스 감독을 통합하는 프레임워크를 구축했습니다.