기술 요약: 예측 가능한 GRPO: 훈련 역학의 폐쇄형 모델

문제 정의

그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)는 검증 가능한 보상(RLVR)을 통한 대규모 언어 모델(LLM)의 추론 능력 향상을 위한 표준적인 메커니즘이 되었으나, 그 기저에 깔린 훈련 역학은 여전히 상당 부분 경험적인 영역에 머물러 있다. 현재의 이해는 보상 궤적을 저매개변수 함수 형태(예: 단일 지수 포화 모델)에 맞추는 것에 의존하고 있으며, 여기서의 상수들은 기계적인 의미를 결여하고 있다. 결과적으로 하이퍼파라미터 선택은 시행착오의 문제로 남아 있으며, 보상 해킹(reward hacking), 어드밴티지 퇴화(advantage degeneracy), 정책 집중(policy concentration)과 같은 서로 다른 실패 모드들이 표준적인 보상 곡선 분석에서는 혼재되어 나타난다. 본 논문은 GRPO 훈련 역학을 설명하고, 측정 가능한 양과 연결된 반증 가능한 예측을 제공하는 제1원리 기반의 기계적 모델의 필요성을 다룬다.

방법론

저자들은 세 가지 모델(Nemotron-Mini-4B, DeepSeek-LLM-7B-Chat, DeepSeek-R1-Distill-Qwen-1.5B)과 두 가지 그룹 크기($G \in \{4, 16\}$)에 걸친 이론적 유도 및 경험적 검증을 통해 GRPO 훈련 역학의 차수 축소 모델(reduced-order model)을 개발한다.

이론적 프레임워크

핵심적인 이론적 기여는 이산적인 GRPO 업데이트 규칙을 연속 시간의 확률적 강제력을 받는 감쇠 진동자(stochastically-forced damped oscillator)로 축소하는 것이다. 이 유도는 다음 두 단계에 기초한다:

1. 평균장 가정(Mean-Field Assumption): 정책은 기대 보상 $p(\theta) = \mathbb{E}_{o \sim \pi_\theta}[R]$이라는 스칼라 질서 매개변수로 요약된다. 이는 역학이 이 기대값의 진화에 의해 지배된다고 가정하며, 선행 연구(Mroueh, 2025)로부터 안정적인 고정점 $p^\star$의 존재와 수축 성질을 가져온다.
2. 2차 전개(Second-Order Expansion): 모멘텀($\mu$)과 오프-폴리시 지연($\tau = K_{ref}\delta$)을 포함하는 이산적 업데이트를 단계 크기 $\delta$와 리프레시 지연 $\tau$에 대해 2차까지 전개한다.
   • 모멘텀은 그래디언트 흐름을 2차 시스템으로 촉진하여 관성을 공급한다.
   • 오프-폴리시 지연(지연된 정책 리프레시)은 추가적인 관성을 도입하지만 감쇠를 약화시킨다.
   • **그룹 크기($G$)**는 오직 노이즈 온도로서 시스템에 작용하며, 확률적 강제력의 강도를 조절한다.

결과적인 오차 $e = p - p^\star$에 대한 운동 방정식은 다음과 같다:
$$M_{eff} \ddot{e} + C_{eff} \dot{e} + K_{eff} e = \sqrt{D/G} \xi(t)$$
여기서 유효 질량($M_{eff}$), 감쇠($C_{eff}$), 강성($K_{eff}$)은 옵티마이저 하이퍼파라미터($\eta, \mu$), 리프레시 간격($K_{ref}$), 그리고 유효 포텐셜의 곡률 척도($K$)에 의해 폐쇄형으로 정의된다.

실험 프로토콜

저자들은 다음을 사용하여 모델을 검증한다:

• 훈련: 이진 검증 가능 보상을 사용하는 GSM8K 데이터셋에서의 GRPO.
• 진단: 역학적 불안정성과 평균장 가정이 무너지는 현상을 구분하기 위해 내부 양(어드밴티지 분산, 정책 엔트로피, KL 발산, 그래디언트 노름, 중요도 샘플링 비율)을 기록함.
• 평評価: 인-디스트리뷰션(GSM8K) 및 초등 수준부터 올림피아드 수준의 수학까지 8개의 수학 벤치마크에 대한 아웃-오브-디스트리뷰션 전이.
• 정확한 축소(Exact Reduction): 평균장 가정이 정확히 성립하는 제어된 소프트맥스-밴딧 실험. 이는 딥 네트워크 근사 오류 없이 안정성 임계값과 진동 전이를 테스트하는 데 사용된다.

주요 기여

1. GRPO 역학의 차수 축소 모델

본 논문은 GRPO를 감쇠 진동자로 설명하는 폐쇄형 확률 미분 방정식(정리 7)을 유도한다. 계수들은 명시적으로 정의된다:

• 질량 ($M_{eff}$): 모멘텀과 오프-폴리시 지연에 의해 결정된다.
• 감쇠 ($C_{eff}$): 모멘텀과 오프-폴리시 지연에 의한 침식에 의해 결정된다.
• 강성 ($K_{eff}$): KL 앵커링 가중치와 보상 지형의 국소 곡률에 의해 결정된다.

2. 경험적 법칙의 기계적 재해석

모델은 경험적으로 관찰되는 단일 지수 포화 법칙을 유도된 진동자의 **과감쇠 한계(overdamped limit)**로 통합한다.

• 경험적인 "플래토(plateau)"는 고정점 $p^\star$로 식별된다.
• 경험적인 "타임스케일"은 역강성($1/K_{eff}$)으로 식별된다.
• 단일 지수 모델은 포착할 수 없는 훈련 곡선의 "느린 시작(slow-start)" 단계는 잔류 관성 항(명제 14)에 의해 설명되며, 이는 느린 시작, 급격한 상승, 플래토의 3단계 궤적을 예측한다.

3. 반증 가능한 예측 및 진단

모델은 사후적으로 피팅된 상수가 아닌, 독립적으로 측정 가능한 양과 연결된 예측을 제공한다:

• 그룹 크기 불변성: 결정론적 궤적은 $G$와 독립적이며, $G$는 오직 정상 상태 변동 폭($\propto 1/G$)에만 영향을 미친다.
• 안정성 임계값: $K \eta K_{ref} > 1 - \mu$일 때 불안정성으로의 급격한 전이가 발생한다.
• 과감쇠-진동 전이: 리프레시 간격 $K_{ref}$를 스윕하면 단조 수렴에서 감쇠 진동으로의 전이가 유도되어야 한다.
• 실패 모드 분리: 저자들은 다음을 구별하기 위해 네 가지 진단 도구를 정형화한다:
  • 훈련-평가 디커플링 (보상 해킹): 훈련과 평가의 포화율 사이의 괴리.
  • 어드밴티지 퇴화: $0/0$ 어드밴티지를 초래하는 그룹 내 보상 분산의 붕괴.
  • 정책 집중: 보상이 계속 상승하는 동안 정책 엔트로피가 급격히 감소함.
  • 역학적 불안정성: 그래디언트 노름 또는 중요도 샘플링 비율의 무한한 증가.

결과

경험적 검증

• 곡선 피팅: 세 가지 모델과 두 가지 그룹 크기에 대해, 유도된 3단계 법칙은 $R^2 \ge 0.91$의 높은 적합도로 훈련 보상 궤적을 피팅한다. 관성 항을 포함하는 것이 단일 지수 모델보다 특히 초기 느린 시작 단계를 포착하는 데 있어 성능을 크게 개선한다.
• 그룹 크기 불변성: $G$를 4에서 16으로 늘려도 평균 궤적과 피팅된 플래토($R_\infty$)는 거의 변하지 않았으며, 실행 간 산포(scatter)만을 줄였다. 이는 $1/G$ 노이즈 스케일링 예측을 확인시켜 준다.
• 아웃-오브-디스트리뷰션 전이: GSM8K에서의 GRPO 훈련은 8개의 외부 벤치마크로 긍정적으로 전이되었다. 이득은 훈련 분포와 가까운 벤치마크(예: GSM-Plus)에서 가장 컸으며, 거리가 먼 고난도 과제(예: AIME-2026)에서는 감소했다. 추론 능력이 증류된 모델이 가장 견고한 전이를 보였다.
• 안정성 및 진동: 표준 GSM8K 실행(작은 학습률)에서 모든 모델은 안정적인 과감쇠 영역에 머물렀다. 그러나 정확한 소프트맥스-밴딧 축소 실험에서, 저자들은 $K_{ref}$를 스윕함으로써 예측된 과감뎀-진동 전이를 성공적으로 유도했다. 경험적 안정성 임계값은 독립적으로 측정된 강성 $K$를 사용하여 $K \eta K_{ref} = 1 - \mu$라는 이론적 예측과 일치했다.

진단 결과

• 보상 해킹: $G=4$인 DeepSeek-LLM-7B-Chat 모델은 보상 해킹(훈련-평가 디커플링)의 징후를 보였으나, $G=16$인 추론 증류 Qwen-1.5B는 건강한 결합을 유지했다.
• 모드 붕괴: 진단 도구는 어드밴티지 구성이 퇴화하거나(붕괴된 프롬프트), 정책 집중이 평균장 가정을 침식하는 경우를 성공적으로 식별하여, 이를 단순한 역학적 불안정성과 구분해 냈다.

의의 및 주장

본 논문은 하이퍼파라미터 튜닝을 "예술에서 과학"으로 전환하는 GRPO 훈련에 대한 기계적 설명을 제공한다고 주장한다. 복잡한 고차원 역학을 폐쇄형 2차 시스템으로 축소함으로써, 저자들은 다음을 주장한다:

1. 예측 가능성: 훈련 궤적은 사후 피팅된 상수가 아니라 하이퍼파라미터와 단일 측정된 곡률 척도에 기반하여 예측될 수 있다.
2. 진단 능력: 모델은 표준 보상 곡선에서는 구분이 불가능한 서로 다른 실패 모드를 분리할 수 있는 구체적인 출력값을 제공한다.
3. 이론적 통합: 기존의 경험적 스케일링 법칙(Nimmaturi et al., 2025; Ghosh et al., 2026)을 더 일반적인 물리 모델의 특정 극한으로서 통합한다.

저자들은 본 모델이 평균장 가정과 작은 단계 전개를 조건으로 하는 차수 축소 근사임을 언급하며 범위에 대해 겸허한 태도를 유지한다. 또한, 진동 영역을 보여주기 위한 딥 네트워크 시연(불안정성을 유도하기 위해 $\eta$나 $K_{ref}$를 높이는 것)은 향후 과제로 남겨두었다. 현재의 GSM8K 실행은 의도적으로 안정적인 과감쇠 영역에 머물도록 설정되었기 때문이다. 정확한 축소 실험은 예측된 물리 법칙(안정성 임계값 및 진동)이 딥 네트워크 근사의 아티팩트가 아니라 역학 자체의 속성임을 입증하는 개념 증명 역할을 한다.