기술 요약: 확률 변형을 통한 날카로움 유도 그룹 상대적 정책 최적화

문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 수학, 논리, 도구 증강 질문 응답과 같은 분야에서 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 주요 동력으로 부상했습니다. 그룹 상대적 정책 최적화 (GRPO) 는 단순성과 명시적 가치 함수에 대한 의존성이 없다는 점 때문에 이러한 설정에서 지배적인 최적화 알고리즘입니다. 그러나 현재 RLVR 구현체들은 종종 일반화에 대한 강력한 제어가 부족합니다. 저자들은 훈련이 "날카로운" 업데이트, 즉 크고 불안정한 경사 단계로 이어질 수 있으며, 이는 이론적으로 더 나쁜 일반화 성능과 상관관계가 있음을 식별했습니다. 다루어진 핵심 문제는 학습 신호를 희생하거나 복잡한 아키텍처 변경을 도입하지 않고 GRPO 훈련을 안정화하고 일반화를 개선하는 방법입니다.

방법론: GRPO-SG

이 논문은 최적화 업데이트의 날카로움을 줄이도록 설계된 GRPO 의 토큰 가중 변형인 **날카로움 유도 GRPO (GRPO-SG)**를 제안합니다. 이 방법론은 이론적 일반화 관점에 기반하며, 신뢰도 기반 확률 변형 메커니즘을 통해 구현됩니다.

이론적 기반

저자들은 견고성 기반 일반화 렌즈를 통해 GRPO 를 재검토합니다. 그들은 일반화 손실이 경험적 훈련 손실의 합과 경사 노름으로 측정된 날카로움 대리 변수의 합에 의해 상한이 결정된다는 것을 확립합니다 (정리 3.3).

• 핵심 통찰: 더 작은 경사 노름은 덜 날카로운 업데이트에 해당하며, 이는 더 나은 일반화를 의미합니다.
• 유도: 경험적 손실의 경사를 분석함으로써 저자들은 경사 노름이 토큰 수준 가중치에 영향을 받음을 보여줍니다. 구체적으로, 토큰 가중치 ($w_{i,t}$) 와 항 $(1 - \pi_\theta(o_{i,t}))$(불확실성을 나타냄) 의 곱이 경사의 크기에 직접적인 영향을 미칩니다.

알고리즘적 구현

GRPO-SG 는 신뢰도 신호로 작용하는 토큰 가중치 $w_{i,t}$를 도입함으로써 표준 GRPO 목적 함수를 수정합니다.

1. 신뢰도 신호: 가중치는 현재 정책이 생성한 선택된 토큰 로그it ($h_{i,t}$) 에서 유도됩니다. 이 로그it 은 모델이 선택한 토큰에 대한 신뢰도의 대리 변수 역할을 합니다.
2. 확률 변형: 로그it 에 단조로운 신뢰도 인식 매핑 함수 $\omega(\cdot)$를 적용하여 가중치를 생성합니다. 구체적인 공식 (식 20) 은 다음과 같습니다:
   $$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$$
   • $\text{sg}[\cdot]$는 모델이 가중치를 조작하는 것을 방지하기 위한 stop-gradient 연산자입니다.
   • $\sigma$는 시그모이드 함수이며, $\tau, \mu, \alpha, L, U$는 부드러움과 범위를 제어하는 하이퍼파라미터입니다.
3. 메커니즘:
   • 높은 신뢰도 토큰: 높은 로그it(높은 신뢰도) 을 가진 토큰은 더 높은 가중치를 받아, 중요한 추론 단계에서의 학습 신호를 유지합니다.
   • 낮은 신뢰도 토큰: 낮은 로그it 을 가진 토큰은 더 낮은 가중치를 받습니다. 낮은 신뢰도 토큰은 종종 더 큰 경사를 유발하므로 ($(1-\pi)$ 항 때문에), 이를 하향 가중치 처리하면 훈련을 불안정하게 할 수 있는 "날카로운" 업데이트를 억제합니다.
4. 통합: 이러한 가중치는 GRPO 대리 목적 함수에 직접 통합되어, 과도하게 큰 경사를 유발할 가능성이 높은 토큰의 가중치를 낮추면서도 표준 PPO 스타일의 클리핑과 이점 정규화를 유지합니다.

주요 기여

1. GRPO 의 일반화 관점: 이 논문은 RLVR 훈련과 견고한 일반화 목적 함수 사이의 이론적 연결을 제공하며, 날카로움 대리 변수 (경사 노름) 를 통해 일반화를 특성화합니다.
2. GRPO-SG 알고리즘: 이는 보조 모델이나 복잡한 보상 변형 없이 토큰 신뢰도 (선택된 토큰 로그it) 를 사용하여 업데이트 크기를 변형시키는 GRPO 에 대한 간단하고 효과적인 수정을 도입합니다.
3. 실증적 검증: 이 방법은 다양한 RLVR 벤치마크에서 검증되었으며, 표준 GRPO 및 기타 토큰 수준 제어 기준 (예: 80/20, AR, Lopti) 보다 일관된 개선을 보여줍니다.

실험 결과

실험은 수학 추론, 에이전트 질문 응답 (도구 증강), 논리 퍼즐 (기사 및 사기꾼) 의 세 가지 다른 RLVR 설정에서 수행되었습니다.

• 수학 추론: OlympiadBench, Minerva, MATH-500 을 포함한 벤치마크에서 GRPO-SG 는 표준 GRPO 대비 평균 **+2.7% 에서 +6.0%**까지의 개선을 달성했습니다. 예를 들어, Qwen2.5-7B 를 사용한 DSR 훈련 레시피에서 평균 이득은 6.0% 였습니다.
• 에이전트 QA: 지식 증강 QA 작업 (VT-Search 사용) 에서 GRPO-SG 는 Qwen2.5-3B 모델의 정확한 일치 정확도를 거의 두 배로 늘렸으며 (13.84 에서 27.29 로), Qwen3-4B 모델에서도 상당한 이득을 제공했습니다.
• 논리 퍼즐: K&K 논리 퍼즐 벤치마크에서 GRPO-SG 는 Qwen2.5-3B 의 평균 정확도를 0.42 에서 0.63 으로 (상대적 이득 50%), Qwen2.5-7B 를 0.75 에서 0.91 로 향상시켰습니다.
• 훈련 역학: 정확도 외에도 GRPO-SG 는 GRPO 에 비해 더 부드러운 경사 노름 궤적과 더 적은 이상치 스파이크를 보였으며 (그림 1), 이는 날카로움을 줄이려는 이론적 목표와 일치합니다. 훈련 보상도 더 높고 안정적이었습니다.

중요성과 주장

이 논문은 GRPO-SG 가 RLVR 을 위한 GRPO 에 대한 간단하고 효과적인 일반화 지향 업그레이드라고 주장합니다.

• 단순성: 이 방법은 추가 가치 모델, 인간 레이블, 또는 복잡한 아키텍처 변경이 필요하지 않으며, 기존 GRPO 목적 함수 내의 토큰 가중치만 수정합니다.
• 안정성: 토큰 신뢰도를 통해 업데이트 날카로움을 명시적으로 제어함으로써 훈련 과정을 안정화하여 더 견고한 추론 능력을 이끌어냅니다.
• 일반성: 개선은 다양한 모델 크기 (3B 에서 7B+), 다양한 모델 계열 (Qwen, Mistral, LLaMA), 그리고 다양한 추론 영역 (수학, 논리, 에이전트 검색) 에서 일관되게 나타납니다.

저자들은 신뢰도 기반 토큰 가중치를 통한 업데이트 날카로움의 명시적 제어가 RL 훈련 LLM 의 안정성과 성능을 개선하기 위한 실행 가능한 전략이며, 검증 가능한 보상 설정에서 더 나은 일반화를 위한 실용적인 길을 제공한다고 결론지었습니다.