기술 요약: RLVR 의 최적화 역학

문제 정의

검증 가능한 보상을 활용한 강화학습 (RLVR) 은 수학 추론 및 코드 생성과 같이 자동으로 확인 가능한 결과를 가진 작업에 대한 대규모 언어 모델 (LLM) 의 사후 훈련을 위한 지배적인 패러다임으로 부상했습니다. 기존의 인간 피드백 기반 강화학습 (RLHF) 과 달리, RLVR 은 학습된 보상 모델이나 인간의 선호도가 아닌 희소하고 이진적인 성공/실패 신호에 의존합니다. Group Relative Policy Optimization (GRPO) 과 그 변형들 (예: DAPO, Dr. GRPO) 과 같은 알고리즘이 상당한 경험적 성공을 거두었음에도 불구하고, 이들의 최적화 역동에 대한 이론적 이해는 제한적입니다. 실무자들은 훈련을 안정화하기 위해 길이 정규화나 분산 기반 보상 스케일링과 같은 휴리스틱에 종종 의존하지만, 이러한 방법들이 수렴하거나 정체되거나 재앙적으로 실패하는 조건은 엄밀하게 규명되지 않았습니다. 본 논문은 이진 보상 하의 정책 경사 방법의 수렴 보장을 분석함으로써 경험적 성능과 이론적 이해 사이의 격차를 해소합니다.

방법론

저자들은 RLVR 의 훈련 역학을 두 가지 수준의 세분성으로 분석하기 위한 이론적 프레임워크를 개발했습니다: 궤적 수준 (전체 응답을 단일 단위로 취급) 과 토큰 수준 (자기회귀 생성 과정을 고려).

핵심 개념

1. 경사 갭 (Gradient Gap): 본 논문은 올바른 응답 공간 ($O^+_q$) 과 잘못된 응답 공간 ($O^-_q$) 에 대한 기대 점수 함수 (로그 확률 경사) 의 차이로 정의된 새로운 양인 경사 갭 ($g^+_q - g^-_q$) 을 도입합니다. 이 갭은 정책을 낮은 보상 영역에서 높은 보상 영역으로 이동시키기 위해 필요한 진정한 개선 방향을 형식화합니다.
2. 갭 정렬 (Gap Alignment): 저자들은 실제 업데이트 방향 ($w_k$) 과 경사 갭 사이의 내적으로 갭 정렬 ($\Delta\mu_q$) 을 정의합니다. 이 지표는 알고리즘의 업데이트가 진정한 목표와 얼마나 잘 정렬되어 있는지를 정량화합니다.
3. 누적 갭 정렬 (Cumulative Gap Alignment): 장기적 행동을 규명하기 위해, 본 논문은 훈련 반복에 걸친 정렬 신호를 단계 크기로 가중치하여 집계하는 누적 지표 ($M_q(K)$) 를 정의합니다.

이론적 분석

분석은 정책 점수 함수의 매끄러움과 유계성에 관한 표준 정규성 가정 (가정 1 및 2) 과 응답 길이의 부분 지수적 성질 (가정 3) 에 의존합니다.

• 궤적 수준 분석: 저자들은 업데이트 단계당 성공률 ($J_q$) 의 로그 오즈 변화에 대한 상한을 유도합니다. 그들은 1 차 개선이 갭 정렬에 의해 주도되는 반면, 2 차 분산 항 (특히 부정 공간의 분산) 은 단계 크기가 너무 클 경우 불안정성을 초래할 수 있음을 확립합니다.
• 토큰 수준 분석: 경사를 토큰별 기여도로 분해함으로써, 저자들은 수렴 상한을 정교화합니다. 이 분석은 응답 길이 ($T_\infty, T_{\psi_1}$) 를 명시적으로 포함하여, 발산을 방지하기 위해 유효 단계 크기가 시퀀스 길이에 반비례하도록 스케일링되어야 함을 보여줍니다.

주요 기여

1. RLVR 을 위한 통합 이론적 프레임워크

본 논문은 이진 보상 하에서 작동하는 모든 정책 경사 기반 방법 (REINFORCE, GRPO, Dr. GRPO 포함) 에 적용 가능한 원칙적인 프레임워크를 제공합니다. 이는 경사 갭과 갭 정렬의 관점을 통해 이러한 알고리즘의 역학을 규명함으로써 분석을 통합합니다.

2. 날카로운 단계 크기 임계값

핵심 이론적 기여는 수렴과 발산을 구분하는 날카로운 단계 크기 임계값의 유도입니다.

• 수렴: 본 논문은 단계 크기 ($\eta_k$) 가 갭 정렬에 비례하고 분산 및 응답 길이에 반비례하도록 적응적으로 스케일링될 경우, 정책이 최적 해 ($J_q \to 1$) 로 수렴함을 증명합니다.
• 재앙적 실패: 반대로, 저자들은 단계 크기가 특정 임계값을 초과할 경우 (업데이트 방향이 완벽하게 정렬되어 있더라도) 최적화 과정이 과잉 조정되어 성공률이 엄격하게 감소하고 0 으로 수렴함을 증명합니다. 이는 실제에서 관찰되는 "붕괴" 현상을 설명합니다.

3. 실용적 휴리스틱에 대한 설명

이론은 일반적인 엔지니어링 관행에 대한 엄밀한 정당성을 제공합니다:

• 길이 정규화: 토큰 수준 분석은 응답 길이가 증가함에 따라 유효 학습률이 축소되어야 함을 보여줍니다. 이는 길이 정규화 (GRPO 에서 사용됨) 가 훈련을 안정화하는 이유에 대한 이론적 근거를 제공하며, 이러한 정규화가 결여된 방법들 (Dr. GRPO 의 특정 공식화 등) 이 더 긴 시퀀스에서 어려움을 겪을 수 있음을 설명합니다.
• 정체: 본 논문은 고정된 학습률이 100% 미만의 성공률에서 엄격하게 정체되게 하는 이유를 설명합니다. 정책이 개선됨에 따라 분산 구조가 변하고, 고정된 단계 크기가 결국 수렴 임계값을 위반하여 알고리즘이 정지하거나 진동하게 만듭니다.

4. 경험적 검증

이론적 예측은 다음을 통해 검증되었습니다:

• 맥락적 밴딧 시뮬레이션: 합성 밴딧 문제에 대한 실험은 누적 갭 정렬과 정확도 간의 로지스틱 관계를 보여주어, 명확한 수렴 및 정체 영역의 존재를 확인했습니다.
• LLM 실험: 저자들은 GRPO 를 사용하여 Qwen2.5-Math-7B 모델을 GSM8K, DeepScaleR, DAPO-17k 데이터셋으로 미세 조정했습니다. 경험적 데이터는 누적 갭 정렬과 모델의 정확도 간의 강한 상관관계를 보여주며, 이는 이론적 하한과 밀접하게 일치합니다.

결과

• 수렴 보장: 본 논문은 누적 갭 정렬이 무한대로 발산할 경우 ($M_q(K) \to \infty$) 완벽한 성능으로의 수렴이 보장됨을 확립합니다.
• 정체 상한: 정렬 신호가 약하거나 단계 크기가 너무 크다면, 성능은 1 보다 엄격하게 낮게 제한되어 모델이 100% 정확도에 도달하는 것을 방지합니다.
• 실패 모드: 저자들은 양의 정렬에도 불구하고 일정한 단계 크기가 성능이 0 으로 단조 감소하도록 이끄는 특정 문제 사례를 구성하여 "재앙적 실패" 영역의 존재를 확인했습니다.
• 경사 노름 vs 보상: 본 논문은 보상이 수렴하지 않더라도 정책 경사 노름의 합은 수렴할 수 있음을 지적하며, 이는 표준 경사 기반 수렴 기준이 RLVR 에는 불충분함을 시사합니다. 갭 정렬 지표는 보상 개선을 나타내는 더 날카로운 지표입니다.

의의

본 논문은 RLVR 의 최적화 역동에 대한 최초의 엄밀한 이론적 기반을 제공한다고 주장합니다. 블랙박스 경험적 관찰을 넘어선 이 논문은 학습의 근본적 동인으로서 경사 갭과 안정성을 위한 핵심 제어 매개변수로서 단계 크기 임계값을 식별합니다.

그 의의는 다음과 같은 능력에 있습니다:

1. RLVR 의 신비 해소: 길이 정규화를 포함한 GRPO 와 같은 특정 알고리즘이 작동하는 반면 다른 것들은 실패하는 이유를 설명하여, 직관 기반 튜닝에서 이론 주도 설계로 분야를 이동시킵니다.
2. 하이퍼파라미터 튜닝 안내: 단계 크기 선택에 대한 구체적이고 수학적으로 유도된 조건을 제공하여 재앙적 붕괴와 정체를 피할 수 있는 경로를 제시합니다.
3. 알고리즘 행동 규명: 고정된 학습률의 한계와 응답 길이 및 작업 난이도에 대한 적응적 스케일링의 필요성을 명확히 하여, 현재 RLVR 파이프라인에서 관찰되는 교정률의 정체에 대한 이론적 설명을 제공합니다.

저자들은 그들의 프레임워크가 인기 있는 접근법의 역학을 규명하며, 다양한 프롬프트 분포에서 안정성과 수렴을 더욱 향상시키기 위한 프롬프트 적응형 업데이트 및 커리큘럼 기반 훈련과 같은 향후 방향을 제안한다고 결론지었습니다.