기술 요약: 추론 지향 강화 학습을 위한 온라인 난이도 필터링

문제 정의

검증 가능한 보상(Verifiable Rewards, RLVR)을 활용한 강화 학습은 대규모 언어 모델(LLM), 특히 수학과 같은 도메인에서 추론 능력을 향상시키기 위한 핵심적인 패러다임으로 부상했습니다. 그러나 훈련 효율성은 여전히 중요한 병목 구간입니다. RLVR의 주요 과제는 **보상의 희소성(reward sparsity)**입니다. 모델은 너무 쉽거나(완벽한 점수를 얻음) 너무 어려운(0점을 얻음) 작업에 노출될 때 효과적으로 학습하는 데 어려움을 겪습니다. 이러한 극단적인 경우, 학습 신호가 사라져 계산 자원의 비효율적인 사용과 느린 수렴을 초래합니다. 교육적 개념인 근접 발달 영역(Zone of Proximal Development, ZPD)은 과제가 중간 난이도 범위에 있을 때 학습이 가장 효율적이라는 점을 시사하지만, 기존의 RLVR 접근 방식은 이러한 휴리스틱을 온라인 강화 학습 알고리즘과 연결하는 엄격한 이론적 토대가 부족합니다. 또한, 단순한 데이터 필터링 전략은 배치 크기를 불일치시켜 훈련을 불안정하게 만들 수 있습니다.

방법론

저자들은 Group Relative Policy Optimization (GRPO) 프레임워크에 통합된 균형 잡힌 온라인 난이도 필터링(Balanced Online Difficulty Filtering) 전략을 제안합니다. 이 방법론은 공식적인 이론적 분석에 기반하며 비동기 샘플링 메커니즘을 통해 구현되었습니다.

이론적 토대

핵심적인 이론적 통찰은 **기대 정책 개선(expected policy improvement)**이 태스크 수준의 성공 확률의 분산에 의해 하한선이 결정된다는 점을 확립합니다.

• 이진 보상 분석: 초기 정책 $\pi_{init}$ 하에서 패스율 $p(x)$를 갖는 프롬프트 $x$에 대해, $\pi_{init}$와 최적 정책 $\pi^*$ 사이의 역 쿨백-라이블러(reverse KL) 발산은 베르누이 분산 항에 의해 하한이 결정됩니다:
  $$D_{KL}(\pi_{init} \parallel \pi^*) \geq \frac{p(x)(1-p(x))}{2\beta^2}$$
• 함의: 이 하한은 $p(x) = 0.5$ (중간 난이도)일 때 최대화되며, $p(x) \in \{0, 1\}$ (절대적으로 어렵거나 쉬운 경우)일 때 소멸합니다. 따라서 중간 정도의 성공률을 가진 프롬프트는 가장 강력한 학습 신호(높은 그래디언트 정보)를 제공하는 반면, 극단적인 경우는 학습 신호를 제공하지 않습니다.
• 일반화 가능성: 저자들은 이 분석을 이진 보상을 넘어 가우시안(Gaussian) 및 다항(Multinomial) 보상 분포로 확장하여, 역 KL 발산이 보상 분산(또는 그 선행 항)에 의해 유사하게 제어됨을 증명함으로써 다양한 보상 설정에 걸친 분산 기반 프록시의 유효성을 입증했습니다.

알고리즘 구현

이론을 훈련 안정성을 해치지 않으면서 실행하기 위해, 저자들은 비동기 샘플링 전략을 도입했습니다:

1. 동적 필터링: 각 훈련 단계 동안 시스템은 일련의 프롬프트에 대해 $G$개의 롤아웃(rollout)을 생성합니다.
2. 패스율 추정: 패스율 $p(x)$는 이 롤아웃들의 평균 정확도로 계산됩니다.
3. 임계값 설정: 프롬프트는 사전 정의된 임계값($T_{Low}, T_{High}$)을 기준으로 필터링됩니다. $T_{Low} \leq p(x) \leq T_{High}$ (예: $0.2 \leq p(x) \leq 0.8$)를 만족하는 프로프트만 유지됩니다.
4. 배치 크기 유지: 필터링으로 인해 배치 크기가 줄어드는 것을 방지하기 위해, 시스템은 비동기적으로 배치를 채웁니다. 만약 특정 프롬프트가 필터링되면, 시스템은 고정된 배치 크기 $N$에 도달할 때까지 다른 프롬프트에 대한 새로운 롤아웃을 즉시 시작합니다. 이를 통해 안정적인 그래디언트 업데이트를 유지하면서 중간 난이도의 과제 커리큘럼을 유지합니다.

주요 기여

1. 학습 가능성에 대한 이론적 평가: 본 논문은 GRPO에서의 프롬프트 수준 학습 가능성이 샘플 보상 분산을 통해 근사될 수 있음을 증명합니다. 이는 패스율이 극도로 낮거나 높은 프롬프트를 필터링하는 것에 대한 공식적인 정당성을 제공하며, 해당 프롬프트들이 제로 또는 무시할 만한 그래디언트 신호만을 기여하기 때문입니다.
2. 균형 잡힌 온라인 필터링 전략: 저자들은 "불균형한(skewed)" 필터링(비대칭 임계값) 및 일반 GRPO보다 일관되게 우수한 성능을 보이는 "균형 잡힌" 필터링 접근 방식(0.5를 중심으로 한 대칭 임계값)을 제안하고 검증했습니다.
3. 비동기 고정 배치 구현: 고정된 훈련 배치 크기를 엄격히 유지하면서 온라인 난이도 필터링을 가능하게 하는 새로운 알고리즘 설계를 통해, 단순 필터링과 관련된 불안정성 문제를 해결했습니다.
4. 일반화 증명: 분산 기반 학습 가능성 프록시가 이진 보상을 넘어 가우시안 및 다항 보상 분포에서도 유효함을 보여주는 이론적 확장을 수행했습니다.

실험 결과

본 방법론은 3B 및 7B 파라미터 모델(Qwen2.5 제품군)을 대상으로 5가지 수학 추론 벤치마크(MATH500, AIME, AMC, MinervaMath, OlympiadBench)에서 평가되었습니다.

• 성능 향상: 균형 잡힌 온라인 필터링은 일반 GRPO보다 일관되게 우수한 성능을 보였습니다.
  • 3B 모델: 벤치마크 전반에 걸쳐 평균 **+4.2%**의 향상을 달성했으며, 특히 어려운 AIME 벤치마크에서 **+10%**의 향상을 기록했습니다.
  • 7B 모델: 평균 **+4.5%**의 향상을 달성했으며, AMC 벤치마크에서 **+12%**의 향상을 기록했습니다.
• 샘플 효율성: 필터링 전략은 수렴을 크게 가속화했습니다. 균형 잡힌 필터링으로 훈련된 모델은 일반 GRPO의 성능 수준에 도달하는 데 절반 미만의 훈련 단계(그래디언트 업데이트 50% 미만)가 소요되었습니다.
• 오프라인 방법과의 비교: 온라인 접근 방식은 기존의 오프라인 난이도 필터링 방식(정적 큐레이션 및 스케줄링 모두)보다 뛰어난 성능을 보였으며, 이는 동적이고 정책 인식적인 필터링이 사전 정의된 난이도 프록시보다 우월함을 입명합니다.
• 임계값 민감도: 더 좁은 임계값(예: $0.3 < p(x) < 0.7$)이 더 느슨한 임계값보다 일반적으로 더 나은 성능을 보였으며, 이는 중간 난이도의 "스위트 스팟(sweet spot)"을 선택하는 것의 중요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 RLVR을 위한 커리큘럼 학습의 원칙적인 토대를 제공한다고 주장합니다. ZPD라는 교육 이론을 소프트 RL에서의 역 KL 발산의 수학적 성질과 연결함으로써, 저자들은 중간 난이도의 과제가 학습 효율을 극대화한다는 점을 입증했습니다.

이 연구의 의의는 다음과 같습니다:

1. 이론적 엄밀성: 단순한 휴리스틱 데이터 큐레이션을 넘어, 왜 중간 난이도의 과제가 정책 개선에 최적인지에 대한 수학적 근거를 제시했습니다.
2. 실용적 효율성: 필터링을 통해 최첨단 추론 성능을 달기 위해 필요한 계산 비용(훈련 단계 및 시간)을 획기적으로 줄일 수 있음을 보여주었습니다.
3. 알고리즘 견고성: 비동기 샘플링을 통해 온라인 필터링의 실질적인 문제인 배치 크기 불안정성을 해결함으로써, 대규모 훈련에 이 접근 방식이 적용 가능하도록 만들었습니다.

저자들은 균형 잡힌 온라인 난이도 필터링이 다양한 검증 가능한 과제에 걸쳐 정렬 훈련(GRPO, PPO, RLOO)의 이론적으로 근거가 확실하고 네이티브한 구성 요소이며, 경험적 휴리스틱과 공식적인 학습 원리를 연결하는 통합된 관점을 제공한다고 결론짓습니다.