기술적 요약: 검증 가능한 보상을 위한 강화 학습을 위한 문맥적 롤아웃 밴딧

문제 정의

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 수학 및 코드 생성과 같은 도메인에서 대규모 언어 모델 (LLM) 의 추론 능력을 향상시키는 핵심 패러다임으로 부상했습니다. 그러나 기존 RLVR 방법은 노이즈가 많은 감독, 낮은 샘플 효율성, 그리고 비최적의 정책 업데이트로 이어지는 두 가지 근본적인 한계를 안고 있습니다:

1. 무차별적 그룹 내 활용: 그룹 상대 정책 최적화 (GRPO) 와 같은 현재 접근 방식은 단일 프롬프트에 대해 여러 개의 응답 (롤아웃) 을 생성하지만, 기울기 계산 시 이를 균일하게 취급합니다. 이는 그룹 내 상당한 품질 이질성을 무시하는 것으로, 많은 응답이 저효용, 노이즈가 많거나 오해의 소지가 있을 수 있습니다 (예: 추측하여 맞춘 솔루션이나 불필요한 추론 단계를 포함하는 궤적).
2. 제한된 데이터 지평: 대부분의 방법은 최적화를 위해 최신 배치의 롤아웃에만 의존하며, 한 번 사용한 후 과거 궤적을 폐기합니다. 이러한 근시안적인 학습 패러다임은 고가치 과거 데이터의 재사용을 막아 달성 가능한 정책 성능과 샘플 효율성을 제한합니다.

이러한 문제들을 해결하려는 기존 시도들은 종종 진화하는 학습 역동성에 적응하지 못하는 정적이며 수동으로 설계된 휴리스틱에 의존합니다.

방법론: 문맥적 롤아웃 밴딧 (CBS)

저자들은 롤아웃 스케줄링을 문맥적 밴딧 문제로 형식화하는 통합 신경 스케줄링 프레임워크인 CBS를 제안합니다. 이 형식화에서 각 롤아웃은 "암 (arm)"으로 간주되며, 보상은 연속적인 최적화 단계 간 유도된 성능 향상으로 정의됩니다.

핵심 구성 요소

1. 신경 스케줄러 아키텍처:

   • 암 표현: 각 롤아웃은 학습 역동성을 포착하는 압축된 10 차원 벡터로 인코딩됩니다. 이러한 특징에는 다음이 포함됩니다:
     • 보상 관련 신호: 원시 보상, 어드밴티지, 평균 그룹 보상, 그룹 보상의 표준 편차.
     • 길이 관련 신호: 정규화된 응답 길이 및 잘림 플래그.
     • 정책 인식 지표: 엔트로피 및 클립 비율.
     • 데이터 상호작용 이력: 사용 횟수 및 샘플 나이 (신선도).
   • 스케줄러 모델: 멀티 레이어 퍼셉트론 (MLP) 은 표현과 온라인 피드백을 기반으로 각 롤아웃의 미래 유용성을 예측합니다.
   • 선택 전략: 스케줄러는 탐색과 활용을 균형 있게 조절하기 위해 $\epsilon$-greedy 전략을 사용하여 상위 점수를 받은 롤아웃을 선택하면서 때때로 새로운 데이터를 샘플링합니다.

2. 두 가지 스케줄링 체제:

   • 그룹 내 스케줄링 (CBS):* 각 롤아웃 그룹 내에서 세밀한 선택을 수행하여 응답 품질 이질성을 해결합니다. 스케줄러는 각 그룹에서 고가치 롤아웃의 상위 $p\%$ 서브셋을 선택하여 정책 최적화 전에 노이즈가 있거나 저효용인 샘플을 필터링합니다.
   • 전역 적응적 재사용 (CBS): 마지막 $L$ 회 반복의 과거 롤아웃으로 구성된 FIFO 리플레이 버퍼를 유지함으로써 제한된 지평 제약을 해결합니다. 스케줄러는 이 버퍼 전체에서 전역 선택을 수행하여 학습 라운드 전반에 걸쳐 고가치 궤적을 재사용함으로써 샘플 효율성을 크게 향상시킵니다.

3. 보상 정의 및 업데이트:

   • 성능 향상 보상: 보상 함수는 연속된 롤아웃 데이터 간의 지표 향상으로 정의되며, 평균 보상 ($V$) 과 엔트로피 ($E$) 변화를 포함합니다. 엔트로피 증가가 임계값을 초과할 경우 학습 붕괴를 방지하기 위해 엔트로피 패널티 항이 적용됩니다.
   • 온라인 적응: 스케줄러 파라미터는 그룹 수준 성능 향상에서 파생된 샘플 수준 보상을 사용하여 온라인으로 업데이트됩니다. 안정성을 보장하기 위해 그룹 보상은 지수 이동 평균 (EMA) 을 사용하여 정규화되고 시그모이드 함수를 통해 스케일링됩니다.

주요 기여

1. 통합 문맥 - 롤아웃 밴딧 프레임워크: 이 논문은 RLVR 의 롤아웃 스케줄링을 문맥적 밴딧 문제로 형식화하여, 노이즈 인식 그룹 내 선택과 과거 롤아웃의 적응적 전역 재사용을 모두 지원하는 단일 원칙적 프레임워크를 제공합니다.
2. 이론적 보장:
   • 저자들은 RLVR 데이터 스케줄링과 문맥적 밴딧 간의 공식적 연결을 확립합니다.
   • 신경 탄성 커널 (NTK) 프레임워크에 의존하여 단순화된 단일 샘플 선택 설정에서 제안된 신경 스케줄러에 대한 **서브선형 후회 상한 ($\tilde{O}(\sqrt{T})$)**을 유도합니다.
   • 리플레이 버퍼를 확대하면 정책 성능의 달성 가능한 상한이 향상됨을 증명하여 전역 롤아웃 재사용에 대한 이론적 근거를 제공합니다.
3. 실증적 효과: 광범위한 실험을 통해 CBS 가 여러 RLVR 최적화 방법 (GRPO, DAPO, GSPO) 과 모델 크기에 걸쳐 최종 성능과 학습 효율성을 일관되게 향상시킴을 입증했습니다.

실험 결과

이 방법은 Qwen3 모델 (1.7B, 4B, 8B) 을 사용하여 6 가지 수학 추론 벤치마크 (AIME24, AIME25, AMC23, MATH500, Minerva, Olympiad) 에서 평가되었습니다.

• 성능 향상: CBS 를 통합한 결과 다양한 정책 최적화 방법에서 일관된 상대적 개선이 나타났습니다. 예를 들어, Qwen3-1.7B 모델에서 CBS 는 GRPO 를 평균 4.4%, DAPO 를 15.7% 향상시켰습니다.
• 학습 효율성: CBS 는 액터 업데이트당 필요한 학습 궤적 수를 줄여 평균 정책 최적화 시간을 크게 단축시켰습니다 (최대 50.4% 감소).
• 계산 오버헤드: 스케줄러의 계산 비용은 무시할 수 있으며, 전체 학습 시간의 4% 미만을 차지하며, 모델 크기가 커질수록 이 비율은 감소합니다.
• 애블레이션 연구: 신경 스케줄러 (무작위 선택으로 대체), EMA 보상 정규화, 또는 엔트로피 패널티 항과 같은 구성 요소를 제거하면 성능 저하나 학습 불안정성 (예: 통제되지 않은 엔트로피 증가) 이 발생하여 각 구성 요소의 필요성을 검증했습니다.

중요성 및 주장

이 논문은 CBS 가 현재 RLVR 파이프라인에 내재된 데이터 비효율성과 노이즈 문제에 대한 원칙적 해결책을 제공한다고 주장합니다. 롤아웃 선택을 정적 휴리스틱이 아닌 적응적 학습 문제로 취급함으로써 CBS 는 다음과 같은 기능을 가능하게 합니다:

• 세밀한 감독 필터링: 노이즈가 많은 응답을 억제하면서 정보력 있는 응답을 자동으로 우선순위화합니다.
• 장기 지평 데이터 재사용: 시간이 지남에 따라 정책을 정제하기 위해 과거 고가치 궤적을 체계적으로 활용합니다.

저자들은 그들의 접근 방식이 수동적이고 방법별인 휴리스틱에 의존하지 않는 확장 가능한 자기 개선 패러다임을 제공한다고 강조합니다. 현재 구현은 효율성을 위해 경량의 10 차원 표현을 사용하지만, 이 프레임워크는 확장 가능하도록 설계되어 향후 작업에서 더 깊은 의미 표현의 통합을 허용할 수 있습니다. 이 연구는 대규모 추론 모델을 위한 더 효율적이고 견고한 RLVR 학습을 향한 한 걸음으로 자리매김합니다.