기술 요약: 접두사 샘플링을 통한 롤아웃 통과율 제어

1. 문제 제기

소프트웨어 공학 (SWE-bench) 및 수학적 추론과 같은 이진 보상 강화 학습 (RLVR) 에서, 그룹 상대적 정책 최적화 (GRPO) 와 같은 온라인 정책 경사 방법은 대비 학습 신호를 생성하기 위해 롤아웃 궤적 그룹을 샘플링하는 데 의존합니다. 그러나 이러한 샘플링된 그룹이 편향된 통과율 (예: 모든 성공 또는 모든 실패, 또는 1/8 또는 7/8 과 같이 심하게 불균형한 비율) 을 보일 때 상당한 비효율성이 발생합니다.

이러한 편향된 영역에서는 이진 보상이 약한 대비 신호를 제공합니다. 구체적으로:

• 전체 실패 (0/N) 또는 전체 성공 (N/N) 그룹은 상대적 우위 신호를 제공하지 않기 때문에 (GRPO 또는 DAPO 의) 그룹 필터링 휴리스틱에 의해 일반적으로 폐기됩니다.
• **필터링을 통과한 편향된 그룹 (예: 1/8 또는 7/8)**은 균형 잡힌 그룹에 비해 최적이지 않은 학습 신호를 여전히 제공합니다.
• 연산 자원 낭비: 이러한 정보 가치가 없는 궤적을 생성하는 것은 상당한 계산 자원과 실제 경과 시간을 소모하지만 비례하는 훈련 이득을 가져오지 않습니다.

기존 방법들은 암시적 필터링, 동적 샘플링, 또는 외부 지침 (힌트, 오라클 접두사, 또는 교사 추적) 주입을 통해 이를 완화하려 시도합니다. 그러나 이러한 접근법들은 종종 가장 정보 가치가 높은 영역으로 유지된 그룹의 통과율을 명시적으로 제어하지 못하거나, 외부 데이터를 도입함으로써 자원 예산과 프로토콜을 변경합니다.

2. 방법론: 접두사 샘플링 (PS)

저자들은 이진 보상 RL 에 대한 최적 운영 지점으로 50% 통과율을 식별하며, 이를 **롤아웃 통과율 제어 (Rollout-PRC)**로 명시적 목표로 제시합니다. 그리고 외부 데이터가 필요하거나 롤아웃 예산을 변경하지 않고 편향된 롤아웃 그룹을 이 50% 영역으로 유도하는 양방향 프레임워크인 **접두사 샘플링 (Prefix Sampling, PS)**을 도입합니다.

2.1 이론적 근거: 왜 50% 인가?

이 논문은 50% 통과율 ($p=0.5$) 이 학습 신호 강도의 네 가지 보완적 지표를 최대화함을 입증합니다:

1. 보상 엔트로피: 이진 결과의 정보 내용을 최대화합니다.
2. 생존 확률: 그룹 필터링을 통과할 확률 (즉, 전체 실패나 전체 성공이 아닐 확률) 을 최대화합니다.
3. RLOO 이득 에너지: GRPO 하에서 Leave-One-Out(RLOO) 이득 추정치의 분산을 최대화합니다.
4. 대비 쌍: 그룹 내 대비 학습을 위해 사용 가능한 성공 - 실패 쌍의 수를 최대화합니다.

2.2 접두사 샘플링 프레임워크

접두사 샘플링은 편향된 그룹의 연속 난이도를 조정하기 위해 궤적 접두사를 재생함으로써 작동합니다:

• "어려운" 그룹 (낮은 통과율, 예: 1/8 또는 2/8): 동일한 배치 (또는 저장된 접두사) 에서 성공한 궤적을 선택하여 그 접두사를 재생합니다. 이는 "시작 부스터" 역할을 하여, 현재 정책이 올바른 부분 해답에서 계속할 수 있도록 함으로써 성공적인 완수 가능성을 높입니다.
• "쉬운" 그룹 (높은 통과율, 예: 6/8 또는 7/8): 실패한 궤적을 선택하여 그 접두사를 재생합니다. 이는 "핸디캡" 역할을 하여, 정책이 이전에 실패했던 어려운 경로를 탐색하도록 강제함으로써 실패 가능성을 높이고 대비 신호를 생성합니다.

2.3 상태 유지 환경에서의 구현

PS 의 핵심 혁신은 상태 유지 에이전트 환경(도구 사용 및 환경 상호작용을 포함하는 코딩 에이전트 등) 에서 기능할 수 있다는 점입니다:

• 실행을 통한 재생 (Replay-through-Execution): 단순히 텍스트를 연결하는 대신, 시스템은 저장된 접두사 응답을 표준 동작 파서와 환경 실행기에 입력하여 에이전트의 상태 (코드, 대화 기록, 도구 출력, 환경 상태) 를 재구성합니다.
• 접두사 마스킹: 온-정책 (on-policy) 크레딧 할당을 보장하기 위해 재생된 접두사의 모든 토큰에 대한 손실은 마스킹됩니다. 최적화는 현재 정책이 생성한 연속 토큰으로만 제한됩니다. 이는 모델이 생성하지 않은 행동에 대해 크레딧을 받지 않으면서도 재구성된 상태의 이점을 얻도록 방지합니다.
• 적응형 제어: 적응형 제어기는 각 편향 "버킷"(1/8, 2/8, 6/8, 7/8) 에 대한 재롤아웃 통과율의 지수 이동 평균 (EMA) 을 유지합니다. 이는 각 버킷의 통과율을 0.5 목표치로 유도하기 위해 접두사 비율(재생할 접두사의 길이) 을 동적으로 조정합니다.

3. 주요 기여

1. Rollout-PRC 의 공식화: 이 논문은 이진 보상 RL 을 위한 원칙적인 효율성 목표로 통과율 제어를 식별하고 공식화하며, 50% 통과율이 보상 엔트로피, 이득 에너지, 대비 구조를 최대화함을 증명합니다.
2. 접두사 샘플링 알고리즘: 편향된 그룹을 유도하기 위해 외부 오라클이 아닌 자체 생성 접두사를 사용하는 양방향 프레임워크입니다. 실행 재생 및 접두사 마스킹을 통해 상태 유지 에이전트 환경을 고유하게 지원합니다.
3. 실증적 검증: Qwen3-4B 에서 32B 까지의 여러 규모와 SWE-bench 및 AIME 2025 와 같은 도메인에서 입증되었으며, PS 가 더 적은 단계로 베이스라인 수준의 성능을 달성하고 종단간 속도를 크게 향상시킴을 보여줍니다.

4. 실험 결과

저자들은 Qwen3 모델 (4B, 8B, 14B, 32B) 을 사용하여 SWE-bench Verified(에이전트 RL) 및 AIME 2025(수학적 추론) 에서 PS 를 평가했습니다.

4.1 벤치마크 성능

• SWE-bench Verified:
  • Qwen3-14B: 베이스라인의 최대 성능 (0.273) 을 300 단계 (베이스라인) 대비 170 단계에서 달성했으며, 0.295의 새로운 최대치 (+4.7 퍼센트 포인트) 를 기록했습니다.
  • Qwen3-32B: 베이스라인 최대치를 410 단계 (베이스라인) 대비 290 단계에서 달성했으며, 0.422의 최대치 (+5.4 퍼센트 포인트) 를 기록했습니다.
• AIME 2025:
  • Qwen3-4B: +7.3 pp 향상과 함께 230 단계 (베이스라인) 대비 140 단계에서 베이스라인 최대치를 달성했습니다.
  • Qwen3-8B: +10.8 pp 향상과 함께 260 단계 (베이스라인) 대비 190 단계에서 베이스라인 최대치를 달성했습니다.

4.2 효율성 및 속도 향상

• 종단간 속도 향상: PS 는 Qwen3-14B 에서 2.01 배, Qwen3-32B 에서 1.55 배의 속도 향상을 제공했습니다.
• 훈련 효율성: 베이스라인의 일반 작업 점수에 도달하는 데 필요한 훈련 단계 수가 모델 간에 1.51 배에서 1.92 배까지 감소했습니다.
• 유효 그룹: 배치당 유효 (비퇴화) 롤아웃 그룹 수가 크게 증가했습니다 (예: 14B 의 경우 25.9 에서 36.7 로 증가), 이는 롤아웃 예산의 더 효율적인 사용을 나타냅니다.
• 실제 경과 시간: 상태 유지 SWE 실행에서 접두사 재생은 접두사를 재생성하는 대신 재구성된 상태를 재사용함으로써 단계당 실제 경과 시간을 줄여 전체 속도 향상에 기여했습니다.

4.3 제거 실험

4B 수학 실행에 대한 제거 실험은 이득의 분해를 확인했습니다:

• 재생: 수렴 속도의 주요 동인 (고정 재생 시 1.61 배 속도 향상).
• 적응형 제어: 재롤아웃 통과율을 0.5 근처에 유지하는 데 필수적임; 고정 비율은 최적이지 않은 통과율 (예: 0.36 또는 0.65) 과 더 느린 수렴을 초래했습니다.
• 양방향 커버리지: 어려운 버킷과 쉬운 버킷을 모두 제어하는 것이 필요함; 어려운 버킷만 제어하면 이득이 현저히 낮았습니다.

5. 중요성 및 주장

이 논문은 접두사 샘플링이 외부 감독에 의존하거나 계산 예산을 증가시키지 않고 이진 보상 RL 훈련을 개선하는 원칙적이고 자원 효율적인 방법을 제공한다고 주장합니다.

• 메커니즘: 이득은 편향되고 부분적으로 성공한 그룹을 고신호 50% 영역으로 유도하여 보상 엔트로피와 대비 쌍을 증가시킴으로써 귀결됩니다.
• 상태 유지 기능: 텍스트 전용 접두사 연결에 의존하는 이전 방법과 달리, PS 는 실행 재생을 통해 상태 유지 에이전트 환경 (코드, 도구, 기록) 을 성공적으로 재구성하여 복잡한 에이전트 작업에 적용 가능하게 합니다.
• 겸손함: 저자들은 그들의 주장이 그룹화된 롤아웃을 가진 이진 보상 RLVR 에 국한됨을 명시적으로 밝힙니다. 50% 가 모든 커리큘럼 설계에 최적이거나 이 방법이 다양한 데이터의 필요성을 제거한다는 주장은 하지 않습니다. 대신 기존 롤아웃 예산의 활용을 최적화합니다. 이 방법은 기존 GRPO++ 파이프라인과 호환되는 "드롭인" 컨트롤러로 제시됩니다.

요약하자면, 이 논문은 롤아웃 그룹의 통과율을 50% 를 목표로 적극적으로 관리함으로써 기존 베이스라인과 동일한 계산 제약 내에서 작동하면서도 에이전트 RL 시스템의 훈련을 크게 가속화하고 최종 성능을 유지하거나 향상시킬 수 있음을 보여줍니다.