기술 요약: AdaPrefix-GRPO

문제 정의

Group Relative Policy Optimization (GRPO)는 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 지배적인 온-폴리시(on-policy) 강화 학습(RL) 방법입니다. 그러나 이 방식은 훈련 분포 중 가장 어려운 문제들에 대해 구조적인 "데드 존(dead zone)" 문제를 겪습니다. 모델이 $G$개의 롤아웃 그룹 전체에서 문제를 해결하지 못할 경우, 그룹 상대적 이점(group-relative advantage)이 사라지게 되며(모든 보상이 동일함), 결과적으로 그래디언트 기여도가 0이 됩니다. 결과적으로 모델은 아직 해결할 수 없는 프런티어 문제에 샘플링 연산량을 낭비하게 되며, 그 문제들로부터 아무것도 배우지 못합니다.

동적 필터링(모두 틀린 그룹을 버리는 방식)이나 SFT를 통한 웜 스타트(warm-starting)와 같은 기존의 구제책들은 불충분합니다. 필터링은 개선에 필요한 바로 그 데이터를 버리는 것이며, SFT는 후속 탐색을 방해하는 엔트로피 붕괴(entropy collapse)를 유발할 수 있습니다. 정답 솔루션의 접두사(prefix)를 앞에 붙여 어려운 문제를 일시적으로 쉽게 만드는 병행 연구들이 존재하지만, 이러한 방식들은 대개 베이스 모델의 정확도에 기반하여 접두사 길이를 고정합니다. 이러한 정적 접근 방식은 훈련 중 정책의 개선을 추적하지 못하므로, 문제가 최적의 학습 영역(성공률이 0은 아니지만 포화 상태도 아닌 지점)에서 벗어나게 만듭니다.

방법론: AdaPrefix-GRPO

본 논문은 솔루션 접두사의 길이를 GRPO 학습 신호를 극대화하기 위한 연속적인 폐쇄 루프 제어기(closed-loop controller)로 취급하는 AdaPrefix-GRPO를 소개합니다.

핵심 메커니즘

1. 난이도 조절 다이얼로서의 접두사: 길이 $\rho \in [0, 1]$인 정답 접두사를 문제 앞에 붙이면 조건부 성공률 $\kappa(\rho)$가 거의 단조 증가합니다. 이를 통해 시스템은 특정 목표 성공률을 달성하도록 문제의 난이도를 조정할 수 있습니다.
2. 중간 설정값(Intermediate Set-Point): 기존 RL 문헌에 따라, 이 방법은 중간 그룹 성공률을 $k/G \approx 0.5$로 맞추는 것을 목표로 합니다. 이 비율에서 총 양의 그래디언트 신호($p(1-p)$)와 대조적(정답/오답) 쌍의 수가 최대화됩니다. 0 또는 1에 가까운 비율은 미미한 신호만을 생성합니다.
3. 폐쇄 루프 제어(Closed-Loop Control): 정적 방법과 달리, AdaPrefix-GRPO는 훈련 전반에 걸쳐 접두사 길이를 동적으로 조정합니다.
   • 글로벌 베이스 조정: 단일 베이스 접두사 비율 $\rho_b$는 배치 평균 성공률을 목표치 $\tau = 0.5$로 유도하기 위해, 할선법(secant method)과 이분법(bisection) 백업을 결합한 루트 파인딩 알고리즘을 사용하여 $N$ 스텝마다 업데이트됩니다.
   • 샘플별 오프셋: 배치가 양극화되는 것(어떤 문제는 너무 쉽고, 어떤 문제는 너무 어렵게 되는 현상)을 방지하기 위해, 콜드 스타트 난이도 추정치에 기반하여 각 샘플에 정적 난이도 오프셋 $\delta(d_x)$를 적용합니다. 더 어려운 문제에는 약간 더 긴 접두사를, 쉬운 문제에는 더 짧은 접두사를 제공합니다.
   • 어닐링(Annealing): 배포된 모델이 도움 없이 문제를 해결할 수 있도록, 훈련 마지막 단계에서는 접두사 길이를 0으로 어닐링합니다. 줄어드는 상한 포락선(upper envelope)은 $\rho \to 0$을 강제하여, 모델이 가이드된 연습에서 도움 없는 추론으로 전환되도록 합니다.

구현

이 방법은 RL 트레이너의 변경을 최소화합니다. 접두사는 데이터 파이프라인에서 어시스턴트 메시지로 주입됩니다. 그래디언트는 접두사 토큰에 대해 마스킹 처리되며(레퍼런스를 모방하는 것을 방지함), 보상은 전체 시퀀스(접두사 + 생성물)에 대해 계산됩니다. 그 외의 트레이너는 "스톡(stock)" 상태를 유지합니다.

주요 기여

• 폐쇄 루프 제어: 접두사 길이를 고정된 휴리스틱이 아니라, 정책이 개선됨에 따라 최적의 $k/G$ 비율을 유지하도록 동적으로 조정되는 추적된 설정값 제어기로 프레임화했습니다.
• 신호 극대화: 중간 성공률이 RL 신호를 극대화한다는 이론적 발견을 실무에 적용하여, 어려운 문제들이 "학습 가능한" 영역에 머물게 함으로써 데드 존에 빠지는 것을 방지했습니다.
• 어닐링 전략: 훈련/테스트 분포 차이를 제거하는 메커니즘을 도입하여, 최종 정책이 스캐폴딩(scaffolding)으로부터 학습한 내용을 바탕으로 도움 없이 문제를 해결할 수 있도록 보장합니다.
• 효율성: 데이터 준비 및 로스 마스킹 내에서 순수하게 구현되어, RL 트레이너의 구조적 변경이 필요 없습니다.

실험 결과

실험은 Qwen3 모델(0.6B, 1.7B, 4B)을 사용한 어려운 수학 추론 태스크에서 수행되었으며, Qwen3.5 및 Gemma 4에 대한 교차 패밀리 검증을 거쳤습니다. 모든 방법은 공정성을 위해 동일한 훈련 FLOPs 조건에서 비교되었습니다.

• 성능 향상: DeepMath 홀드아웃 세트에서 AdaPrefix-GRPO는 바닐라 GRPO 및 고정 접두사 베이스라인(PrefixRL)보다 유의미하게 높은 성능을 보였습니다.
  • Qwen3-0.6B: pass@1이 19.6%에서 41.8%로 향상 (+22.2 pp).
  • Qwen3-1.7B: pass@1이 30.1%에서 48.2%로 향상 (+18.1 pp).
  • Qwen3-4B: pass@1이 54.9%에서 64.1%로 향상 (+9.2 pp).
  • 성능 향상은 데드 존에 더 깊이 위치한 작은 모델들에서 가장 두드러졌습니다.
• 효율성 및 트레이스 길이: 접두사 사용에도 불구하고, 최종 배포된 모델( $\rho=0$에서 평가)은 훨씬 짧은 트레이스(예: PrefixRL의 8.0k 대비 4.4k 토큰)를 생성하면서도 더 높은 정확도를 달al성했습니다. 이는 이 방법이 길고 운 좋은 탐색이 아닌 효율적인 추론을 장려함을 시사합니다.
• 일반화: 이 방법은 다른 모델 패밀리(Qwen3.5, Gemma 4)로 성공적으로 전이되었으며, 쉬운 태스크(GSM8K)에서 성능 저하 없이 성능을 유지했습니다. 이는 제어기가 쉬운 문제에 과도한 접두사를 붙이지 않음을 확인시켜 줍니다.
• 어블레이션(Ablations): 폐쇄 루프 제어를 제거(고정 길이 또는 글로벌 감쇠 사용)했을 때 유의미한 성능 저하가 발생하여, 동적 적응이 성공의 주요 동력임을 확인했습니다.

의의 및 주장

본 논문은 AdaPrefix-GRPO가 어려운 추론 문제의 "샘플링 장벽"을 제거함으로써 훈련 역학을 근본적으로 변화시킨다고 주장합니다. 접두사 길이를 폐쇄 루프로 제어함으로써, 이 방법은 가장 어려운 문제조차 훈련 전반에 걸쳐 최대의 그래디언트 신호를 기여할 수 있도록 보장합니다.

저자들은 이 방법이 모델의 고유한 능력 한계를 초 exceeding하는 것이 아니라, 제약 조건을 "모델이 도움 없이 이 문제를 풀 수 있는가?"에서 "충분한 스캐폴딩이 주어졌을 때 이 문제를 완수할 수 있는가?"로 이동시키는 것이라고 강조합니다. 어닐링 과정은 스캐폴딩 하에서 학습된 기술이 도움 없는 해결로 잘 일반화되도록 보장합니다. 결론적으로, 어려운 추론 태스크에 대해 적응형 난이도 제어는 표준 GRPO가 실패하는 지점에서 신호를 추출하기 위한 핵심 메커즘이며, 그 혜택은 작은 모델들에게 가장 크게 돌아갑니다.