기술 요약: 접두사 샘플링을 통한 지도 학습 및 강화 미세 조정의 혼합

1. 문제 제기

대규모 언어 모델 (LLM) 의 사후 학습은 현재 **지도 미세 조정 (SFT)**과 **강화 미세 조정 (RFT)**이라는 두 가지 뚜렷한 패러다임이 지배하고 있습니다. 각 접근 방식은 특정 한계를 지닙니다:

• SFT는 시연 데이터를 모방하는 데 뛰어나지만, 행동 복제 (behavioral cloning) 로 기능하여 문제 있는 일반화와 견고성 문제를 초래하는 경우가 많습니다. 이는 밀집된 감독을 제공하지만 하류 작업 성능과 정렬이 잘 되지 않을 수 있습니다.
• RFT(예: PPO, GRPO)는 탐색과 목표 지향적 최적화를 통해 성능을 향상시키지만, 희소한 보상 신호, 초기 정책에 대한 민감성, 그리고 언어 혼합과 같은 예상치 못한 행동을 학습할 위험에 시달립니다. 최근 문헌들은 RFT 가 모델의 고유한 능력 상한선을 실제로 높일 수 있는지, 아니면 기존 사전 학습 지식을 단순히 정제하는 것인지에 의문을 제기합니다.

핵심 연구 질문은 SFT 의 과정 감독과 RFT 의 목표 지향적 최적화를 어떻게 공식적으로 통합하여 상호 보완적인 강점을 활용할 수 있는지에 관한 것입니다. 즉, 지식의 경계를 확장하기 위한 SFT 와 견고한 문제 해결을 향해 이끄는 RFT 를 결합하는 것입니다.

2. 방법론: Prefix-RFT

저자들은 단일 최적화 프레임워크 내에서 SFT 와 RFT 를 통합하는 Prefix-RFT라는 하이브리드 사후 학습 접근법을 제안합니다.

통합 관점

이 논문은 SFT 와 RFT 가 일관된 최적화 구조를 공유한다고 규명합니다. 두 방법 모두 시퀀스의 로그 확률을 업데이트하며, 주로 시퀀스의 출처 (전문가 대 온-정책) 와 가중치 부여 메커니즘 (고정 대 어드밴티지 가중) 에서 차이가 납니다.

핵심 메커니즘

Prefix-RFT 는 **접두사 샘플링 (Prefix Sampling)**을 통해 오프라인 시연 데이터셋을 RFT 학습 루프에 통합합니다:

1. 하이브리드 궤적 구성: 주어진 프롬프트 $x$와 시연 $y^*$에 대해, 정책 $\pi_{\theta}$는 $N-1$개의 표준 온-정책 롤아웃을 생성합니다. $N$번째 시퀀스의 경우, 시연에서 접두사 $y^*_{<L}$을 샘플링합니다. 그 후 정책은 연속 부분 $y_{\ge L}$을 생성하여 하이브리드 궤적 $y^{(N)} = (y^*_{<L}, y_{\ge L})$을 만듭니다.
2. 통합 그래디언트 업데이트: 하이브리드 궤적은 표준 롤아웃과 함께 처리됩니다. 그래디언트 업데이트는 탐색 (온-정책 토큰) 과 모방 (접두사 토큰) 에서의 학습을 결합합니다.
   • 접두사 토큰 ($t < L$): "모방"으로 처리되지만, 전체 하이브리드 궤적에서 추정된 어드밴티지 $\hat{A}_t$로 가중치가 부여됩니다. 하이브리드 궤적이 높은 보상을 산출하면 접두사가 강화되고, 그렇지 않으면 그 영향력이 약화됩니다.
   • 연속 토큰 ($t \ge L$): 표준 "탐색" 토큰으로 처리됩니다.
3. 엔트로피 기반 클리핑: 분포 변화로 인한 큰 로그 가능도 그래디언트 때문에 오프-정책 시연 토큰이 그래디언트를 지배하는 것을 방지하기 위해, 이 방법은 가장 높은 엔트로피를 가진 접두사 토큰의 상위 $k\%$(예: 20%) 만 업데이트합니다. 낮은 엔트로피 토큰은 이미 모델에 의해 매칭되었거나, 날카롭고 불안정하게 덮어쓸 수 있는 자신감 있는 불일치를 나타냅니다.
4. 코사인 감쇠 스케줄러: 위치 편향 (모델이 시퀀스의 끝을 거의 보지 못함) 을 완화하고 커리큘럼 학습을 구현하기 위해, 접두사 길이 $L$은 스케줄러에 의해 제어됩니다. 접두사 길이는 학습 초기에는 길게 (높은 가이드) 시작하여 학습이 진행됨에 따라 짧게 (더 많은 자율성) 감쇠하여 SFT 에서 RFT 로의 전환을 모방합니다.

3. 주요 기여

• 통합 프레임워크: 이 논문은 SFT 와 RFT 의 이론적 통합을 제공하며, 이를 연속적인 단계로 취급하는 대신 하이브리드 목적 함수를 통해 혼합할 수 있음을 입증합니다.
• Prefix-RFT 알고리즘: 모델을 엄격하게 제약하지 않고 오프라인 시연을 RFT 에 주입하는 간단하면서도 효과적인 방법을 도입하여, 전문가 접두사에 의해 안내받으면서도 우수한 연속 부분을 탐색할 수 있게 합니다.
• 동적 가중치 부여 및 클리핑: 궤적 수준의 어드밴티지를 사용하여 접두사 업데이트를 동적으로 가중치 부여하고, 오프-정책 분포 변화에 대한 학습 안정화를 위해 엔트로피 기반 클리핑을 적용하는 것을 제안합니다.
• 실증적 검증: Prefix-RFT 가 독립적인 SFT, RFT, 순차적 SFT-그다음-RFT 베이스라인은 물론 최근의 병렬 하이브리드 방법 (예: UFT, LUFFY, ReLIFT) 보다 우수함을 입증했습니다.

4. 실험 결과

실험은 주로 Qwen2.5-Math(1.5B, 7B) 및 LLaMA-3.1-8B 와 같은 모델을 사용하여 수학적 추론 작업 (AIME, AMC, MATH-500 등) 에서 수행되었습니다.

• 성능: Prefix-RFT 는 여섯 가지 수학 추론 벤치마크와 세 가지 일반 도메인 추론 작업에서 일관되게 모든 베이스라인을 능가했습니다. 예를 들어, Qwen2.5-Math-7B 에서 AIME 2024 에서는 Pass@1 점수가 31.8, AIME 2025 에서는 26.4를 기록하여 최상의 베이스라인 (LUFFY) 과 SFT+RFT 순차적 접근법을 능가했습니다.
• 추론 경계 (Pass@k): 핵심적으로, Prefix-RFT 는 모델의 성능 상한선을 유의미하게 높인 유일한 방법이었습니다. AIME 2025 에서 Pass@2048이 **76.7%**에 달했으며, 이는 기본 모델과 RFT 의 70.0% 와 비교됩니다. 이는 알려진 솔루션의 가능성을 높이는 것을 넘어 모델의 추론 능력을 확장함을 의미합니다.
• 견고성: 이 방법은 다양한 모델 규모에서 강력한 견고성을 보였으며, 시연 양이 감소 (데이터의 1% 까지) 하고 시연 생성기의 품질이 다양할 때 (1.5B 에서 32B 모델까지) 도 효과적이었습니다.
• 일반화: 코드 생성 (MBPP+, HumanEval+) 에 대한 예비 결과는 이 방법이 수학적 추론을 넘어 적용 가능함을 확인시켜 주었습니다.

5. 분석 및 의의

이 논문의 분석은 SFT 와 RFT 의 상호 보완적 특성을 강조합니다:

• 격차 해소: Prefix-RFT 는 뚜렷한 학습 패러다임을 효과적으로 종합합니다. 이는 모델이 시연 (SFT 와 유사) 에서 학습하면서도 RFT 의 목표 지향적 목적을 유지할 수 있게 합니다.
• 동적 전환: 이 방법은 모델이 학습 초기에는 접두사에 크게 의존 (높은 어드밴티지, 긴 접두사) 하다가 능력이 향상됨에 따라 점차 자율적 탐색으로 전환 (어드밴티지 감소, 짧은 접두사) 하는 동적 전환을 유도합니다.
• 표적 학습: 모델은 어려움을 겪는 문제 (어려운 문제) 에서는 시연에서 더 집중적으로 학습하고, 쉬운 문제에서는 자기 탐색에 더 의존하여 이 접근법의 적응적 특성을 검증합니다.

의의:
저자들은 Prefix-RFT 가 SFT 의 안정성과 RFT 의 탐색적 힘 사이의 "최적 지점"을 제공한다고 주장합니다. 이러한 패러다임을 공식적으로 통합함으로써, 이 방법은 행동 복제 (SFT) 의 한계와 순수 강화 학습 (RFT) 의 불안정성을 해결합니다. 이 연구는 SFT 와 RFT 를 별개의 연속 단계로 취급하는 것은 비최적이며, 통합된 접근 방식이 이를 효과적으로 조화시켜 LLM 추론 능력의 경계를 확장할 수 있음을 시사합니다.

한계:
저자들은 실험이 신뢰할 수 있는 결과 보상을 가진 검증 가능한 추론 설정에 초점을 맞추고 있음을 지적합니다. 코드 생성 결과가 이전 가능성을 시사하지만, 더 넓은 개방형 생성 및 노이즈가 있는 보상 설정은 향후 과제로 남아 있습니다. 또한, 이 방법은 외부 시전에 의존하며, 여러 후보 시전의 체계적 선택은 향후 연구 과제로 남깁니다.