기술적 요약: 수학적 추론을 위한 LLM 후학습에서 전문가 궤적 활용 재고

문제 제기

수학적 추론을 위한 대규모 언어 모델 (LLM) 의 후학습은 현재 지도 미세 조정 (SFT) 과 강화 학습 (RL) 이라는 두 가지 패러다임에 의해 지배되고 있습니다. SFT 는 모방을 통해 추론 사전 지식을 주입하기 위해 전문가 궤적 (프롬프트 - 해결 쌍) 에 크게 의존하는 반면, RL 방법 (예: GRPO, DAPO) 은 일반적으로 직접적인 전문가 궤적 활용 없이 보상 신호를 활용하여 추론 경로를 탐색합니다.

두 가지 모두 필요하다는 데는 합의가 이루어져 있지만, 최종 성능 상한을 극대화하기 위한 전문가 궤적 활용의 최적 메커니즘은 여전히 해결되지 않았습니다. 이 분야는 다음과 같은 '패러다임 딜레마'에 직면해 있습니다:

1. 동기화 접근법 (Syn-SFT-RL): 최근 방법들 (예: UPT, SRFT, LUFFY) 은 모방 손실 (imitation loss) 을 RL 루프에 직접 통합하여 우수한 효율성을 주장합니다. 그러나 이러한 방법들은 종종 제한된 SFT 데이터 규모 (예: 약 46K 샘플) 에 제약을 받으며, 훨씬 더 큰 데이터셋으로 훈련된 베이스라인에 대한 엄격한 비교가 부족합니다.
2. 순차적 접근법 (SFT-then-RL): 업계 표준은 순차적 파이프라인을 따릅니다. 그러나 이 접근법을 지배하는 원칙은 대부분 경험적입니다. SFT 에서 RL 로 전환하는 최적의 시기, 데이터 규모 대 난이도의 영향, 그리고 궁극적인 추론 상한을 극대화하기 위해 '적은 것이 더 많다 (Less is More)'는 가설 (최소한의 고품질 데이터 사용) 이 타당한지 여부에 대한 중요한 질문들은 여전히 답을 얻지 못했습니다.

방법론: 가소성 - 상한 프레임워크

이러한 격차를 해결하기 위해 저자들은 가소성 - 상한 프레임워크 (Plasticity-Ceiling Framework) 를 제안합니다. 이는 이론적 후학습 성능 상한 ($A_{post}$) 을 두 가지 측정 가능한 구성 요소로 분해하는 통합 분석 접근법입니다:

1. SFT 성능 ($P_{sft}$): 특정 컴퓨팅 할당량 ($x_{sft}$) 을 기준으로 SFT 단계 후 달성된 실현된 성능.
2. RL 가소성 ($P_{L_{rl}}$): 후속 RL 을 통해 달성 가능한 최대 잠재적 개선량으로, 점근적 상한과 SFT 베이스라인 간의 차이 ($A_{post} - P_{sft}$) 로 정의됩니다.

이 프레임워크는 시그모이드 법칙을 사용하여 RL 컴퓨팅에 따른 후학습 성능을 모델링함으로써 최종 상한의 정량적 분해를 가능하게 합니다. 이를 통해 저자들은 SFT 데이터 특성 (규모와 난이도) 과 훈련 역동성이 기초 ($P_{sft}$) 와 개선 여력 ($P_{L_{rl}}$) 에 모두 어떻게 영향을 미치는지 체계적으로 평가할 수 있습니다.

실험 설정

본 연구는 6 가지 수학 벤치마크 (GSM8K, OlympiadBench, Minerva, MATH, AIME24/25) 와 도메인 외 (OOD) 작업 (GPQA-Diamond, ARC-C) 에 걸쳐 Qwen2.5-7B와 Llama3.2-3B에 대한 광범위한 벤치마크를 수행했습니다.

• 데이터셋: 저자들은 증류된 DeepSeek-R1 출력에서 파생된 1K 에서 889K 개의 고유 샘플에 이르는 SFT 데이터셋을 구성했습니다. 여기에는 규모 변형 (S1K, Uniform102K, SFT889K) 과 난이도 변형 (Easy102K, Uniform102K, Hard102K) 이 포함됩니다.
• 베이스라인: 연구는 Pure-SFT, Pure-RL (GRPO, DAPO), Syn-SFT-RL (LUFFY, SRFT, UPT, Prefix-RFT), 그리고 순차적 SFT-then-RL 파이프라인을 비교합니다.
• 지표: 성능은 pass@1 정확도로 측정되며, 컴퓨팅 비용은 FLOPs(exaFLOPs) 로 정규화됩니다.

주요 결과

1. 패러다임 선택: 순차적 우위

순차적 SFT-then-RL 파이프라인이 우월한 표준으로 확립되었습니다.

• Syn-SFT-RL 의 한계: 동기화 방법은 훈련 불안정성과 조기 수렴을 보입니다. 이들은 모델 사전 지식에 매우 민감하며, 더 큰 데이터셋으로 최적화된 순차적 베이스라인과 비교할 때 효과적으로 확장되지 못합니다.
• '느리지만 높음 (Slow but High)'의 이점: Pure-SFT 는 광범위한 훈련을 통해 지속적인 개선을 보여주며, Pure-RL 또는 Syn-SFT-RL 방법의 상한보다 훨씬 높은 정점에 도달합니다. 결정적으로, SFT 포화 후 RL 로 전환하면 추가적인 이득을Unlock 하여 최고 성능 프론티어 (예: Qwen2.5-7B 에서 78.1 점, Pure-RL 은 74.3 점) 를 달성합니다.

2. 최적 전환 시기: SFT 포화

SFT 에서 RL 로 전환하는 최적의 전략은 SFT 검증 손실의 안정 영역 (Stable Regime) 또는 경미한 과적합 영역 (Mild Overfitting Regime) 까지 기다리는 것입니다.

• 조기 전환: 적응 영역 (underfitting) 동안 전환하면 RL 이 회복하는 데 필요한 기초 역량이 부족하여 최적의 상한을 달성하지 못합니다.
• 심각한 과적합: SFT 를 심각한 과적합 영역까지 계속하면 RL 가소성이 붕괴되어 최종 상한에 해롭습니다.
• 일반화: SFT 를 포화까지 훈련시키는 것은 도메인 외 (OOD) 일반화를 위한 견고한 기초를 마련하며, 집중적인 SFT 가 일반화를 저하시킨다는 주장과 모순됩니다.

3. 데이터 특성: 규모와 난이도

본 연구는 SFT-then-RL 확장 맥락에서 '적은 것이 더 많다'는 가설을 반박합니다.

• 규모의 지배: 데이터 규모는 최종 성능 상한의 주요 결정 요인입니다. 작은 데이터셋 (예: S1K) 은 초기 빠른 이득을 달성하지만 조기 포화됩니다. 대규모 데이터셋 (예: SFT889K) 은 더 높은 실현된 SFT 성능과 더 큰 보존된 RL 가소성을 제공하여 훨씬 더 높은 상한으로 이어집니다.
• 난이도의 승수 역할: 궤적 난이도는 성능 승수 역할을 합니다. 더 어려운 데이터 (Hard102K) 는 더 높은 SFT 성능을 달성하고 쉬운 데이터와 비교 가능한 가소성을 유지하므로, 규모가 고정된 경우 더 나은 선택입니다.
• 예측 지표: SFT 단계의 최소 검증 손실은 최종 후학습 상함에 대한 신뢰할 수 있고 견고한 지표로 작용하며, 궁극적인 성능 ($A_{post}$) 과 강력하게 상관관계가 있습니다.

의의와 기여

본 논문은 전문가 궤적 최적화를 경험적 추측에서 체계적이고 예측 가능한 과정으로 전환한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 가소성 - 상한 프레임워크: 후학습 성능을 실현된 SFT 이득과 후속 RL 가소성으로 분해하여 패러다임 선택을 위한 통합된 관점을 제공하는 이론적 메커니즘.
2. 엄격한 벤치마킹: 동기화 접근법과 순수 방법을 능가하는 안정성과 성능을 위한 엄격한 표준으로서 순차적 SFT-then-RL 파이프라인 확립.
3. 실행 가능한 확장 가이드라인:
   • 시기: SFT 포화 (안정 영역) 에서 RL 시작.
   • 데이터 전략: 상한을 극대화하기 위해 난이도보다 데이터 규모를 우선시; 제한된 규모 제약 내에서 난이도를 활용하여 최적화.
   • 모니터링: 최종 성능 상한의 대리 지표로 최소 검증 손실 사용.

저자들은 이러한 발견이 R1 스타일 궤적을 사용한 수학적 추론 작업에 대해 전문가 궤적에서 최대 가치를 추출하기 위한 실행 가능한 가이드라인을 제공한다고 결론지었습니다. 또한 창의적 글쓰기와 같은 검증 불가능한 작업이나 대체 궤적 스타일로 일반화되는 것과 관련된 한계를 인정하며, 이를 향후 연구의 열린 과제로 남겼습니다.