기술 요약: RASFT (Rollout-Adaptive Supervised Fine-Tuning for Reasoning)

1. 문제 정의

지도 미세 조정(Supervised Fine-Tuning, SFT)은 오프라인 전문가 데모를 모방함으로써 대규모 언어 모델(LLM)을 추론 작업에 적응시키는 표준적인 접근 방식입니다. 그러나 저자들은 이 패러다임의 결정적인 한계를 지적합니다: 추론은 단순한 경로 모방 작업이 아니라는 점입니다. 하나의 문제는 종종 여러 개의 유효한 솔루션 경로를 가질 수 있지만, 표준 SFT는 단일 오프라인 전문가 궤적을 경직된 목표 행동으로 취급합니다.

이러한 경직된 모방은 두 가지 문제를 초래할 수 있습니다:

1. 표면 형태에 대한 과적합(Overfitting to Surface Forms): 모델이 근본적인 추론 분포를 학습하기보다 특정 데모를 암기하게 될 수 있습니다.
2. 잠재 능력의 억제(Suppression of Latent Ability): 사전 학습된 LLM은 풍부한 잠재적 추론 분포를 보유하고 있는 경우가 많습니다. 단일 전문가 경로를 과도하게 모방하면 이러한 사전 지식(prior)이 덮어씌워져, 모델 스스로 다양한 정답 추론 궤적을 생성하는 능력이 약화될 수 있습니다.

기존의 SFT 변형들(예: DFT, ASFT, ProFiT)은 학습 신호를 재조정하거나 참조 모델에 고정함으로써 이를 완화하려고 시도하지만, 이들은 여전히 주로 "데모 내부적(demonstration-internal)"인 방식에 머물러 있습니다. 즉, 이들은 현재 정책(current policy)의 실제 문제 해결 능력에 기반하여 감독을 교정하는 것이 아니라, 오프라인 궤적 내부의 신호에 기반하여 최적화를 수행합니다.

2. 방법론: RASFT

저자들은 모델의 현재 성능에 따라 전문가의 가이드와 스스로 생성한 추론 사이의 균형을 동적으로 조절하는 정책 인식 프레임워크인 **Rollout-Adaptive Supervised Fine-Tuning (RASFT)**을 제안합니다.

핵심 구성 요소

1. 로컬 후보 풀 구축 (Local Candidate Pool Construction):
   각 문제 프롬프트 $x_i$에 대해, RASFT는 다음을 포함하는 풀 $G_i$를 구축합니다:

   • 오프라인 전문가 궤적 ($y^e_i$).
   • 현재 정책($\pi_\theta$)이 온-폴리시 롤아웃(on-policy rollouts)을 통해 생성한 검증된 정답 궤적.
   • 참고: 오답 롤아웃은 최적화 대상에서는 제외되지만, 난이도 추정을 위해 사용됩니다.

2. 문제 수준 해결 가능성 추정 ($\zeta_i$):
   모델은 주어진 프롬프트에 대해 $K$개의 롤아웃을 생성합니다. 태스크 특화 검증기(예: 수학의 경우 최종 정답 일치, 코드의 경우 어설션 테스트)가 정답 여부를 판별합니다. 해결 가능성 지수는 성공률로 계산됩니다:
   $$\zeta_i = \frac{1}{K} \sum_{k=1}^{K} c_{i,k}$$
   여기서 $c_{i,k} \in \{0, 1\}$은 정답 여부를 나타냅니다. 이 점수는 현재 정책이 해당 문제를 얼마나 잘 해결할 수 있는지를 반영합니다.

3. 적응형 가중치 부여 (Adaptive Weighting):
   RASFT는 $\zeta_i$에 따라 후보 풀 내의 궤적에 가중치를 할당합니다:

   • 전문가 궤적 가중치 ($W_e$): 동적으로 조정됩니다. $\zeta_i$가 낮을 때(모델이 어려워할 때), 강력한 교정 가이드를 제공하기 위해 전문가 궤적에 더 높은 가중치를 부여합니다. $\zeta_i$가 높을 때(모델이 신뢰할 수 있을 때), 경직된 피팅을 방지하고 모델 자신의 추론이 주도할 수 있도록 가중치를 감쇄시킵니다.
   • 자기 생성 궤적 가중치 ($W_r$): 검증된 정답 롤아웃에 대해 고정됩니다.

4. 정책 정규화 목적 함수 (Policy-Regularized Objective):
   사전 학습된 분포로부터의 과도한 이탈을 방지하기 위해, RASFT는 동결된 참조 모델($\pi_{ref}$)과 현재 정책($\pi_\theta$) 사이의 **클립된 역비율(clipped inverse ratio)**을 도입합니다. 최종 손실 함수는 다음을 결합합니다:

   • 정규화된 궤적 가중치 ($\bar{W}_{i,j}$).
   • 클립된 역비율 ($Clip(r_{i,j}(\theta))$).
   • 토큰 수준의 신뢰도 ($p_{\theta}$).

목적 함수는 가중치가 적용된 시퀀스-투-시퀀스 손실을 최소화합니다:
$$\mathcal{L}(\theta) = -\mathbb{E}_i \left[ \sum_{y_{i,j} \in G_i} \sum_{t=1}^{|y_{i,j}|} \omega_{i,j,t} \log p_{\theta, i,j,t} \right]$$
여기서 $\omega_{i,j,t}$는 복합 가중치입니다.

3. 주요 기여

논문은 다음과 같이 기여를 요약합니다:

• 한계점 식별: 기존 SFT 변형들이 정책 인식이 부족하여, 언제 전문가 모방이 필요하고 언제 그것이 경직된 경로 피팅이 되는지를 구분하지 못한다는 점을 강조했습니다.
• 프레임워크 제안: 검증된 온-폴리시 롤아웃을 사용하여 문제 해결 가능성을 추정하고, 전문가 가이드와 자기 생성 정답 궤적 사이의 균형을 동적으로 맞추는 롤아웃 적응형 SFT 프레임워크인 RASFT를 도입했습니다.
• 실험적 검증: 광범위한 실험을 통해 RASFT가 수학 및 코드 추론 작업에서 표준 SFT, SFT 변형(DFT, ASFT, ProFiT) 및 대표적인 강화 학습(RL) 방법론(GRPO, LUFFY)보다 우수한 성능을 보임을 입증했습니다.

4. 실험 결과

실험은 Qwen2.5 및 Llama-3.2 제품군의 모델들을 사용하여 6개의 수학적 추론 벤치마크(MATH-500, Minerva, OlympiadBench, AIME 2024/2025, AMC 2023)와 2개의 코드 추론 벤치마크(HumanEval, MBPP)에서 수행되었습니다.

• 성능 향상: RASFT는 일관되게 가장 좋은 평균 성능을 달성했습니다.
  • 수학: Qwen2.5-Math-1.5B에서 가장 우수한 베이스라인 대비 상대적 이득 10.9% (25.00 $\to$ 27.72)를 기록했습니다.
  • 코드: Llama-3.2-3B에서 **26.9%**의 이득 (24.93 $\to$ 31.63)을 달성했습니다.
  • RL과의 비교: RASFT는 GRPO와 비교했을 때 평균 수학 정확도를 15.9% (20.25 $\to$ 23.47) 개선했습니다.
• 어블레이션 연구 (Ablation Studies):
  • 난이도 적응성: 적응형 가중치를 제거했을 때 평균 점수가 27.72에서 25.53으로 하락하여, 정적 균형이 최적이 아님을 확인했습니다.
  • 온-폴리시 롤아웃: 롤아웃을 제거했을 때(정적 전문가 가중치로 회귀) 전반적인 성능 저하가 나타나, 온라인 피드백의 필요성을 강조했습니다.
  • 역비율: 역비율을 제거하면 성능이 감소하여, 오프라인 데이터에 대한 과적합을 방지하고 사전 학습된 우선순위를 보존하는 역할을 확인했습니다.
  • 전이 가능성: RASFT는 표준 SFT 및 ProFiT와 통합되었을 때 성능을 향상시켜, 토큰 수준의 재조정 방법과 상보적임을 시사했습니다.
• 학습 역학 (Training Dynamics): RASFT는 다른 방법들과 비교하여 후기 단계에서 더 안정적인 학습 목적 함수와 낮은 파라미터 업데이트 밀도를 유지했으며, 이는 사전 학습된 추론 우선순위의 더 나은 보존을 나타냅니다.

5. 의의 및 주장

본 논문은 RASFT가 정적 데모 피팅에서 정책 적응형 감독으로의 전환을 나타낸다고 주장합니다. 그 의의는 다음과 같습니다:

1. SFT와 RL의 가교: RL 방법론에서 발견되는 온라인 탐색(롤아웃)과 적응형 가중치의 이점을 통합하면서도, SFT 프레임워크의 안정성과 단순성을 유지합니다.
2. 동적 교정: 특정 문제를 해결하는 모델의 실제 능력에 따라 전문가 감독의 강도를 성공적으로 교정하여, 모델 자신의 추론 분포가 억제되는 것을 방в지합니다.
3. 강건성: 다양한 모델 규모와 태스크 도메인에서 견고하며, 특히 경직된 모방이 실패하는 어려운 벤치마크(예: AIME, OlympiadBench)에서 상당한 이득을 보여줍니다.

저자들이 인정한 한계점:

• 계산 비용: RASFT는 주기적인 온-폴리시 롤아웃 생성 및 검증이 필요하기 때문에 표준 SFT보다 비용이 많이 듭니다.
• 검증 의존성: 이 방법은 신뢰할 수 있는 자동 검증 신호(예: 수학의 최종 정답, 코드의 테스트 케이스)에 의존합니다. 명확한 정답 신호가 없는 개방형 추론 작업으로 확장하는 것은 여전히 과제로 남아 있습니다.