Towards On-Policy SFT: Distribution Discriminant Theory and its Applications in LLM Training

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 후학습 (Post-training) 단계에서 **지도 미세조정 (SFT)**과 **강화학습 (RL)**은 두 가지 주요 방법론입니다.

• 현황: RL(예: RLHF, DPO) 은 일반적으로 SFT 보다 뛰어난 일반화 성능을 보이지만, 신뢰할 수 있는 피드백을 얻기 어렵거나 계산 비용이 과도하게 높은 상황에서는 적용이 제한적입니다. 반면 SFT 는 데이터 효율성이 높지만, 모델의 사전 학습된 지식 구조를 파괴하거나 '재앙적 망각 (Catastrophic Forgetting)'을 유발하여 일반화 성능이 RL 보다 낮습니다.
• 근본 원인: 이 격차의 주된 원인은 RL 이 'On-policy(모델이 생성한 데이터)'를 사용하는 반면, 기존 SFT 는 외부의 고정된 데이터셋을 무조건 학습하기 때문입니다. 모델의 내재적 분포와 동떨어진 (Out-of-Distribution, OOD) 데이터를 학습하면 모델의 원래 지식 구조가 손상됩니다.
• 핵심 질문: "모델의 자체 분포와 데이터의 정렬을 통해 SFT 의 데이터 효율성을 유지하면서도 RL 의 일반화 능력을 달성할 수 있는가?"

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 **분포 판별 이론 (Distribution Discriminant Theory, DDT)**을 제안하고, 이를 기반으로 두 가지 핵심 기술을 개발했습니다.

A. 분포 판별 이론 (Distribution Discriminant Theory, DDT)

• 개념: 특정 토큰이 모델의 내재 분포 (In-distribution) 에 속하는지 아니면 외부 분포 (Out-of-Distribution) 에 속하는지를 통계적 가설 검정 문제로 정의합니다.
• 최적 기준 (Optimal Criterion): 신호 대 잡음비 (SNR, Signal-to-Noise Ratio) 를 최대화하는 통계량을 도출했습니다. 기존 로그 가능도 (Log-Likelihood, LL) 는 문맥의 난이도에 따른 분산이 커서 OOD 검출에 불리합니다.
• 중심화된 로그 가능도 (Centered Log-Likelihood, CLL): 저자들은 $\phi_t = \log p_t(x_t) + H[p_t]$ (로그 확률 + 엔트로피) 를 최적의 판별 기준임을 증명했습니다. 이는 문맥별 난이도 변동을 제거하여 OOD 토큰을 더 정확하게 식별할 수 있게 합니다.
• 수학적 성질: CLL 점수의 누적 합은 In-distribution 일 때 0 평균 마팅게일 (Martingale) 성질을 가지며, OOD 일 때 음의 드리프트 (Negative Drift) 를 보입니다. 이를 통해 OOD 데이터에 대한 오류 확률을 이론적으로 제한할 수 있습니다.

B. 기술 1: In-Distribution FineTuning (IDFT)

• 목적: SFT 손실 함수를 모델의 분포 인식 능력에 따라 동적으로 재조정하여 OOD 데이터로 인한 재앙적 망각을 방지합니다.
• 메커니즘:
  • 토큰의 CLL 점수 ($\phi_t$) 를 기반으로 가중치 $\gamma_t = \exp(-\phi_t)$를 계산합니다.
  • OOD 토큰 ($\phi_t \ll 0$): 가중치가 커져서 그래디언트가 억제됩니다 (학습 중단).
  • In-distribution 토큰 ($\phi_t \approx 0$): 표준 학습을 유지합니다.
  • 강한 In-distribution 토큰 ($\phi_t > 0$): 가중치가 줄어들어 학습이 강화됩니다 (지식 통합).
• 효과: 모델이 자신의 능력 밖이거나 노이즈가 포함된 데이터에 과도하게 적응하는 것을 막아 사전 학습 지식을 보존합니다.

C. 기술 2: Hinted Decoding (힌트 디코딩)

• 목적: 고정된 데이터셋을 모델의 분포에 맞도록 재구성 (Re-alignment) 하는 데이터 레벨의 기법입니다.
• 방식:
  • 이중 스트림: 1) 정답이 포함된 '타겟 스트림' (Imitator) 과 2) 질문만 있는 '드래프터 스트림' (Original Model) 을 동시에 유지합니다.
  • 엔트로피 기반 혼합: 타겟 스트림의 엔트로피 (불확실성) 를 기반으로 두 스트림의 확률 분포를 기하학적으로 혼합합니다.
    • 불확실성이 높은 토큰 (스타일, 연결어 등): 모델의 자연스러운 분포를 따릅니다.
    • 불확실성이 낮은 토큰 (핵심 논리, 정답): 정답을 반영한 분포를 따릅니다.
  • False Positive (FP) 감지: CoT(Chain-of-Thought) 와 최종 답을 구분하는 디미미터 (예: < /think >) 가 생성된 후에는 모델의 자연스러운 생성으로 전환하여 논리적 일관성을 보장합니다.
• 효과: 정답의 정확성을 유지하면서도 모델의 고유한 스타일과 분포를 보존하는 고품질 학습 데이터를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 이론적 기반: 신호 검출 이론 (Signal Detection Theory) 을 적용하여 LLM 의 분포 정렬을 정량화하는 DDT를 수립하고, CLL 이 최적의 기준임을 수학적으로 증명했습니다.
2. 새로운 프레임워크: SFT 와 RL 의 격차를 해소하는 On-Policy SFT 프레임워크를 제안했습니다.
3. 실용적 기법:
   • IDFT: 손실 함수 레벨에서 분포 정렬을 구현하여 재앙적 망각을 완화했습니다.
   • Hinted Decoding: 데이터 레벨에서 모델 분포에 맞는 학습 데이터를 생성하는 알고리즘을 개발했습니다.
4. 오픈소스: 제안된 방법론의 코드를 공개하여 재현성을 보장했습니다.

4. 실험 결과 (Results)

• 성능 비교: Qwen2.5, DeepSeek-R1 등 최신 LLM 을 대상으로 수학 (Math) 및 추론 (Reasoning) 벤치마크 (AIME, AMC, MMLU 등) 에서 평가했습니다.
• SFT 대비 우위: 기존 SFT 및 DFT, EAFT 등 SFT 개선 기법들보다 IDFT가 수학 추론 성능과 일반화 능력 (General Reasoning) 에서 모두 우월한 성능을 보였습니다. 특히 재앙적 망각이 현저히 감소했습니다.
• RL 대비 우위: Hinted Decoding + IDFT 조합은 DPO, SimPO와 같은 오프라인 RL 알고리즘들보다 **더 낮은 계산 비용 (GPU 시간)**으로 동등하거나 더 높은 성능을 달성했습니다.
• 데이터 효율성: RL 이 필요한 시나리오 (예: 검증 가능한 정답이 있는 수학/코드) 에서 RL 을 대체할 수 있는 효율적인 대안임을 입증했습니다.

5. 의의 및 결론 (Significance)

• RL 의 대안 제시: RL 이 적용하기 어려운 환경 (피드백 획득이 어렵거나 비용이 높은 경우) 에서도 SFT 만으로 RL 수준의 일반화 성능을 달성할 수 있음을 보였습니다.
• 분포 정렬의 중요성 강조: 단순한 데이터 양의 증가가 아닌, 데이터가 모델의 내재 분포와 얼마나 정렬되어 있는지가 학습 효율성과 일반화 성능의 핵심임을 이론과 실험으로 증명했습니다.
• 미래 전망: 이 연구는 스펙큘레이티브 디코딩 (Speculative Decoding), 온-폴리시 증류 (On-policy Distillation) 등 다른 LLM 최적화 기법들과 자연스럽게 결합될 수 있는 기반을 마련했습니다.

요약하자면, 이 논문은 모델이 스스로 생성하는 데이터의 분포를 정량화하고 이를 학습 과정에 통합함으로써, SFT 의 효율성과 RL 의 일반화 능력을 동시에 잡는 새로운 패러다임을 제시했습니다.