기술 요약: 타겟 분포 설계를 통한 지도 미세 조정(SFT)에 대한 통합적 관점

문제 정의

지도 미세 조정(Supervised Fine-Tuning, SFT)은 전문가의 시연(demonstrations)을 모방함으로써 대규모 언어 모델(LLM)을 특정 작업에 적응시키는 중요한 단계입니다. 그러나 표준적인 SFT는 관찰된 토큰 $y_t$의 확률은 최대화하는 동시에 다른 모든 토큰에는 0의 확률을 할당하는 경직된 **원-핫 타겟 분포(one-hot target distribution)**에 의존합니다.

저자들은 이러한 정식화가 다음과 같은 몇 가지 이유로 최적이 아니라고 주장합니다:

1. 비유일성(Non-Uniqueness): 현실적인 데이터셋에서 하나의 프롬프트는 종종 여러 개의 유효한 추론 경로, 표현 방식 또는 중간 단계를 허용합니다. 관찰된 단일 토큰이 유일하게 올바른 연속형인 경우는 드뭅니다.
2. 노이즈 및 불일치(Noise and Misalignment): 관찰된 토큰은 사전 학습된 모델에 인코딩된 풍부한 지식 사전 확률(knowledge prior)과 일치하지 않거나 노이즈가 섞여 있을 수 있습니다.
3. 과잉 확신(Overconfidence): 원-핫 타겟에 엄격하게 피팅하는 것은 노이즈를 증폭시키고, 과잉 확신을 유도하며, 사전 확률을 방해하고, 일반화 성능을 저하시킬 수 있습니다.

기존 연구들은 토큰 레벨의 가중치 재조정(예: DFT, ProFit)이나 분포 정규화(예: 레이블 스무딩, KL 제약)를 통해 이러한 문제를 완화하려고 시도합니다. 그러나 이러한 방법들은 서로 연결된 관계를 설명하거나 더 나은 목적 함수 구축을 가이드할 수 있는 통합된 이론적 프레임워크 없이, 별개의 알고리즘적 선택으로 제시되는 경우가 많습니다.

방법론: Q-타겟 프레임워크

본 논문은 SFT를 손실 최소화 문제가 아니라 타겟 분포 설계(target distribution design) 문제로 재해석합니다. 핵심 통찰은 모든 토큰 레벨 손실 함수가 모델이 특정 타겟 분포 $Q_t$를 따르도록 암시적으로 유도한다는 것입니다.

Q-타겟 정식화

저자들은 Q-타겟 프레임워크를 제안하며, 이는 학습 감독(supervision)을 두 가지 명시적인 설계 선택으로 분해합니다:
$$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$$
여기서:

• $\delta_{y_t}$는 관찰된 토큰의 원-핫 분포입니다.
• $\gamma_t \in [0, 1]$는 관찰된 토큰에 대한 **신뢰도(trust)**를 나타냅니다. 이는 레이블에 할당되는 확률 질량을 제어합니다.
• $\tilde{\pi}_t$는 가능한 대안들에 대한 **잔여 분포(residual distribution)**로, 남은 확률 질량 $(1 - \gamma_t)$를 받습니다.

이 프레임워크는 기존의 SFT 변형들을 통합합니다:

• 토큰 가중치 변형 (예: DFT, ProFit): 주로 모델의 확신도나 토큰 품질에 따라 $\gamma_t$를 조정하지만, 잔여 분포 $\tilde{\pi}_t$를 모델 자신의 사전 확률(self-matching)로 암시적으로 설정하므로, 대안에 대한 교정 신호를 제공하지 못합니다.
• 분포 변형 (예: 레이블 스무딩, KL 제약): 주로 $\tilde{\pi}_t$를 지정하지만(예: 균등 분포, 참조 모델), 종종 고정된 $\gamma_t$를 사용합니다.

TARGET-SFT: 구체적인 구현체

이 프레임워크를 바탕으로, 저자들은 $Q$-타겟의 두 구성 요소를 명시적으로 설계하는 TARGET-SFT를 제안합니다.

1. 적응형 신뢰도 ($\gamma_t$): 고정된 가중치 대신, $\gamma_t$는 모델의 자체 예측 확률 $p_y = \pi_\theta(y_t | x_t)$로부터 도출됩니다.

   • 모델이 확신할 때 ($p_y \approx 1$), $\gamma_t \approx 1$이 되어 목적 함수는 표준 SFT에 가까워집니다.
   • 모델이 불확실할 때 ($p_y \approx 0$), $\gamma_t \approx 0$이 되어 잠재적으로 노이즈가 섞인 레이블에 대한 엄격한 모방을 약화시킵니다.
   • 이는 토큰에 대한 "신뢰"를 베타 분포를 가진 잠재 변수로 모델링하는 것에서 동기를 얻었으며, 사후 평균은 모델 확률에 근사합니다.

2. 교사 가이드 잔여 분포 ($\tilde{\pi}_t$): 잔여 질량을 (아무런 새로운 정보를 제공하지 않는) 학생 모델의 사전 확률로 기본 설정하는 대신, TARGET-SFT는 이를 교사 가이드 분포에 할당합니다.

   • 잔여 분포는 KL 정규화된 보상 형성(reward shaping)을 통해 구축됩니다: $\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$. 여기서 $\pi_T$는 교사 분포(예: 지시어 튜닝된 모델)이며, $\eta$는 교사 신호의 강도를 제어합니다.
   • 이를 통해 모델은 관찰된 레이블이 불확실할 때 교사가 제안하는 "가능한 대안들"로부터 학습할 수 있으며, 이는 폴백(fallback) 감독 메커니즘으로서 작용합니다.

최종 목적 함수는 모델 분포와 구축된 $Q_t^{TARGET}$ 사이의 교차 엔트로피 손실입니다:
$$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$$

주요 기여

1. 타겟 분포 관점: 본 논문은 SFT를 바라보는 근본적인 관점의 변화를 도입하며, 손실 함수 자체가 아니라 유도된 타겟 분포가 설계의 주요 대상이라고 주장합니다.
2. Q-타겟 프레임워크: SFT 목적 함수를 레이블 신뢰도($\gamma_t$)와 잔여 할당($\tilde{\pi}_t$)이라는 두 가지 명시적 선택으로 분해하는 통합적 렌즈를 제공합니다. 이 프레임워크는 기존의 변형들이 이 공간 내에서 어떻게 암시적인 선택인지 설명합니다.
3. TARGET-SFT 알고리즘: 적응형 신뢰도와 교사 가이드 잔여 감독 사이의 균형을 맞추는 구체적인 방법을 제안합니다. 이는 불확실한 레이블에 대한 과적합을 방지하는 동시에, 교사의 지식을 활용하여 모델을 가능한 대안으로 유도합니다.

실험 결과

저자들은 수학적 추론(NuminaMath-CoT, OpenR1-15k)과 의료 추론(m23k)을 포함하는 10개의 데이터셋-모델 설정에서 TARGET-SFT를 평가하였으며, 모델 규모는 1.5B에서 8B 파라미터(Qwen2.5, Qwen3, LLaMA)까지 다루었습니다.

• 성능: TARGET-SFT는 모든 설정에서 표준 SFT, 확률 가중치 SFT(p-loss), 그리고 지식 증류(knowledge distillation) 베이스라인들을 제치고 일관되게 가장 높은 Average@16 정확도를 달 기록했습니다.
• 수학적 추론: 표준 SFT는 경직된 원-핫 피팅으로 인해 완만한 개선을 보이거나 오히려 성능이 저하되는 경우(예: Qwen3-1.7B)가 있었습니다. TARGET-SFT는 p-loss보다 유의미하게 높은 성능을 보였으며, 이는 잔여 분포를 명시적으로 설계하는 것이 단순히 레이블의 가중치를 낮추는 것보다 우월함을 입증합니다.
• 의료 추론: 표준 SFT가 일부 의료 사례에서 잘 작동하는 것을 보였으나(이는 엄격한 모방이 때때로 유효함을 시사함), TARGET-SFT는 여전히 최상의 평균 성능을 달성했습니다. 이는 단순한 재가중치 방식이 덜 효과적일 때도 교사 가이드 잔여 브랜치가 가치를 제공함을 나타냅니다.
• 절제 연구(Ablation Studies):
  • 교사 신호 강도($\eta$)를 변화시켜도 적응형 가중치가 다양한 강도에서 견고함을 확인했습니다.
  • $(1-\gamma_t)$를 고정된 상수 $c$로 대체했을 때 성능이 저하되었으며, 이는 불확실성에 따른 가중치 적용의 필요성을 확인시켜 줍니다.
  • 증류 베이스라인들은 혼합 가중치 $c$에 매우 민감했으며 TARGET-SFT의 성능에 미치지 못했습니다. 이는 교사를 고정된 전체 타겟으로 사용하는 것이 적응형 폴백 감독에 비해 차선책임을 시사합니다.

의의 및 주장

본 논문은 그 정식화가 SFT 훈련을 위한 더 근본적인 설계 원칙을 밝혀낸다고 주장합니다. 손실 함수에서 유도된 타겟 분포로 초점을 전환함으로써, 저자들은 다음을 달성했습니다:

• 서로 다른 SFT 변형들을 하나의 이론적 프레임워크 아래 통합했습니다.
• SFT 목적 함수의 더 넓은 탐색 공간을 노출하여, 데이터 모방과 사전 확률 유지 및 외부 가이드 통합 사이의 균형을 명시적으로 제어할 수 있게 했습니다.
• 효과적인 SFT는 경직된 원-핫 타겟이나 정적인 정규화에 의존하는 것이 아니라, 모방 강도와 남은 확률 질량의 할당을 정교하게 설계하는 데서 온다는 것을 입증했습니다.

저자들은 결론적으로 TARGET-SFT가 데이터 모방, 사전 확률 보존, 그리고 대안적 감독 사이의 균형을 더 잘 맞추는 새로운 목적 함수 설계를 위한 길을 열어주는, SFT에 대한 새롭고 더 완전한 관점을 제공한다고 밝힙니다.