Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 후학습 (Post-training) 에서 표준으로 사용되는 지도 학습 미세 조정 (Supervised Fine-Tuning, SFT) 은 종종 일반화 능력이 제한적인 것으로 나타납니다. 기존 연구들은 이 한계를 SFT 패러다임 자체에서 찾았으나, 본 논문은 그 원인이 기본 학습 목표 (Objective) 인 음의 로그 가능도 (Negative Log Likelihood, NLL, $-\log p$) 에 있다고 주장합니다.

• NLL 의 한계: NLL 은 처음부터 학습할 때 (from scratch) 최적의 조건을 가정하지만, LLM 의 후학습은 이미 사전 학습을 통해 작업 관련 사전 지식 (Priors) 을 내포한 모델을 기반으로 합니다. 또한, 긴 체인 오브 사고 (Chain-of-Thought) 학습 데이터는 노이즈가 포함될 수 있습니다.
• 핵심 질문: 사전 학습된 모델이 이미 강력한 지식을 가지고 있는 상황에서, 모든 토큰을 동일하게 복제하도록 강요하는 NLL 이 과연 최적의 학습 목표일까요?

2. 방법론 (Methodology)

2.1. 확률 기반 학습 목표의 일반화

저자들은 NLL 을 더 넓은 확률 기반 목표 함수의 특수한 경우로 간주하고, 다음과 같은 매개변수화된 목표 함수 군을 제안합니다:
$$f_\alpha(p) := \frac{1 - p^\alpha}{\alpha}$$
여기서 $p$는 모델이 정답 토큰에 할당한 확률입니다.

• $\alpha \to 0$: NLL ($-\log p$) 로 수렴.
• $\alpha = 1$: 단순 확률 목표 ($1-p$, 즉 정확도 최대화).
• $\alpha > 1$: 오목 (Concave) 함수로, 높은 확률 토큰을 강조하고 낮은 확률 토큰의 영향을 줄임.
• $0 < \alpha < 1$: 볼록 (Convex) 함수로, 낮은 확률 토큰을 강조함.

2.2. 모델 능력 연속체 (Model-Capability Continuum)

학습 목표의 효과는 모델이 해당 도메인에 대해 가지고 있는 사전 지식의 강도 (Prior Strength) 에 따라 달라진다는 '모델 능력 연속체' 개념을 도입했습니다.

1. 모델 - 강 (Model-Strong, MS): 사전 학습 데이터에 해당 도메인 (예: 수학) 이 풍부하여 모델이 이미 높은 확률로 정답을 예측하는 경우.
2. 모델 - 약 (Model-Weak, MW): 사전 학습 데이터에 해당 도메인 (예: 새로운 퍼즐, 저자원 언어) 이 없어 모델의 예측이 무작위 수준인 경우.
3. 모델 - 중간 (Model-Intermediate, MI): 부분적인 지식을 가진 경우 (예: 의학).

2.3. 실험 설정

• 모델: 8 개의 다양한 백본 (LLaMA, DeepSeek, Qwen 시리즈 등).
• 벤치마크: 27 개의 벤치마크, 7 개의 도메인 (수학, 의학, 퍼즐, 코딩, 저자원 언어 등).
• 비교: NLL ($-\log p$) vs. 사전 지식 편향 목표 ($-p$, $-p^{10}$, 임계값 적용 등).

3. 주요 기여 (Key Contributions)

1. 모델 능력 연속체 발견: SFT 의 학습 목표 효과는 단일한 '최적 손실 함수'가 존재하는 것이 아니라, 모델의 사전 지식 강도에 따라 연속적으로 변한다는 것을 규명했습니다.
2. 목표 함수의 역전 현상 (Reversal):
   • 모델 - 강 (MS) 영역: NLL 보다 사전 지식 편향 (Prior-leaning) 목표 (예: $-p$, $-p^{10}$, 임계값 기반 NLL) 가 일관되게 우월합니다. 이는 모델이 이미 높은 확률로 정답을 예측할 때, 노이즈가 있는 낮은 확률 토큰의 영향을 줄여야 함을 의미합니다.
   • 모델 - 약 (MW) 영역: 사전 지식 회피 (Prior-averse) 인 표준 NLL 이 우세합니다. 모델이 지식이 부족할 때는 모든 토큰 (특히 낮은 확률인 오답) 에서 강력한 그라디언트 신호를 받아 학습해야 하기 때문입니다.
   • 모델 - 중간 (MI) 영역: 두 목표 간의 성능 차이가 미미하며, 단일 목표가 항상 우세하지 않습니다.
3. 이론적 분석: 그라디언트 흐름 (Gradient Flow) 을 기반으로 한 이론적 분석을 통해, 모델의 사전 지식 강도에 따라 어떤 목표 함수가 위험 (Risk) 감소를 더 잘 이루는지 수식적으로 증명했습니다.
4. 실용적 가이드라인: "어떤 모델을 어떤 데이터로 학습시킬 때 어떤 손실 함수를 써야 하는가"에 대한 원칙적인 지침을 제시했습니다.

4. 실험 결과 (Results)

• 수학 (Model-Strong): NuminaMath 데이터셋에서 $-p$ 또는 임계값이 적용된 NLL ($p \ge 0.2$) 은 표준 NLL 보다 평균 16% 까지 정확도 향상을 보였습니다. 특히 낮은 확률 토큰을 제외하는 것이 성능 향상의 핵심 요인이었습니다.
• 퍼즐/저자원 언어 (Model-Weak): Reasoning Gym 의 Figfont 퍼즐이나 저자원 언어 학습에서는 표준 NLL 이 $-p$보다 압도적으로 우세했습니다. 사전 지식이 없을 때 모델이 오답 토큰을 학습하도록 강요하는 NLL 의 특성이 필수적이었습니다.
• 의학 (Model-Intermediate): 의학 추론 데이터셋에서는 두 목표 간 성능 차이가 통계적으로 유의미하지 않았습니다.
• 모델 스케일: 모델 크기가 커질수록 (3B $\to$ 14B) 사전 지식이 풍부해지므로, 사전 지식 편향 목표 ($-p$) 의 우위가 더욱 뚜렷해졌습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 후학습 분야에서 NLL 의 만능성 (Universality) 을 부정하고, 모델의 능력과 데이터 특성에 따라 학습 목표를 동적으로 선택해야 함을 강조합니다.

• 이론적 통찰: NLL 이 항상 최선은 아니며, 모델이 이미 강력한 사전 지식을 가지고 있을 때는 이를 활용하여 노이즈를 제거하는 '사전 지식 편향' 목표가 더 효과적임을 증명했습니다.
• 실무적 적용:
  • 수학, 코딩, 고도화된 추론: 사전 학습 데이터가 풍부한 도메인에서는 $-p$나 임계값 기반 손실 함수를 사용하여 일반화 성능을 극대화할 수 있습니다.
  • 새로운 도메인, 저자원 언어: 사전 지식이 부족한 도메인에서는 여전히 NLL 이 가장 안전한 선택입니다.
• 향후 연구 방향: 강화 학습 (RL) 기반의 학습 (RLHF/RLVR) 이 본 논문에서 제안한 '사전 지식 편향' 목표와 유사한 메커니즘을 가질 수 있음을 시사하며, SFT 와 RL 의 통합적 이해의 기초를 제공합니다.

요약하자면, 이 연구는 "모델이 얼마나 잘 알고 있는가 (Model Capability)" 에 따라 "무엇을 배워야 하는가 (Learning Objective)" 가 달라져야 한다는 새로운 패러다임을 제시합니다.