기술 요약: InfoSFT

문제 정의

지도 미세조정 (SFT) 은 오프라인 전문가 시연을 사용하여 대규모 언어 모델 (LLM) 에 새로운 행동을 가르치는 표준 접근법입니다. 그러나 표준 SFT 는 두 가지 치명적인 한계를 겪습니다:

1. 약한 테스트 시간 일반화: 표준 SFT 는 베이스 모델 하에서 낮은 확률을 갖는 샘플을 포함하여 모든 샘플을 균일하게 적합시킵니다. 이러한 낮은 확률 토큰은 큰 음의 로그 가능도 손실을 초래하여, 모델이 근본적인 목표 행동을 학습하는 대신 특정 샘플에 과적합되도록 만듭니다. 결과적으로 SFT 는 일반화 벤치마크에서 온-정책 방법 (RL 등) 보다 종종 성능이 떨어집니다.
2. 치명적 망각: 낮은 확률의 오프라인 데이터를 사용하여 새로운 행동에 적응하면 모델의 출력 분포에 상당한 변화가 발생합니다. 이러한 큰 분포 변화는 이전 능력 (예: 안전성, 지시 따르기, 일반 추론) 의 저하와 상관관계가 있으며, 이를 치명적 망각이라고 합니다.

필터링이나 낮은 확률 데이터의 하위 가중치 부여와 같은 기존 완화 전략은 종종 베이스 모델이 학습해야 하는 정작 새로운 행동들을 억제하여, 새로운 작업 학습과 기존 작업 유지 사이의 트레이드오프를 초래합니다.

방법론: InfoSFT

저자들은 "최대 정보성, 중간 신뢰도 토큰"에 학습 신호를 집중하도록 설계된 원칙적인 토큰 가중치 부여 방식인 InfoSFT를 제안합니다. 이 방법은 근접 업데이트 프레임워크에서 유도되었으며, 고정된 KL-발산 예산 하에서 전문가 분포에 적합하는 것과 베이스 모델에 가깝게 머무르는 것 사이의 트레이드오프를 최적화합니다.

이론적 유도

저자들은 SFT 를 현재 모델 하에서 샘플의 확률 $q = \pi_\theta(y^*|x)$에 따라 샘플 가중치가 결정되는 정책 경사 문제로 프레임합니다.

• 표준 SFT는 균일한 가중치 ($w=1$) 를 할당하여 모든 토큰을 동등하게 취급합니다.
• **DFT (가능도 가중치 SFT)**는 확률에 비례하는 가중치 ($w \propto q$) 를 할당하여 훈련을 안정화하지만, 정보성이 높은 낮은 확률 샘플의 가중치를 낮게 평가합니다.
• InfoSFT는 개별 샘플을 암기하는 대신 전문가 데이터의 집단 분포에 적합하는 것을 우선시하는 최적 가중치 규칙을 유도합니다. 확률 $q$를 갖는 토큰에 대한 최적 가중치는 다음과 같이 유도됩니다:
  $$w_{info}(q) \propto q \left( \text{logit}(p) - \text{logit}(q) \right)_+$$
  여기서:
  • $p$는 평균 전문가 신뢰도의 추정치 (보정 상수) 입니다.
  • $\text{logit}(q) = \log(\frac{q}{1-q})$입니다.
  • $(\cdot)_+$는 음수가 아닌 가중치를 보장하기 위해 클리핑을 나타냅니다.

주요 특징

• 중간 신뢰도 집중: 가중치 함수는 중간 신뢰도를 갖는 토큰에서 최대값을 가집니다. 이는 베이스 모델 하에서 가능성이 낮아 (따라서 정보성이 높지만) 불안정성을 초래할 정도로 낮지 않은 토큰에 높은 가중치를 부여합니다.
• 극단값에 대한 소멸 가중치:
  • 매우 높은 신뢰도를 갖는 토큰 ($q \to 1$) 의 경우, 보정 항이 소멸하여 모델이 이미 잘 예측하는 토큰에 불필요한 강화가 이루어지는 것을 방지합니다.
  • 극도로 낮은 확률을 갖는 토큰 ($q \to 0$) 의 경우, 가중치가 소멸하여 불안정성을 예방합니다.
• 구현: InfoSFT 는 표준 토큰 단위 손실 함수에 한 줄의 수정만 필요합니다. 이는 균일한 가중치를 유도된 가중치 인자로 대체합니다.

주요 기여

1. KL 예산 하의 최적 업데이트: 이 논문은 베이스 모델에 가깝게 머무르는 것 (고정된 KL 예산) 으로 제한될 때, 최적의 업데이트 전략이 균일하거나 확률에 비례하는 가중치가 아닌 중간 신뢰도를 갖는 샘플에 가장 높은 가중치를 할당함을 이론적으로 증명합니다.
2. InfoSFT 알고리즘: 이 가중치 규칙을 통합한 간단하고 새로운 SFT 변형입니다. 이는 정보성이 높은 낮은 확률 토큰을 강조하면서 이미 해결된 토큰에는 거의 가중치를 부여하지 않습니다.
3. SFT 와의 상호 보완성: 저자들은 InfoSFT 와 표준 SFT 가 상호 보완적임을 보여줍니다. SFT 는 매우 낮은 확률의 형식 (예: <thought>와 같은 새로운 추론 태그) 을 도입하는 데 효과적이며, InfoSFT 는 이러한 형식이 더 확률이 높아진 후 모델을 정제하는 데 더 우수합니다.

실험 결과

저자들은 다양한 모델 계열 (Qwen-2.5, Llama-3.1) 과 크기를 사용하여 수학, 코드, 그리고 체인 오브 씽킹 (CoT) 추론 작업 전반에 걸쳐 InfoSFT 를 평가했습니다.

• 일반화 성능: InfoSFT 는 테스트 시간 벤치마크 (MATH500, AMC, HumanEval, MultiPL-E) 에서 바닐라 SFT 와 DFT 모두를 일관되게 능가했습니다. 특히, 여러 샘플 중 올바른 솔루션을 생성하는 데 있어 더 나은 다양성과 견고성을 나타내는 더 높은 pass@8 점수를 달성했습니다.
• 치명적 망각: 새로운 작업 정확도와 이전 능력 (Science Q&A 및 Tool Use) 사이의 트레이드오프를 측정하는 실험에서 InfoSFT 는 우수한 파레토 프론티어를 달성했습니다. 이는 SFT 와 DFT 보다 높은 새로운 작업 정확도에 도달하면서도 이전 능력 (예: HumanEval, IFEval) 을 더 효과적으로 보존했습니다.
• 엔트로피 제어: 종종 엔트로피 붕괴 (결정론적 출력) 로 이어지는 DFT 와 달리, InfoSFT 는 더 높은 출력 엔트로피를 유지하여 하위 작업 정렬 및 샘플링 기반 추론에 중요합니다.
• CoT 추론: CoT 미세조정에서 1 에포크 SFT 후 1 에포크 InfoSFT 로 구성된 2 단계 접근 방식은 AIME 에서 최상의 결과를 얻었으며, 이는 형식을 학습하기 위해 SFT 를 활용하고 추론을 정제하기 위해 InfoSFT 를 활용했습니다.

중요성과 주장

이 논문은 토큰 가중치가 신뢰할 수 있는 지도식 사후 훈련을 위한 핵심 요소라고 주장합니다. 균일한 적합이나 단순한 확률 가중치를 넘어선 InfoSFT 는 오프라인 데이터로부터 새로운 행동을 학습하는 것과 기존 능력을 보존하는 것 사이의 근본적인 긴장 관계를 해결합니다. 이 방법은 복잡한 데이터 필터링이나 온-정책 샘플링을 요구하지 않으면서 일반화를 개선하고 치명적 망각을 완화하는 원칙적이고 낮은 오버헤드의 솔루션을 제공합니다. 저자들은 InfoSFT 를 SFT 의 안정성과 온-정책 방법의 일반화 이점 사이의 간극을 연결하는 견고한 대안으로 위치시킵니다.