기술 요약: LP-SFT (Local-Preserving Supervised Fine-Tuning)

1. 문제 정의

지도 미세 조정(Supervised Fine-Tuning, SFT)은 사전 학습된 언어 모델(PLM)을 다운스트림 태스크에 적응시키기 위한 표준적인 패러다임입니다. 그러나 토큰 수준의 교차 엔트로피(Cross-Entropy, CE) 손실에 의존하는 표준 SFT는 두 가지 차원에서 **능력 저하(capability degradation)**를 유발하는 경우가 많습니다:

1. 치명적 망각(Catastrophic Forgetting): 미세 조정 분포에 대한 과도한 특화로 인해 도메인 외(out-of-domain) 능력을 상실합니다.
2. 생성 다양성 감소(Reduced Generation Diversity): 모델이 대안적인 유효 솔루션들을 억제하여, 분포를 단일 토큰으로 붕괴시키고 샘플링 가능한 다양성(pass@k로 측정됨)을 감소시킵니다.

저자들은 이러한 저하가 CE 목적 함수와 PLM에 인코딩된 풍부한 분포 지식 사이의 불일치에서 기인한다고 주장합니다. PLM은 광범위한 능력을 학습하여 관찰된 단일 타겟 토큰 이상의 상당한 정보를 가진 차기 토큰 분포를 생성하지만, 표준 CE는 나머지 선호 구조를 무시합니다. 미세 조정 과정에서 그럴듯한 대안들을 반복적으로 억제하는 것은 사전 학습된 구조적 무결성을 왜곡합니다.

2. 주요 관찰: 다중 모드 엔트로피 구조 (Multimodal Entropy Structure)

해결책을 제안하기에 앞서, 저자들은 베이스 모델의 차기 토큰 예측에 대한 엔트로피 구조를 분석합니다.

• 다중 모드 엔트로피 피크(Multimodal Entropy Peaks): 샤논($H_1$) 및 레니 엔트로피($H_2$)를 사용하여, 저자들은 엔트로피 분포가 정수 $k$ 근처의 $\ln k$에서 뚜렷한 다중 모드 피크를 보임을 관찰했습니다.
• Plateau-k 상태: 이 피크들은 불확실성이 $k$개의 유사하게 그럴듯한 차기 토큰 후보들에 분산되어 있는 "엔트로피 압축 상태"에 해당합니다.
  • 저차원 플래토 ($k=1\text{--}5$): 주로 논리적 또는 의미적 분기점에 해당하며, 여러 유효한 연속성이 존재할 수 있습니다.
  • 고차원 플래토 ($k \approx 10$): 주로 구조적 모호성(예: 무작위 숫자, ID)에 해당하며, 모델이 일련의 문자들에 걸쳐 확률을 분산시킵니다.
• 시사점: 베이스 모델은 본질적으로 풍부한 분포 지식을 인코딩하고 있습니다. 표준 CE는 모든 토큰을 균등하게 취급하며, 이러한 구조화된 대안들을 무시하도록 모델을 강제함으로써 이 이질적인 구조를 불필요하게 왜곡합니다.

3. 방법론: LP-SFT

이를 해결하기 위해 저자들은 **LP-SFT (Local-Preserving Supervised Fine-Tuning)**를 제안합니다. 이 방법은 고정된 베이스 모델을 로컬 구조 참조점으로 사용하여, 지도 학습 신호와 충돌하지 않으면서 타겟이 아닌 대안들 사이의 상대적 선호도를 보존합니다.

핵심 구성 요소

1. Local Top-K 보존 세트 (Local Top-K Preservation Set):

   • 각 토큰 위치 $t$에서, 이 방법은 고정된 베이스 모델 분포($q_t$)의 상위 $K_{max}$ 토큰들로부터 후보 세트 $S_t$를 구성합니다.
   • 기본적으로 $K_{max} = 10$이며, 이는 분석에서 관찰된 저차원 분기와 주요 고차원 플래토를 모두 커버하도록 선택되었습니다.

2. 타겟 토큰 제거 (Target-Token Removal):

   • 주된 교차 엔트로피 목적 함수(지도된 타겟 토큰 $y_t$를 최적화함)와 충돌하는 것을 방지하기 위해, $y_t$를 보존 세트에서 명시적으로 제거합니다.
   • 보존 세트는 $A_t = S_t \setminus \{y_t\}$가 됩니다.

3. 로컬 KL 정규화 (Local KL Normalization):

   • 전체 어휘(vocabulary)에 대해 글로벌 KL 발산을 적용하는 대신(이는 계산 비용이 많이 들고 지나치게 제한적일 수 있음), LP-SFT는 세트 $A_t$에 대해 로컬 정규화된 KL 발산을 적용합니다.
   • 베이스 모델($q_t$)과 학습 가능한 모델($p_t$)의 확률은 $A_t$ 내에서만 정규화되어 $\hat{q}_t$와 $\hat{p}_t$를 얻습니다.
   • 손실 함수는 $L_{LP} = D_{KL}(\hat{q}_t \parallel \hat{p}_t)$로 정의됩니다.
   • 근거: 이는 타겟이 아닌 나머지 대안들의 절대적인 확률 질량이나 해당 세트에 할당된 총 질량을 인위적으로 제한하지 않으면서, 이들 사이의 상대적 선호 구조를 보존합니다.

학습 목적 함수

최종 목적 함수는 타겟 토큰에 대한 표준 교차 엔트로피 손실과 로컬 보존 손실을 결합합니다:
$$L_{LP-SFT}(\theta) = \sum_{t=1}^{T} \left[ -\ln p_t(y_t) + \mu \cdot L_{LP}^t \right]$$
여기서 $\mu$는 보존 강도를 조절합니다.

구현 효율성

매 학습 단계마다 베이스 모델의 순전파(forward pass)를 요구하는 방법들과 달리, LP-SFT는 2단계 구현을 채택합니다:

1. 오프라인 사전 계산 (Offline Precomputation): 베이스 모델이 전체 학습 데이터셋을 한 번 처리하여 상위 $K_{max}$ 로짓(logits)을 캐싱합니다.
2. 미세 조정 (Fine-Tuning): 학습 루프는 캐싱된 로짓을 사용하여 로컬 보존 손실을 계산하므로, 학습 가능한 모델의 순전파만 필요로 합니다. 이는 전체 어휘 앵커링(full-vocabulary anchoring) 방식에 비해 계산 오버헤드를 크게 줄여줍니다.

4. 실험 결과

저자들은 세 가지 모델 제품군(Qwen3-4B, Llama-3.1-8B, Qwen3-14B)에 대해 혼합 도메인 및 단일 도메인(수학, 코드, 일반 지시문) 설정에서 LP-SFT를 평가했습니다.

• Vanilla SFT 대비 성능: LP-S한 LP-SFT는 전반적인 평균 성능 측면에서 표준 CE 및 최근의 SFT 강화 베이스라인(DFT, EAFT, GEM, ASFT)보다 일관되게 우수한 성능을 보였습니다.
• Pass@1 vs. Pass@k 트레이드오프:
  • 표준 CE는 종종 pass@k(다양성)를 희생하면서 pass@1(단일 샘플 정확도)을 향상시킵니다.
  • DFT와 같은 방법들은 pass@1을 개선하지만 pass@k의 상당한 하락을 초래합니다.
  • LP-SFT는 최적의 균형을 달성합니다: 정확도를 희생하지 않으면서 pass@1을 개선하는 동시에 pass@k를 유지하거나 향상시킵니다. 이는 샘플링 가능한 다양성을 유지하면서도 정확도를 확보함을 나타냅니다.
• 치명적 망각 (Catastrophic Forgetting): 혼합 도메인 미세 조정에서 LP-SFT는 능력 저하를 유의미하게 완화합니다. 예를 들어, MMLU 벤치마크에서 LP-SFT는 고정된 베이스 모델과 거의 대등한 성능을 유지한 반면, 표준 CE는 심각한 하락을 겪었습니다.
• 절제 연구 (Ablation Studies): 이 방법은 하이퍼파라미터 $\mu$에 비교적 둔감합니다. 타겟 토큰 제거와 로컬 KL 정규화 모두 안정성과 성능에 결정적이라는 것이 밝혀졌습니다.

5. 의의 및 주장

본 논문은 LP-SFT가 사전 학습된 모델의 내재적 엔트로피 구조를 명시적으로 보호함으로써 지도 미세 조정을 수행하는 새로운 접근법을 제공한다고 주장합니다.

• 메커니즘: 타겟 토큰 학습과 로컬 구조적 선호도 보존을 분리함으로써, LP-SFT는 베이스 모델의 구조화된 불확실성이 "덮어쓰여지는(overwriting)" 것을 방지합니다.
• 결과: 이 접근 방식은 단일 샘플 정확도를 유지하거나 향상시키는 동시에 치명적 망각을 완화하고 생성 다양성(샘플링 가능한 솔루션)을 보존하는 데 도움이 됩니다.
• 효율성: 이 방법은 전체 어휘 앵커링 기술에 비해 적은 계산 오버헤드로 이러한 이점을 제공하므로, 도메인 적응 과정에서 사전 학습된 능력을 보존하기 위한 실용적인 대안이 됩니다.

저자들은 로컬 보존이 다운스트림 적응과 일반적 능력 유지 사이의 균형을 맞추는 효과적인 전략이라고 결론지으며, 사전 학습 중에 학습된 풍부한 분포 지식은 미세 조정 중에 버려지기보다 보존되어야 함을 시사합니다.