기술 요약: 명시적 분포 제어를 통한 LLM 지도 미세 조정 안정화

1. 문제 제기

새로운 목적에 적응하기 위해 지도 미세 조정 (SFT) 을 통해 사전 훈련된 대규모 언어 모델 (LLM) 을 후속 훈련할 때, 종종 파괴적 망각이 발생합니다. 이는 목표 작업에서의 개선이 이전에 습득한 일반 능력을 저하시키는 현상입니다. 최근의 실증적 및 이론적 연구들은 이 현상이 최적화 과정에서 발생하는 과도한 분포 이동에 주로 기인한다고 시사합니다.

강화 학습 (RL) 방법 (특히 온-정책 RL) 은 이러한 이동을 암묵적으로 제약하여 SFT 보다 이전 능력을 더 잘 보존하지만, 비용이 많이 드는 데이터 수집과 복잡한 최적화 파이프라인에 의존합니다. 반면, 표준 SFT 는 분포 이동의 크기나 방향을 조절할 명시적 메커니즘이 부족하여 종종 급격한 행동 변화를 초래합니다. 정적 KL 정규화나 고정된 교사 모델 증류와 같은 기존 완화 전략들은 모델 분포의 국소 기하학과 일치하지 않는 간접적이거나 전역적으로 조정된 제어만 제공하여, 새로운 작업 적합과 기본 모델 보존 사이의 지속적인 그래디언트 충돌을 초래합니다.

해결된 핵심 과제는 다음과 같습니다: 단순하고 명시적인 메커니즘이 온-정책 RL 의 안정성과 SFT 의 효율성을 결합하여, 순수 오프라인 SFT 환경에서 분포 업데이트를 안정적으로 제어할 수 있을까요?

2. 방법론: 앵커링 학습 (Anchored Learning)

저자들은 앵커링 학습을 제안합니다. 이는 동적으로 진화하는 이동 앵커를 사용하여 오프라인 미세 조정 중 분포 업데이트를 명시적으로 제어하는 프레임워크입니다.

핵심 메커니즘

고정된 참조 분포 (예: 기본 모델 $p_{base}$) 에 매칭하는 대신, 앵커링 학습은 각 반복 $t$에서 다음 두 가지를 보간하여 중간 목표 분포 $q^{(t)}$를 구성합니다:

1. 현재 학습 가능한 모델 $p_{\theta}^{(t)}$.
2. 목표 데이터로 한 번 훈련된 후 고정된 SFT 참조 모델 $p_{sft}$.

이 프레임워크는 두 가지 루프에서 작동합니다:

• 외부 루프 (앵커 선택): 반복 $t$에서, 보간 연산자 $I_\alpha$를 통해 앵커 분포 $q^{(t)}$가 구성됩니다:
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  앵커는 계산 그래프에서 분리되어 내부 루프의 고정된 목표 역할을 합니다.
• 내부 루프 (앵커 적합): 모델 파라미터는 목표 데이터셋 $D$에 대한 증류 목적 함수 (KL 발산) 를 최소화함으로써 이 앵커를 근사하도록 업데이트됩니다:
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

구체화

보간 연산자 $I_\alpha$는 두 가지 공간에서 구체화됩니다:

1. 로그이트 (Logit) 공간: 소프트맥스 전 로그이트의 선형 보간 후 소프트맥스 정규화. 이는 분포의 기하학적 평균 (모드 추구 행동) 에 해당합니다.
2. 확률 공간: 예측 분포의 직접적인 선형 보간. 이는 산술 평균 (모드 커버링 행동) 에 해당합니다.

이론적 보장

이 논문은 이 앵커 기반 업데이트가 반복당 선형 KL 발산 상한을 허용한다는 이론적 증명을 제공합니다.

• 확률 공간: 앵커와 현재 모델 간의 KL 발산은 $\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$로 제한됩니다.
• 로그이트 공간: 발산은 $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$로 제한됩니다.

이러한 상한은 모델이 분포 간을 안정적이고 제어된 방식으로 전환하도록 보장하여, 전역 미세 조정을 일련의 국소 신뢰 영역 업데이트로 효과적으로 변환합니다. 이론적 분석에 따르면, 정확한 투영 하에서 모델은 단계별 편차를 제한된 상태로 유지하면서 SFT 참조 모델로 기하급수적으로 수렴합니다.

3. 주요 기여

1. 프레임워크 제안: 오프라인 미세 조정에서 이동 앵커를 통해 분포 업데이트에 대한 국소 제어를 강제하는 간단한 프레임워크인 앵커링 학습을 도입하여, 온라인 상호작용이나 복잡한 RL 파이프라인의 필요성을 제거했습니다.
2. 이론적 안정성: 확률 공간 및 로그이트 공간 앵커링에 대한 명시적 반복별 KL 발산 상한을 유도하여 분포 안정성에 대한 형식적 보장을 제공했습니다.
3. 실증적 검증: 여러 벤치마크에서 성능 향상과 안정성 간의 우수한 균형을 달성함을 입증했으며, 강력한 베이스라인과 비교하여 일관적으로 파레토 프론티어에 위치함을 보였습니다.

4. 실험 결과

이 방법은 Qwen2.5(1.5B–14B) 및 Llama-3.2-3B모델을 사용하여 세 가지 목표 작업 (iGSM, MedCalc, IFEval) 에서 평가되었습니다. 성능은 표준 SFT 및 다양한 망각 완화 베이스라인 (예: Low-SFT, KL-SFT, Self-SFT, Iter-SFT) 과 비교하여 측정되었습니다.

• 성능 - 안정성 트레이드오프: 표준 SFT 는 높은 도메인 성능을 달성했으나 일반 능력에서 심각한 저하를 겪었습니다 (예: iGSM 및 MedCalc 에서 >53% 성능 하락). 앵커링 학습은 이 저하를 5% 미만으로 줄이면서 거의 최적의 성능 향상 (예: iGSM 에서 75.2%) 을 유지했습니다.
• 파레토 최적성: 모든 모델 크기와 작업에서 앵커링 학습은 일관되게 파레토 프론티어 근처에 위치하여, 안정성을 위해 도메인 성능을 희생한 베이스라인 (예: Low-SFT) 이나 망각을 방지하지 못한 베이스라인 (예: 표준 SFT) 보다 우수한 성과를 거두었습니다.
• 확장성: 앵커링 학습의 이점은 모델 규모 (1.5B~7B) 전반에 걸쳐 견고하게 유지되었으며, 도메인 정확도를 희생하지 않으면서 Low-SFT 보다 훨씬 높은 일반 능력을 보존했습니다.
• 하이퍼파라미터 민감도:
  • 보간 계수 ($\alpha$): 중간 범위의 $\alpha$가 가장 좋은 트레이드오프를 제공했습니다.
  • 업데이트 스케줄: 연구는 목표 정확도가 포화되더라도 훈련 반복 횟수가 증가함에 따라 일반 성능이 비단조적으로 저하됨을 강조했습니다. 이는 "더 많은 훈련"이 안정성을 보장하지 않으며, 명시적 궤적 제어의 필요성을 재확인합니다.
  • 보간 공간: 로그이트 공간 보간 (기하학적 평균) 은 안정성과 일반 능력 보존을 선호하는 반면, 확률 공간 보간 (산술 평균) 은 가소성과 도메인 적응을 선호했습니다.

5. 중요성 및 주장

이 논문은 앵커링 학습이 온-정책 RL 에서 발견되는 암묵적 안정성 메커니즘에 대한 실용적인 대안을 제공한다고 주장합니다. 중간 목표 분포를 명시적으로 형성함으로써, 전역 최적화를 일련의 보수적인 국소 업데이트로 변환합니다.

저자들은 그들의 접근 방식이 다음과 같음을 강조합니다:

• 재생이나 공동 훈련을 위한 일반 도메인 데이터 접근이 필요 없는 순수 오프라인 환경에서 작동합니다.
• 망각의 근본 원인 (과도한 이동) 이 아닌 증상만 다루는 것이 아니라, 분포 안정성에 대한 이론적 보장을 제공합니다.
• 기존 정적 정규화 및 증류 방법보다 우수한 성과를 내면서 목표 작업에서 거의 최적의 성능을 달성하고 파괴적 망각을 현저히 줄입니다.

한계점: 저자들은 앵커링 학습이 앵커 구성 및 증류를 위한 추가 순방향 통과 필요성으로 인해 표준 SFT 에 비해 추가적인 계산 오버헤드 (약 1.5 배~2 배의 훈련 지연 및 메모리 사용) 를 발생시킨다고 인정합니다. 그러나 이는 온-정책 RL 의 비용보다 훨씬 낮다고 지적합니다.