기술 요약: 자기 증류(Self-Distillation)를 통한 지속적 학습

문제 정의

파운데이션 모델은 현재 근본적인 한계에 직면해 있다: 배포 후에는 정적인 상태로 남는다는 점이다. 프롬프팅이나 검색을 통해 추론 시점에 행동을 적응시킬 수는 있지만, 새로운 기술을 습득하거나 새로운 지식을 내재화하기 위해 파라미터를 업데이트하지는 못한다. 핵심 과제는 지속적 학습(Continual Learning), 즉 기존 능력을 저하시키지 않으면서 시간이 지남에 따라 모델이 배우고 개선될 수 있도록 하는 것이다.

명시적인 보상 함수를 대신하는 주요 대안인 전문가 데모로부터 학습하는 기존 방식들은 **지도 미세 조정(Supervised Fine-Tuning, SFT)**에 의존한다. 그러나 SFT는 고정된 오프라인 데이터 분포에서 학습하는 본질적으로 오프-폴리시(off-policy) 방식이다. 이는 새로운 태스크에 적응할 때 이전의 일반적인 능력이 심각하게 퇴보하는 **파괴적 망각(catastrophic forgetting)**으로 이어진다. 반대로, 모델 스스로 생성한 궤적(trajectories)을 통해 학습하는 온-폴리시(on-policy) 학습은 망각을 줄이고 일반화 능력을 향상시키는 것으로 밝혀졌으나, 이는 대개 명시적인 보상 함수가 필요하며, 현실 세계에서는 이러한 함수를 구하기 어려운 경우가 많다.

이 연구가 다루는 핵심 질문은 다음과 같다: 전문가 데모만 사용 가능한 상황에서 어떻게 온-폴리시 학습의 이점을 얻을 수 있는가?

방법론: 자기 증류 미세 조정 (Self-Distillation Fine-Tuning, SDFT)

저자들은 대규모 사전 학습 모델의 인컨텍스트 학습(In-Context Learning, ICL) 능력을 활용하여, 데모로부터 직접 온-폴리시 학습을 가능하게 하는 방법론인 **자기 증류 미세 조정(SDFT)**을 제안한다.

핵심 메커니즘

SDFT는 학습 과정에서 단일 모델을 두 가지 별개의 역할로 활용한다:

1. 교사(Teacher): 태스크 입력($x$)과 전문가 데모($c$) 모두에 조건화된 모델이다. 이는 데모를 인지하는 분포 $Q = \pi(\cdot|x, c)$를 생성한다. 프롬프트 구조는 모델이 데몬스트레이션을 단순히 문구 그대로 복사하는 것이 아니라 그 이면의 의도를 이해하도록 유도한다.
2. 학생(Student): 태스크 입력($x$)에만 조건화된 기본 모델로, 분포 $P = \pi(\cdot|x)$를 생성한다.

학습 목적 함수

학생은 학생 자신이 생성한 궤적 위에서 교사의 행동을 모방하도록 학습된다(온-폴리시). 목적 함수는 학생과 교사 분포 사이의 역 쿨백-라이블러(Reverse KL) 발산을 최소화한다:
$$\mathcal{L}(\theta) = D_{KL} (\pi_\theta(\cdot|x) \parallel \pi(\cdot|x, c)) = \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} \left[ \log \frac{\pi_\theta(y|x)}{\pi(y|x, c)} \right]$$

이론적 해석

본 논문은 SDFT를 두 가지 관점에서 해석한다:

1. 증류(Distillation): 교사가 학생보다 더 '현명하고' 데모를 인지하는 버전인 학생-교사 프레임워크이다.
2. 역강화학습(Inverse Reinforcement Learning, IRL): 저자들은 SDFT가 **암묵적 보상 함수(implicit reward function)**를 최대화하는 것과 수학적으로 동일함을 보여준다. 데모에 조건화된 정책이 최적 정책($\pi^* \approx \pi(\cdot|x, c)$)을 근사한다고 가정함으로써, 교사와 학생 분포 사이의 로그 비율이 내재적 보상 신호 역할을 하게 된다. 이를 통해 모델은 명시적인 보상 함수 없이도 온-폴리시 업데이트를 수행할 수 있다.

실제 구현

• 교사 파라미터화: 교사의 파라미터는 일반적으로 학생 파라미터의 지수 이동 평균(Exponential Moving Average, EMA)을 사용한다.
• 손실 함수: 이론적 유도는 역 KL(Reverse KL)을 제안하지만, 저자들은 로짓(logit) 수준에서의 **순방향 KL(Forward KL)**이 실질적인 성능 면에서 더 나은 결과를 낸다는 것을 발견했다.
• 그래디언트 추정: 손실은 토큰 수준의 손실로 분해되며, 그래디언트 계산 중에는 교사 분포를 고정된 것으로 취급한다.

주요 기여

1. 새로운 프레임워크: 명시적인 보상 추론 없이 전문가 데모를 온-폴리시 학습 신호로 변환하는 간단한 방법인 SDFT를 도입하였다.
2. 이론적 동등성: 데모로부터의 자기 증류가 모델 자체의 인컨텍스트 학습 능력에서 파생된 암묵적 보상 함수를 최대화하는 것과 수학적으로 동일함을 입증하였다.
3. ICL 가설의 검증: 데모에 조건화된 모델이 (최적의 출력을 생성하는 동시에) 기본 정책과 밀접하게 유지되어(편차를 최소화하여) 신뢰 영역 규제(trust-region regularization)의 요구 사항을 충족하는 고품질의 교사 역할을 한다는 것을 경험적으로 입증하였다.
4. 데이터 제한에 대한 강건성: SDFT가 명시적인 사고 과정(chain-of-thought) 트레이스가 없는 감독 데이터에서도 효과적으로 추론 모델을 학습시킬 수 있음을 보여주었으며, 이는 표준 SFT에서 흔히 발생하는 "추론 붕괴(reasoning collapse)"를 방지한다.

실험 결과

저자들은 두 가지 설정, 즉 기술 학습(Skill Learning)(새로운 태스크 습득)과 지식 습득(Knowledge Acquisition)(새로운 사실적 정보 통합)에서 SDFT를 평가하였다.

1. 기술 학습 (순차적 학습)

• 태스크: 과학 Q&A, 도구 사용(Tool Use), 의료 추론.
• 결과:
  • 파괴적 망각: 순차적 학습 실험(세 가지 기술을 차례로 학습)에서, SDFT는 이전 태스크에 대한 성능 저하 없이 단일 모델이 기술을 축적할 수 있게 하였다. 반면, SFT는 새로운 태스크를 학습할 때 이전에 학습된 기술이 급격히 퇴보하는 심각한 간섭 현상을 보였다.
  • 일반화: SDFT는 SFT보다 새로운 태스크에서 더 높은 정확도를 달تام으로써 더 나은 분포 내(in-distribution) 일반화를 보여주었다.
  • 파레토 효율성: SDFT는 베이스라인(SFT, DFT, Re-invoke)과 비교하여 새로운 태스크의 정확도와 기존 능력의 유지 사이에서 일관되-게 우수한 트레이드오프를 달성하였다.

2. 지식 습득

• 설정: 2025년 자연재해에 관한 사실적 지식(학습 컷오프 이후의 정보)을 모델에 통합.
• 결과:
  • SDFT는 엄격한 정확도와 분포 외(indirect) 질문 모두에서 SFT 및 지속적 사전 학습(CPT)을 크게 앞질렀다.
  • SDFT는 간접 질문에서도 완벽에 가까운 정확도를 달성하였는데, 이는 새로운 지식이 단순히 특정 답변 패턴으로 암기된 것이 아니라 모델의 내부 메모리에 적절히 통합되었음을 시사한다.

3. 스케일링 및 모델 크기

• ICL 의존성: SDFT의 효과는 모델 크기와 밀접하게 결합되어 있다. 인컨텍스트 학습 능력이 약한 작은 모델(예: 3B)은 의미 있는 교사 신호를 제공하지 못해 SFT보다 낮은 성능을 보였다. 반면, 더 큰 모델(7B, 14B)은 단조로운 향상을 보였으며, 14B 모델은 SFT 대비 6.9포인트의 격차를 벌렸다.

4. 추론 모델

• 답변 전용 감독(Answer-Only Supervision): 사고 과정(CoT) 없이 최종 답변만 포함된 데이터로 추론 모델(Olmo-3-7B-Think)을 미세 조정할 때, 표준 SFT는 추론 깊이의 붕괴(짧아진 응답)와 정확도 저하를 일으켰다. SDFT는 정확도를 높이면서도 모델의 긴 사고 과정(long chain-of-thought) 행동을 보존하였다.

의의 및 주장

본 논문은 SDFT가 데모로부터의 지속적 학습을 위한 실질적인 경로로서 온-폴리시 증류를 확립한다고 주장한다.

• 오프-폴리시 한계 극로: 본 연구는 명시적인 보상 함수가 없더라도 모델이 충분한 인컨텍스트 학습 능력을 갖추고 있다면 온-폴리시 학습의 이점(망각 감소, 더 나은 일반화)을 실현할 수 있음을 보여준다.
• 실용적 타당성: SDFT는 온-폴리시 롤아웃으로 인해 SFT에 비해 높은 계산 비용(약 2.5배의 FLOPs 및 4배의 실행 시간)이 발생하지만, 저자들은 이것이 망각을 완화하기 위해 필요한 다른 방법들(예: SFT 후 Re-invoke를 수행하는 다단계 학습 파이프라인)의 복잡성을 제거함으로써 상쇄된다고 주장한다.
• RL과의 상보성: 저자들은 SDFT를 온-폴리시 RL의 대체제가 아닌 상보적인 체제로 위치시킨다. 이는 보상 기반 미세 조정을 위한 효과적인 초기화 단계로 기능할 수 있다.

결론적으로, SDFT는 파운데이션 모델이 시간이 흐름에 따라 지식을 축적하고 기술을 연마하는 인간과 유사한 능력을 갖추도록 하여, 모델이 지속적으로 배우고 발전할 수 있게 한다.