🤖 machine learning

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

이 논문은 온폴리시(on-policy) 자기 증류(self-distillation)가 지속적인 사후 학습을 위한 우월한 접근 방식이라는 가설에 이의를 제기하며, SDPO 실험을 통해 그것이 도메인 내 특화는 가속화하지만 파라미터 드리프트(parameter drift)와 포맷팅 아티팩트(formatting artifacts)의 증폭으로 인해 온폴리시 강화 학습 방법들에 비해 종종 더 큰 망각과 모델 붕괴를 초래한다는 것을 입증한다.

원저자: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

게시일 2026-07-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Meng Wang, Haohan Zhao, Wenzhuo Liu, Lu Yang, Geng Liu, Haiyang Guo, Guo-Sen Xie, Gaofeng Meng, Hongbin Liu, Fei Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 왜 "더 많은 것"이 항상 "더 나은 것"은 아닌가

당신이 학생(거대 언어 모델)에게 시간이 흐름에 따라 새로운 기술을 가르치고 있다고 상상해 보세요. 당신은 학생이 이전 과목을 잊어버리지 않으면서 수학, 과학, 코딩을 차례로 배우기를 원합니다.

최근에는 **자기 증류(Self-Distillation)**라는 방법이 "황금 티켓"처럼 인기를 끌었습니다. 아이디어는 간단했습니다. 학생이 답변을 생성하게 한 다음, 그 학생 자신(교사 역할)이 실시간으로 그 답변의 모든 단어 하나하나에 점수를 매기게 하는 것입니다. 교사가 모든 단어에 대해 피드백을 제공하기 때문에(조밀한 감독, dense supervision), 학생이 매우 빠르게 학습하고 이전의 교훈을 절대 잊지 않을 것처럼 보였습니다.

이 논문은 이렇게 말합니다: "잠깐만요. 실제로는 그렇게 작동하지 않습니다."

저자들은 이 "단어별" 튜터링 방식이 특정 주제 하나를 빠르게 마스터하는 데는 훌륭할지 모르지만, 모델에게 여러 가지 다른 것들을 연속해서 가르치려고 할 때는 실제로 위험하다는 것을 발견했습니다. 이는 모델이 이전에 배웠던 모든 것을 잊게 만들며, 때로는 모델을 완전히 망가뜨리기도 합니다.

핵심 갈등: "광란" vs "안정적인 손길"

이 논문은 두 가지 교육 스타일을 비교합니다.

"단어별" 튜터 (SDPO): 이것이 자기 증류 방식입니다. 교사는 학생의 초안을 보고 즉시 모든 단어를 수정합니다.
- 비유: 코치가 단거리 달리기 선수 옆을 같이 뛰면서, 매 걸음마다 "왼발 움직여! 아니, 더 빠르게! 무릎 굽혀! 팔 동작 봐!"라고 소리치는 것과 같습니다.
- 결과: 단기적으로 선수는 그 특정 트랙을 달리는 데 매우 빨라집니다. 하지만 코치가 몇 초마다 기술에 대해 생각을 바꾸거나, 코치가 선수의 실수를 흉내 내기 시작한다면, 선수는 혼란에 빠져 균형을 잃고 달리는 법 자체를 잊어버리게 됩니다.
"결승선" 코치 (GRPO): 이것은 전통적인 강화 학습 방식입니다. 학생은 경주를 완주하고, 코치는 맨 마지막에만 점수를 줍니다 (예: "잘했어, 10초 만에 들어왔네").
- 비유: 코치는 선수가 스스로 경주를 하게 둡니다. 그는 매 걸음마다 간섭하지 않습니다. 오직 최종 결과에 대해서만 피드백을 줍니다.
- 결과: 러너는 조금 느리게 배우지만, 안정적이고 자연스러운 스타일을 갖추게 됩니다. 새로운 트랙(새로운 주제)으로 옮겨갔을 때도 균형을 잃지 않고 달리는 법을 기억합니다.

은유로 설명하는 주요 발견 사항

1. "취약한 교사" 문제

"단어별" 방식에서는 교사가 바로 모델 자신입니다. 논문은 만약 교사가 너무 빠르게 업데이트되면(새로워지려고 하면) 불안정해진다는 것을 발견했습니다.

비유: 교사이면서 동시에 학생인 선생님을 상상해 보세요. 만약 교사가 학생이 방금 한 말에 근거하여 5분마다 "정답"에 대한 생각을 바꾼다면, 학생은 머리가 아파질 것입니다. 학생은 교사의 혼란을 그대로 복사하기 시작합니다.
해결책: 논문은 교사가 안정적이어야 한다고 밝혔습니다. 교사가 끊임없이 변하는 것보다, 한동안 일정하게 유지되다가 가끔씩 빠르게 새로고침되는 것이 더 낫습니다.

2. 실수의 "메아리 방"

모델이 스스로를 단어별로 수정할 때, 실수로 나쁜 습관을 강화할 수 있습니다.

비유: 학생이 에세이에 실수로 이상한 기호(예: 깨진 이모티콘)를 썼다고 상상해 보세요. "단어별" 교사는 그것을 보고 "오, 이것도 스타일의 일부구나"라고 생각하며 학생에게 다시 쓰라고 말합니다. 학생은 그것을 다시 쓰고, 교사는 다시 칭찬합니다. 곧 학생은 이상한 기호만을 계속 쓰게 됩니다.
결과: 모델이 "붕괴(collapse)"됩니다. 모델은 질문에 답하는 것을 멈추고, 피드백 루프가 작은 실수를 거대한 습관으로 증폭시켜서 포맷 오류만을 반복하게 됩니다.

3. "중간 지점"의 함정 (망각)

논문은 모델이 무엇을 잊어버리는지에 대한 이상한 패턴을 발견했습니다.

비유: 당신이 피아노를 배우고 있다고 상상해 보세요.
- 만약 당신이 이미 알고 있는 것과 매우 유사한 곡을 배운다면, 두 곡 모두 실력이 향상됩니다.
- 만약 당신이 완전히 다른 곡(피아노에서 드럼으로 전환하는 것과 같은)을 배운다면, 피아노 실력은 안전하게 유지됩니다. 왜냐로 두 분야가 너무 다르기 때문입니다.
- 위험 요소: 만약 당신이 어느 정도 유사하지만 규칙이 몇 가지 다른 곡을 배운다면, 뇌는 혼란에 빠집니다. 당신은 새 곡에 옛 규칙을 적용하려 하고, 결국 두 곡 모두 망치게 됩니다.
발견: "단어별" 방식은 "매우 유사한" 작업에는 효과적이지만, "어느 정도 유사한" 작업에는 최악입니다. 이는 모델이 서로 간섭할 만큼 가깝지만 도움을 줄 만큼 가깝지는 않은 이전의 기술들을 잊게 만듭니다.

4. "표류 (Drift)"

논문은 모델의 "두뇌"(파라미터) 내부를 들여다보며 무엇이 변하고 있는지 살펴보았습니다.

비로: "결승선" 코치(GRPO)는 러너의 신발을 작고 조심스럽게 조정합니다. 반면 "단어별" 코치(SDPO)는 러너의 다리를 계속 재건축하고 보폭을 바꿉니다.
결과: "단어별" 방식은 모델을 원래의 모습으로부터 너무 멀리 표류하게 만들어, 예상치 못한 상황을 처리하는 능력을 상실하게 합니다. 모델은 상자 밖에서 생각할 줄 모르는 지나친 전문가가 되어버립니다.

결론

이 논문은 조밀한 감독(모든 단어를 수정하는 것)은 양날의 검이다라고 결론짓습니다.

효과가 있을 때: 교사가 매우 안정적이고 과제가 매우 명확하다면, 모델이 빠르게 전문화되는 데 도움이 됩니다.
실패할 때: "연속 학습(Continual Learning)" 시나리오(하나를 배운 뒤 다음 것을 배우는 과정)에서는 너무 공격적입니다. 노이즈를 증폭시키고, 포맷 오류를 강화하며, 이전의 지식을 잊게 만듭니다.

핵심 교훈: 모델에게 더 많은 피드백(모든 단어)을 주는 것이 반드시 모델을 더 똑똑하거나 안정적으로 만든다고 가정해서는 안 됩니다. 때로는 더 느리고 꾸준한 접근 방식(예: "결승선" 코치)이 장기적인 학습에 더 나을 수 있습니다. 이 논문은 자기 증류를 모델을 망가뜨릴 수 있는 마법의 안정 장치로 취급하지 말라고 경고합니다.

기술 요약: DENSER ≠ BETTER: 지속적 사후 학습을 위한 온-폴리시 자기 증류의 한계

문제 정의

지속적 사후 학습(Continual post-training)은 파운데이션 모델이 기존 능력을 보존하면서 새로운 도메인의 지식을 습득할 수 있도록 하는 데 필수적이다. 최근 문헌은 온-폴리시 강화 학습 미세 조정(RBF)이 지도 학습 미세 조정(SFT)보다 치명적 망각(catastrophic forgetting)을 더 잘 완화한다고 제안하지만, 새로운 패러다임인 온-폴리시 자기 증류(on-policy self-distillation)가 유망한 대안으로 등장했다. 자기 증류 정책 최적화(SDPO)로 대표되는 이 방식은 특권적 컨텍스트(예: 솔루션, 피드백 또는 데몬스트레이션)를 조건으로 하는 모델 자신을 교사(teacher)로 사용하여, 모델이 생성한 롤아웃(rollout)을 조밀한 토큰 수준의 감독 신호로 변환한다.

본 연구에서 다루는 핵심 문제는 온-폴리시 자기 증류에 대한 낙관적인 견해가 지속적 학습 설정에서도 유효한가 하는 점이다. 구체적으로, 저자들은 SDPO가 온-폴리시 RL이 갖는 보유(retention) 이점을 상속받는지, 아니면 토큰 수준의 감독 밀도가 순차적 작업 적용 시 불안정성, 간섭, 붕괴와 같은 새로운 실패 모드를 유발하는지를 조사한다.

방법론

본 연구는 자기 증류 정책 최적화(SDPO)를 시퀀스 수준의 보상 최적화 방법인 그룹 상대 정책 최적화(GRPO)와 비교 분석하는 실험적 프레임워크를 채택한다.

실험 설정:
- 모델: Qwen3-4B 및 Olmo-3-7B 시리즈 모델을 활용한다.
- 작업: 수학(MATH), 과학(SCIENCE), 도구 사용(TOOLUSE), 코딩(CODING)의 네 가지 도메인에서 학습을 진행한다.
- 평가: 전문화, 보유 및 전이를 평가하기 위해 인-도메인 벤치마크와 아웃-오브-도메인(OOD) 작업(예: AIME, GPQA, BFCLv4, MMLU-R)에서 성능을 측정한다.
- 지속적 설정: 순차적 사후 학습을 시뮬레이션하기 위해 모델을 순차적으로 학습시킨다 (MATH → SCIENCE → TOOLUSE → CODING).
주요 변형:
- 교사 안정성: 저자들은 "신선도(freshness)"와 "시간적 안정성(temporal stability)" 사이의 트레이드오프를 테스트하기 위해 교사 모델의 지수 이동 평균(EMA) 업데이트 비율( $\alpha$ )을 변화시킨다. 또한, 이 두 요소를 분리하기 위해 "재시작 및 동결(Restart-and-Freeze)" 전략(StableSDPO)을 도입한다.
- 감독 밀도: 표준 SDPO와 변형 모델을 비교하여, 사고 과정(Chain-of-Thought, CoT) 토큰을 증류하는 것이 더 조밀한 감독(토큰 수준 vs 시퀀스 수준)이 학습을 개선하는지 평가한다.
- 진단: SVD(특이값 분해) 메트릭(스펙트럼 이동, 주축 각도 회전, 마스크 중첩)을 사용하여 파라미터 드리프트를 분석하고, 임베딩 유사도를 통해 응답 매니폴드 변화를 분석한다. 또한 "과잉 KL 드리프트(excess-KL drift)" 프레임워크를 사용하여 이론적 분석을 제공한다.

주요 기여

본 논문은 네 가지 주요 기여를 한다:

데이터와 목적 함수의 분리: 저자들은 데이터의 출처(온-폴리시)와 학습 목적 함수를 분리한다. 온-폴리시 데이터가 유익하긴 하지만, 조밀한 자기 증류라는 특정 목적 함수가 시퀀스 수준의 온-폴리시 RL이 가진 보수적 업데이트 편향을 자동으로 상속받지는 않는다는 것을 입증한다.
조밀한 신호의 취약성: SDPO는 강력한 전문화 방법이지만, 지속적 학습 신호로서는 취약하다. 그 효용성은 교사의 안정성과 토큰의 신뢰성에 크게 의존한다. 본 연구는 CoT 증류와 빠른 교사 업데이트가 노이즈와 포맷팅 아티팩트(formatting artifacts)를 증폭시킬 수 있음을 밝힌다.
지속적 학습의 트레이드오프: 지속적 학습 설정에서 SDPO 변형 모델들은 GRPO보다 현저히 낮은 보유 능력을 보인다. 망각은 균일하게 일어나지 않는다. 망각은 "중간 거리(intermediate-distance)" 작업, 즉 소스 도메인 업데이트의 영향을 받을 만큼 가깝지만 동시에 그로부터 이득을 얻지 못할 만큼 정렬되지 않은 작업에 집중된다.
메커니즘 진단: 저자들은 다음을 통해 SDPO 실패의 원인을 진단한다:
- 파라미터/응답 드리프트: SDPO는 GRPO보다 더 큰 스펙트럼 이동과 응답 매니폴드 변화를 유도한다.
- 아티팩트 증폭: 포맷팅 아티팩트(예: 반복되는 토큰)가 교사-학생 루프에 의해 강화되어 모델 붕괴를 초래하는 "확증 편향(confirmation bias)" 루프를 식별한다.
- 이론적 과잉 KL: SDPO의 특권적 교사를 향한 토큰 수준의 투영이 KL-최소 시퀀스 보상 투영에 비해 과잉 KL 드리프트를 유발한다는 것을 보여주는 증명을 통해, 추가적인 망각을 예측한다.

결과

전문화 vs 보유: SDPO는 즉각적인 전문화(예: MATH 학습 후 Math500 점수의 상당한 향상)에는 뛰어나지만, 도메인 변화 시 능력을 유지하는 데는 실패한다. 4단계 지속 학습 시퀀스에서, 빠른 교사( $\alpha=5\%$ )를 사용하는 SDPO는 성능이 거의 제로에 가깝게 붕괴된 반면, GRPO는 모든 도메인에서 능력을 유지하고 향상시켰다.
교사 안정성: 전역적으로 최적인 단일 EMA 비율은 존재하지 않는다. 빠른 업데이트( $\alpha=5\%$ )는 시간적 불안정성으로 인해 성능을 저하시키는 경우가 많다. "재시작 및 동결" 전략이 연속적인 EMA보다 훨씬 우수한 성능을 보였으며, 이는 안정적이고 주기적인 교사 업데이트가 매우 중요하다는 것을 시사한다.
CoT 증류: CoT 토큰을 증류하는 것은 구조화된 짧은 추적(도구 사용)에는 성능을 개선하지만, 중간 토큰이 아티팩트나 중복된 자기 점검을 포함하여 크레딧 할당(credit assignment)을 희석시키는 길고 노이즈가 많은 추론 작업(수학, 과학)에는 해를 끼친다.
중간 거리 간섭: OOD 일반화는 비단조적(non-monotonic) 패턴을 따른다. 훈련 도메인과 매우 가깝거나 매우 먼 작업은 대개 보존되거나 개선된다. 그러나 중간 거리의 작업은 가장 심각한 망각을 겪으며, 이는 선형 모델에서의 간섭 이론과 일치하는 현상이다.
붕괴 모드: 본 연구는 모델이 반복적인 포맷팅 토큰(예: \boxed)으로 붕괴되는 특정 실패 모드를 식별했다. 이는 조밀한 자기 증류에서 고빈도 아티팩트가 발생하는 자기 강화 루프 때문인 것으로 분석된다.

의의 및 주장

본 논문은 온-폴리시 자기 증류가 지속적 사후 학습을 위한 기본 안정화 장치가 아니라고 결론짓는다. 교사 타겟이 안정적이고 토큰 수준의 감독이 신뢰할 수 있을 때 빠른 전문화를 위한 강력한 신호를 제공하지만, 이는 트레이드오프를 수반한다. 즉, 더 조밀한 감독은 국소적 학습 신호를 강화하지만 노이즈, 도메인 불일치, 누적된 아티팩트에 대한 민감도를 높인다.

저자들은 "더 조밀할수록 좋다(denser is better)"는 직관이 지속적 학습 맥락에서는 잘못되었다고 주장한다. GRPO와 같이 보수적으로 적응하며 이전 능력을 보존하는 시퀀스 수준 방법과 달리, SDPO의 공격적인 토큰 수준 업데이트는 치명적 망각과 모델 붕괴를 초래할 수 있다. 본 논문은 지속적 학습에서의 온-폴리시 자기 증류의 미래가 신호 밀도를 높이는 것이 아니라, 신호의 안정성과 아티팩트 인식을 보장하기 위해 토큰 가중치, 교사 제어, 데이터 균형을 통해 신호를 보호하는 것에 달려 있다고 제언한다.