기술 요약: 교사는 언제 움직여야 하는가? 자기 온-폴리시 증류(Self On-Policy Distillation)에서의 시간적 결합과 안정성

1. 문제 정의

자기 온-폴리시 증류(Self on-policy distillation)는 자신의 파라미터 이력으로부터 유도된 교사(Teacher)를 대상으로 학생(Student) 정책을 학습시킨다. 이러한 접근 방식은 외부 교사의 필요성을 제거하지만, 교사가 학생에 대해 업데이트되는 주기를 결정하는 **시간적 결합(Temporal coupling)**과 관련하여 근본적인 긴장 관계를 유발한다.

기존 연구들은 교사 업데이트 메커니즘(예: 고정 간격, 지수 이동 평균(EMA))을 안정성에 결정적인 변수가 아닌 구현 세부 사항으로 취급해 왔다. 본 논문은 교사의 업데이트 스케줄에 대한 체계적인 연구의 부재가 장기 훈련(Long-horizon training)에서 두 가지 뚜렷한 실패 모드로 이어진다는 점을 식별한다.

1. 참조 붕괴(Reference Collapse): 교사가 학생을 너무 밀접하게 추적할 때(긴밀한 결합) 발생하며, 교사의 분포가 학생의 현재(잠재적으로 최적이 아닌) 분포로 수렴함에 따라 증류 신호가 소멸된다.
2. 상태 망각형 붕괴(State-Oblivious Collapse): 고정 간격의 하드 리프레시(Hard refresh) 스케줄에서 발생한다. 만약 리프레시가 학생의 불안정한 과도기(예: 엔트로피 급증 또는 보상 정체기) 중에 클록 신호에 의해 트리거되면, 교사는 이 오염된 상태를 돌이킬 수 없이 복사하게 된다. 소프트 트래킹 방식과 달리, 하드 리프레시는 부분적인 회복 경로를 제공하지 않으므로 단기 평가에서는 보이지 않는 치명적인 실패를 초래한다.

2. 방법론 및 분석

진단 프레임워크

저자들은 세 가지 핵심 지표를 활용하여 훈련 역학을 특징짓는 진단 프레임워크를 도입한다:

• 시간적 KL 구조(Temporal KL Structure): "교정적(Corrective)" 리프레시(학생이 재적응함에 따라 일시적인 KL 급증을 생성함)와 "오염적(Contaminating)" 패턴(KL은 낮게 유지되지만 엔트로피가 상승함)을 구분한다.
• 리프레시 충격(Refresh Shock): 교사 업데이트가 학생의 안정성에 미치는 즉각적인 영향을 분석한다.
• 꼬리 분포 위험(Length-Tail Risk): 분포의 꼬리 부분에서 시퀀스 길이 확장이 전체 붕괴 이전에 나타나는 현상을 식별하며, 이를 평균 엔트로피나 보상 지표가 저하되기 전의 조기 경보 신호로 사용한다.

안정성을 위한 구조적 요구 사항

Qwen3-8B(Chemistry 태스크)에 대한 제어된 스케줄 스윕(Sweep)을 통해, 본 논문은 안정적인 자기 증류를 위한 두 가지 필수적인 구조적 요구 사항을 확립한다:

1. 파라미터 독립성(Parameter Independence): 교사는 업데이트 사이에 상당한 기간 동안(격리 기간) 동결되어 있어야 한다. 이는 교사가 학생의 변동성을 흡수하는 것을 방지하고 KL 발산이 의미 있는 교정 신호로 남도록 보장한다. 논문은 안정성을 가능하게 하는 핵심 요소가 교사의 연령(Teacher age)이 아니라 *격리 기간(Isolation periods)*이라고 주장한다.
2. 상태 인식(State Awareness): 업데이트는 경과된 시간이 아니라 실제 학생의 공고화(Consolidation, 예: 보상 개선)의 증거에 의해 트리거되어야 한다. 클록 기반 스케줄은 이 요구 사항을 충족하지 못하며, 일시적인 드리프트(Drift)를 복사할 위험이 있다.

제안된 솔루션: 공고화 게이트형 교사 리프레시(Consolidation-Gated Teacher Refresh, CGTR)

두 요구 사항을 동시에 충족하기 위해, 저자들은 구조적 격리를 유지하면서 관측 가능한 증거를 바탕으로 업데이트를 제어하는 메커니즘인 CGTR을 제안한다. 교사는 다음 세 가지 조건이 모두 충족될 때만 업데이트된다:

1. 격리 게이트(Isolation Gate): 마지막 리프레시 이후 최소 격리 기간($M_{min}$)이 경과해야 한다.
2. 보상 게이트(Reward Gate): 이동 창(Rolling-window) 평균 보상이 마지막 리프레시 시 기록된 보상보다 임계값 $\delta_r$만큼 높아야 한다. 이는 래칫(Ratchet) 역할을 하여, 모든 업데이트가 엄격하게 개선된 성능만을 포착하도록 보장한다.
3. 길이 꼬리 게이트(Length-Tail Gate): 최대 시퀀스 길이가 안전 임계값($L_{max}$) 미만으로 유지되어야 하며, 이는 생성 폭발(Generation explosion)을 보이는 상태의 복사를 방지한다.

CGTR은 추가적인 모델 추론이나 학습된 구성 요소를 필요로 하지 않으며, 모든 조건은 훈련 롤아웃(Rollouts)으로부터 평가된다.

3. 주요 결과

단기 분석 (100 스텝)

• 격리가 핵심이다: 희소한 하드 리프레시(예: $M=50$)가 긴밀한 리프레시($M \le 2$) 및 EMA보다 우수한 성능을 보였다. $M=50$은 가장 높은 테스트 점수(0.755)와 가장 낮은 엔트로피를 달면했다.
• 연령 vs 구조: 지연 정렬된(Lag-aligned) EMA 베이스라인($M=50$ 교사의 평균 연령과 일치)은 하드 리프레시의 안정성을 따라잡지 못했다. 이는 구조적 격리가 교사의 연령보다 성능을 주도한다는 점을 확인시켜 준다.

장기 분석 (300 스텝)

• 고정 스케줄의 실패: 최적의 단기 스케줄($M=50$)은 189 스텝에서 상태 망각형 붕괴를 겪었다. 하드 리프레시가 일시적인 엔트로피 급증 중에 실행되어 오염된 상태를 교사에게 복사했고, 이로 인해 테스트 점수가 0.000으로 급락했다.
• EMA의 실패: EMA($\alpha=0.04$)는 치명적인 붕괴는 피했지만, 드리프트가 무제한으로 누적되어 엔트로피가 상승하고 성능이 0.713에서 정체되는 **정상 상태 오염(Steady-state contamination)**을 겪었다.
• CGTR 성능: CGTR은 **제로 붕괴(Zero collapse)**와 함께 최고의 최종 점수(0.806)를 달성했다. 이는 태스크 역학에 따라 리프레시 빈도를 스스로 조절(Chemistry 태스크에서 3회 업데이트)함으로써 낮은 엔트로피와 높은 안정성을 유지했다.

교차 태스크 일반화

Biology, Physics, ToolUse 태스크에 대해 별도의 데이터셋 튜닝 없이 평가하였다:

• Biology: $M=50$은 130 스텝에서 붕괴되었으나, CGTR은 붕괴를 피하고 EMA보다 우수한 성능을 보였다.
• Physics: 모든 방법이 붕괴를 피했으나, CGTR이 가장 높은 최종 점수(0.703)와 가장 낮은 엔트로피를 달성했다.
• ToolUse: $M=50$과 EMA 모두 성능 저하를 보였으나, CGTR은 가장 높은 최종 점수(0.536)와 가장 낮은 엔트로피를 유지했다.

4. 의의 및 주장

본 논문은 시간적 결합을 안정성을 위한 일급 변수로 취급함으로써 자기 증류 문헌의 중요한 공백을 메운다고 주장한다. 주요 기여는 다음과 같다:

1. 격리 기간의 식별: 교사 업데이트 사이의 완전한 교사 동결이 안정적인 학습을 가능하게 하는 근본적인 구조적 속성임을 입증하였으며, 이는 교사의 연령 개념과는 구별된다.
2. 상태 망각형 붕괴의 발견: 고정 간격의 하드 리프레시가 돌이킬 수 없는 능력 상실을 초래하는 장기적 실패 모드를 밝혀냈다. 이는 단기 평가에서는 보이지 않으며, EMA의 만성적 오염과는 메커리즘적으로 구별되는 실패이다.
3. CGTR 제안: 단일 파라미터 세트와 적응형 상태 인식 게이팅을 통해, 다양한 태스크(Chemistry, Biology, Physics, ToolUse)에서 별도의 데이터셋 튜닝 없이 제로 붕괴와 우수한 성능을 달 수 있음을 입증하였다.

저자들은 자기 주도 학습이 장기적으로 안정적이려면, 교사 업데이트가 클록 신호가 아닌 실제 학생의 공고화에 반응해야 하며, 이를 통해 증류 목적이 교정적 기능을 유지하는 데 필요한 구조적 독립성을 보존해야 한다고 결론짓는다.