Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation

기술 요약: 접두사 가르침, 접미사 소멸: 강력한 모델에서 약한 모델로의 온-정책 증류에서 발생하는 지역적 가르침 가능성 붕괴

1. 문제 정의

본 논문은 온-정책 증류 (On-Policy Distillation, OPD) 의 특정 실패 모드를 다루며, 특히 훨씬 큰 교사 모델이 더 작은 학생 모델을 감독하는 강력한 모델에서 약한 모델로 (strong-to-weak) 설정에 초점을 맞춥니다. 기존 문헌은 교사 피드백이 제공되는 한 생성된 전체 궤적에 걸친 밀집 감독이 균일하게 유익하다고 가정해 왔으나, 저자들은 이 가정이 지나치게 단순하다고 주장합니다.

식별된 핵심 문제는 지역적 가르침 가능성 붕괴 (Local Teachability Collapse) 입니다. 강력한 모델에서 약한 모델로의 OPD 에서, 응답 전체에 걸쳐 교사 - 학생 간 우위가 0 이 아닌 상태로 유지되더라도, 교사의 피드백 지역적 대비 (local contrast) 는 후기 구간에서 종종 감소합니다. 구체적으로:

• 교사는 여전히 글로벌 선호 신호 (0 이 아닌 평균 우위) 를 제공할 수 있습니다.
• 그러나 이 신호의 판별력은 약화됩니다. 교사는 지역적 영역에서 학생의 최상위 후보 행동들 사이를 명확하게 구분하지 못합니다.
• 이러한 대비가 낮은 영역에 밀집 감독을 적용하는 것은 학생에게 의미 있는 우선순위를 제공하는 대신 "정보성이 낮은 잡음"을 최적화하게 되어, 성능을 저하시키거나 도메인 외 능력을 유지하지 못하게 할 수 있습니다.

2. 방법론

저자들은 지역적 가르침 가능성 붕괴를 완화하기 위해 궤적별 해제 규칙 (trajectory-specific release rule) 을 제안합니다. 균일한 감독을 적용하거나 고정된 글로벌 접두사 길이를 사용하는 대신, 이 방법은 교사의 신호 지역적 유용성에 기반하여 밀집 감독을 어디에서 중단할지 동적으로 결정합니다.

방법론의 핵심 구성 요소:

1. 상태별 지역 교사 마진 (State-Local Teacher Margin):

   • 불안정할 수 있는 샘플링된 토큰 우위 ($A_t$) 의 분산에 의존하는 대신, 이 방법은 학생의 접근 가능한 행동들 사이에서 교사의 판별 능력을 평가합니다.
   • 각 접두사 구간에서 학생의 최상위 $K$개 후보 집합 ($C_t$) 이 구성됩니다.
   • 교사의 최근접 경쟁자 마진 (nearest-competitor margin, $M_t$) 은 $C_t$ 내 교사의 1 위 및 2 위 후보 간의 로그 확률 차이로 계산됩니다:
     $$M_t = \log p_T(a^{(1)}_t) - \log p_T(a^{(2)}_t)$$
   • $M_t$의 지속적 감소는 교사의 지도가 지역적으로 평평해졌음 (행동 가능성이 낮아짐) 을 나타냅니다.

2. 문장 수준 집계:

   • 토큰 수준의 아티팩트를 완화하기 위해, 마진들은 NLTK 로 토큰화된 문장 세그먼트 ($B_i$) 에 대해 집계됩니다.
   • 세그먼트 수준 신호 $S_i$는 다음과 같이 정의됩니다:
     $$S_i = \log \left(1 + \frac{1}{|B_i|} \sum_{t \in B_i} M_t \right)$$

3. BIC 스타일 변화점 탐지:

   • 세그먼트 신호 시퀀스 $\{S_i\}$가 하향 전환을 탐지하기 위해 분석됩니다.
   • 이 방법은 변화점 $\tau$가 존재하여 평균 신호가 감소 ($\mu_{pre} > \mu_{post}$) 하는 "한 번의 하락" 모델 ($H_1$) 을 "변화 없음" 모델 ($H_0$) 과 비교합니다.
   • 프로파일된 RSS-BIC 기준이 최적의 변화점 $\tau^*$를 선택하는 데 사용되며, 무작위 변동으로 인한 위양성을 방지하기 위해 모델 복잡도에 페널티를 부과합니다.
   • 유의미한 하향 변화가 탐지되면, 탐지된 세그먼트 경계 이후의 모든 토큰에 대해 밀집 감독이 마스킹됩니다.

4. 손실 질량 재조정:

   • 단축에도 불구하고 기울기 크기가 일관되게 유지되도록, 유지된 접두사 우위들은 재조정됩니다:
     $$A'_t = A_t \cdot q_t \cdot \frac{\sum l_t}{\sum l_t q_t}$$
   • 여기서 $q_t$는 접두사 마스크 (절단 전은 1, 후에는 0) 이며, $l_t$는 원래 손실 마스크입니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 지역적 가르침 가능성 붕괴의 식별: 저자들은 강력한 모델에서 약한 모델로의 OPD 에서 교사 - 학생 간 우위는 0 이 아닌 상태로 유지될 수 있지만 지역적 판별력 (대비) 은 감소할 수 있음을 진단합니다. 이는 전체 궤적에 대한 밀집 감독이 항상 최적이지 않음을 보여줍니다.
2. 궤적별 해제 규칙: 교사 피드백이 지역적으로 행동 가능한지 여부를 결정하는 메커니즘을 도입합니다. 이 규칙은 학생의 최상위 $K$개 후보에 대한 교사의 1 위/2 위 마진을 활용하고, 이를 문장 세그먼트에 대해 집계한 후 통계적 하향 변화점 이후 감독을 종료합니다.
3. 실증적 검증: 이 방법은 다양한 Qwen3 강력한 모델에서 약한 모델로의 증류 설정 (1.7B, 4B, 8B 학생 모델) 에서 검증되었습니다. 해제 규칙은 도메인 내 벤치마크에서 표준 전체 궤적 OPD 및 고정 접두사 베이스라인보다 일관되게 우수한 성과를 보였으며, 도메인 외 능력을 더 잘 유지했습니다.

4. 실험 결과

실험은 Qwen3 모델 패밀리 (교사: Qwen3-30B-A3B-Instruct-2507; 학생: 1.7B, 4B, 8B) 를 사용하여 다섯 개의 도메인 내 수학 벤치마크 (AIME25, HMMT25, MATH500, Minerva) 와 하나의 도메인 외 벤치마크 (GPQA) 에서 수행되었습니다.

• 성능 향상: 1.7B 학생 모델의 경우, 제안된 방법은 다섯 개 수학 벤치마크에서 평균 40.1% 점수를 달성한 반면, 표준 전체 OPD 는 36.8%, 최상의 고정 접두사 베이스라인 (2048 토큰) 은 39.3% 를 기록했습니다.
• 도메인 외 능력 유지: 이 방법은 전체 OPD (40.7%) 에 비해 GPQA 점수 (42.4%) 를 향상시켜 일반 능력의 더 나은 유지를 시사합니다.
• 확장성: 이 이점은 더 큰 학생 모델 (4B 및 8B) 에서도 지속되었으며, 해제 규칙은 전체 OPD 및 기타 베이스라인 (예: 8B 의 경우 평균 55.2% 대 전체 OPD 의 53.1%) 보다 일관되게 우수한 성과를 보였습니다.
• 절차 분석 (Ablation): "무작위 해제" 제어 (샘플 간 해제 지점 무작위 교차) 는 더 낮은 성능 (평균 38.0%) 을 보였으며, 이는 해제 지점이 특정 궤적의 지역적 가르침 가능성 신호와 결합되어야 함을 확인시켜 줍니다.
• 지원 크기 민감도: 이 방법은 학생의 최상위 $K$개 지원 크기 ($K \in \{2, 4, 16, 32\}$) 변화에 대해 견고했으며, $K=4$가 가장 좋은 결과를 보였습니다.

5. 중요성 및 주장

본 논문은 효과적인 강력한 모델에서 약한 모델로의 온-정책 증류는 교사 지도의 가용성뿐만 아니라 그 지역적 유용성도 평가해야 한다고 주장합니다.

• 핵심 통찰: 밀집 감독은 교사의 피드백이 여전히 판별력을 유지하는 궤적 영역에 집중되어야 합니다. 교사의 지역적 대비가 붕괴되어 (평평해져) 버리면, 밀집 감독을 계속하는 것은 미미한 학습 신호만 제공하며 잡음을 도입할 수 있습니다.
• 실용적 함의: 제안된 해제 규칙은 기본 OPD 목적 함수를 변경하지 않고도 감독을 "소멸 (fade)"시키는 (접두사 가르침, 접미사 소멸) 원칙적인 방법을 제공합니다. 이는 생성된 피드백이 학생에게 여전히 "가르칠 수 있는 (teachable)" 상태임을 보장합니다.
• 겸손함: 저자들은 현재 구현이 전체 롤아웃 생성 후 진단 단계를 수행하며 FastOPD 와 달리 본질적으로 생성 과정을 단축하지는 않는다고 지적합니다. 즉, 효율성 향상은 가르침 가능성 신호의 검증에 비해 2 차적인 고려 사항입니다. 그들은 이 규칙이 모든 해제 후 토큰이 해롭다는 이론적 보장이 아니라, 중심 주장을 검증하기 위한 실용적 휴리스틱임을 명시적으로 밝힙니다.