기술 요약: 특권적 온폴리시 증류를 위한 앵커드 레지듀얼 가이던스 (Anchored Residual Guidance for Privileged On-Policy Distillation)

1. 문제 정의

본 논문은 **특권적 온폴리시 증류(Privileged On-Policy Distillation, Privileged OPD)**에서 발생하는 특정 실패 모드를 다룹니다. 표준 OPD에서는 학생 모델이 학생 스스로 생성한 상태에 대한 교사 모델의 예측으로부터 학습함으로써, 지도 미세 조정(SFT)의 노출 편향(exposure bias)을 완화합니다. 특권적 OPD는 이를 더욱 강화하기 위해, "자기-교사(self-teacher)"(동일한 베이스 모델)를 특권 정보(예: 오라클 트레이스, 정답 솔루션)로 보강하여 밀도 높고 정답 지향적인 감독을 제공합니다.

그러나 저자들은 이 완전한 특권 교사를 절대적인 모방 대상으로 취급하는 것이 "도달 가능성 불일치(reachability mismatch)"를 초래한다는 점을 지적합니다. 전체 뷰를 가진 교사는 전체 미래 컨텍스트(최종 정답 포함)를 조건으로 하기 때문에, 그 확률 분포에는 **사후 편향된 정보(hindsight-biased information)**가 포함됩니다.

• 결과: 학생 모델은 현재의 프리픽스(prefix)로부터 인과적으로 뒷받침되지 않는 토큰들을 선택하여, 사후 편향된 분포를 맞추기 위해 유효한 중간 추론 단계를 건너뛰도록 유도됩니다.
• 병리 현상: 이는 **특권 정보 누출(privileged-information leakage)**로 이어지며, 모델이 현재 상태에서 논리적으로 도출할 수 없는 답을 미리 예측하여 "속임수"를 쓰는 것처럼 보이게 만듭니다. 이러한 현상은 궤적의 길이(long-horizon)가 길어질수록 심화됩니다(long-horizon drift).

2. 방법론: 앵커드 레지듀얼 온폴리시 증류 (AR-OPD)

학생의 국소적 예측 지원(local predictive support)과 교사의 사후 편향된 분포 사이의 불일치를 해결하기 위해, 저자들은 특권적 감독을 **국소적 호환 앵커(Locally Compatible Anchor)**와 **목적지 지향적 레지듀얼(Destination-Directed Residual)**의 두 가지 구성 요소로 분리하는 이중 뷰 프레임워크인 AR-OPD를 제안합니다.

핵심 메커니즘

학생에게 전체 특권 교사($q_{full}$)를 모방하도록 강요하는 대신, AR-OPD는 다음과 같이 로그 확률 공간에서의 분해를 통해 타겟 분포($q_\lambda$)를 구축합니다:

$$\log q_\lambda(v | s_t) = \underbrace{\log q_{part}(v | s_t)}_{\text{Anchor}} + \lambda \underbrace{(\log q_{full}(v | s_t) - \log q_{part}(v | s_t))}_{\text{Residual}} - C_t$$

1. 앵커 ($q_{part}$): 특권 컨텍스트를 결정론적으로 절단(예: 추론 트레이스의 앞부분 50%만 유지, $\rho=0.5$)하여 부분적 특권 교사를 구축합니다. 이 교사는 학생을 사후 편향된 정답으로부터 격리하면서도 구조적 가이던스를 유지하는, 인과적으로 도달 가능한 타겟을 제공합니다.
2. 레지듀얼 (Residual): 전체 뷰 교사와 부분 뷰 교사의 차이는 한계적 예견(marginal foresight)(즉, "목적지 지향적" 신호)을 나타냅니다.
3. 제어 파라미터 ($\lambda$): 이 계수는 레지듀얼의 크기를 조절합니다.
   • $\lambda = 0$이면, 이 방식은 부분 특권 OPD로 환원됩니다.
   • $\lambda = 1$이면, 전체 특권 타겟을 복구합니다.
   • 저자들은 **$\lambda < 1$ (수축 영역, contractive regime)**이 최적임을 발견했습니다. 이는 타겟을 부분 뷰와 전체 뷰 사이에 고정시켜 사후 정보의 과도한 전이를 방지합니다.

훈련 목적 함수

학생은 단일한 전체 뷰 타겟이 아니라, 이 앵커드 레지듀얼 타겟 $q_\lambda$와 학생이 방문한 상태 사이의 거리(forward KL divergence)를 최소화하도록 훈련됩니다.

3. 주요 기여

1. 사후 누출(Hindsight Leakage) 진단: 본 논문은 단일 구조의 특권 OPD가 학생을 국소적 예측 지원 범위를 벗어난 토큰으로 끌어들여, 특히 긴 궤적(768 토큰 이상)에서 최적화 병리를 유발한다는 기계적 증거를 제시합니다.
2. AR-OPD 프레임워크: 국소적 도달 가능성(앵커)과 미래 가이던스(레지듀얼)의 분리를 구현하는 이중 뷰 증류 방법을 도입했습니다.
3. 실험적 검증: 전체 뷰 레지듀얼을 제어하는 것이 SFT 및 전체 특권 OPD보다 성능을 향상시킨다는 것을 입증하였으며, 특히 지름길 이벤트(shortcut events)를 줄이고 후기 단계의 드리프트(late-stage drift)를 완화함을 보여주었습니다.

4. 실험 결과

저자들은 Qwen2.5-7B-Instruct를 베이스 모델로 사용하여 수학(MATH500, AMC23), 코드(HumanEval, MBPP), 과학(SciKnowEval), 의료 QA(MedQA, MedCQA)의 네 가지 도메인에서 AR-OPD를 평가했습니다.

• 성능 향상: AR-OPD는 모든 벤치마크에서 가장 높은 평균 점수(70.3)를 기록했습니다.
  • 베이스 모델 대비 +12.1 포인트
  • 지도 미세 조정(SFT) 대비 +7.9 포인트
  • 강력한 Full Privileged OPD 베이스라인 대비 +2.3 포인트
• 도메인별 특성: AR-OPD의 이점은 수학적 추론에서 가장 두드러졌으며, MATH500에서 74.6에 도달하여 Full OPD를 3.6 포인트 앞질렀습니다.
• 장기 궤적 견고성: 768 토큰을 초과하는 궤적에서 AR-OPD는 Full OPD보다 7.2 포인트 높은 성능을 보이며, 확장된 추론 작업에서 우수한 안정성을 입증했습니다.
• 메커니즘 검증:
  • 지름길 감소: AR-OPD는 Full OPD와 비교하여 "지름길 이벤트"(특권 정보 누출 사례)를 21.7% 감소시켰습니다.
  • 신호 신뢰도: 진단 결과, 부분 특권 뷰는 전체 뷰(ROC-AUC 0.779)와 거의 유사한 수준의 최종 정답 예측력(ROC-AUC 0.766)을 유지하는 반면, [전체 뷰 마이너스 부분 뷰]의 한계 신호는 훨씬 약함(0.585)을 보여 레지듀얼 접근 방식의 타당성을 입증했습니다.

5. 의의 및 주장

본 논문은 특권 정보의 유용성이 사용 여부(사용 vs 폐기)라는 이분법적 선택이 아니라, 타겟 설계의 문제라고 주장합니다.

• 특권의 재정의: 저자들은 전체 뷰의 오라클 분포가 유용한 목적지 지향적 신호를 포함하고 있지만, 사후 편향 때문에 절대적인 타겟으로 취급될 경우 위험하다는 점을 강조합니다.
• 제어된 가이던스: 타겟을 국소적으로 도달 가능한 상태에 고정하고 예견(foresight)을 제어된 레지듀얼로 주입함으로써, AR-OPD는 추론 과정의 인과적 무결성을 해치지 않으면서도 모델이 "더 많은 것을 보는" 이점을 얻도록 합니다.
• 확장성: 이 방법은 특히 전체 뷰 타겟의 신뢰도가 떨어지고 사후 편향에 의한 드리프트 위험이 가장 높은 **장기 궤적 추론(long-horizon reasoning)**에서 매우 중요합니다.

저자들은 결론적으로 AR-OPD가 특권적 감독의 밀도와 안정적인 온폴리시 학습에 필요한 국소적 호환성 사이의 균형을 맞춤으로써, 포스트 트레이닝 추론 모델을 위한 강력한 레시피를 제공한다고 설명합니다.