기술 요약: SAGE-OPD

문제 정의

온-폴리시 증류(On-policy distillation, OPD)는 학생 정책을 학생 자신의 행동에 의해 유도된 궤적(trajectory) 상에서 교사 분포와 정렬함으로써, 오프라인 지도 미세 조정(SFT)의 고질적인 문제인 노출 편향(exposure bias)을 완화하는 방식으로 오픈 웨이트 추론 모델을 학습시키는 선도적인 접근법으로 부상했습니다. 그러나 기존의 OPD 연구는 주로 단일 턴 생성 작업에 집중되어 있습니다. 이를 실제 멀티 턴 LLM 에이전트에 적용할 경우, 표준 OPD는 다음과 같은 심각한 한계에 직면합니다:

1. 오차 누적(Compounding Errors): 멀티 턴 상호작용에서 초기 단계의 잘못된 행동은 환경 상태를 변화시켜 후속 관찰을 왜곡하며, 이는 회복을 점점 더 어렵게 만듭니다. 이로 인해 학생이 유도한 후기 히스토리가 교사의 분포에서 벗어나는 분포 이동(distribution shift)이 발생합니다.
2. 토큰 수준 정렬의 취약성(Brittleness of Token-Level Alignment): 표준 OPD는 밀집된 토큰 수준 정렬을 균등하게 적용합니다. 이는 교사의 특정 어구(wording)나 국소적 분해 방식과 다르더라도 의미론적으로 유효한 학생의 대안적 표현을 과도하게 처벌할 수 있습니다.
3. 퇴보의 강화(Reinforcement of Degeneracies): 밀집된 그래디언트는 만약 특정 패턴(예: 반복되는 생각이나 행동)이 우연히 유리한 교사 가능도(likelihood)를 얻게 될 경우, 국소적 퇴보 패턴을 강화할 수 있습니다.
4. 신뢰할 수 없는 감독(Unreliable Supervision): 학생의 오류가 누적됨에 따라, 오염된 히스토리에 대한 교사의 예측 분포는 불확실해질 수 있습니다. 이러한 시나리오에서 OPD를 균등하게 적용하는 것은 신뢰할 수 없는 감독을 전파하는 결과를 초래합니다.

핵심 질문은 멀티 턴 OPD가 개입이 반드시 필요하고 신뢰할 수 있는 턴에만 선택적으로 감독을 적용함으로써 온-폴리시 감독의 이점을 보존할 수 있는지 여부입니다.

방법론: SAGE-OPD

저자들은 감독을 선택적으로 할당하도록 설계된 검증기 프리(verifier-free) 프레임워크인 SAGE-OPD(Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation)를 제안합니다. 이 방법은 세 가지 핵심 구성 요소로 작동합니다:

1. 턴 단위 개입 (Turn-Level Intervention)

SAGE-OPD는 궤적을 평면적인 토큰 시퀀스로 취급하는 대신, 환경 피드백을 기반으로 궤적을 턴(turn) 단위로 분할합니다. 각 턴 $t$에 대해, 감독 강도를 조절하기 위해 이산적인 개입 변수 $z_t \in \{\text{Skip, Weak, Strong}\}$가 결정됩니다:

• Skip (건너뛰기): 학생의 응답이 수용 가능하거나 의미론적으로 유연한 경우; 교사 감독을 적용하지 않습니다 ($w_t = 0$).
• Weak (약한 개입): 응답이 잠재적으로 최선은 아니지만 불확실한 경우; 부분적인 감독을 적용합니다 ($w_t = \alpha$).
• Strong (강한 개입): 응답에 명확한 오류(예: 잘못된 도구 호출, 누락된 행동)가 포함된 경우; 전체 감독을 적용합니다 ($w_t = 1$).

$z_t$의 할당은 다음의 2단계 검증기 프리 절차를 따릅니다:

1. 결정론적 체크 (Deterministic Check): 환경 피드백이 명확한 실행 실패(예: 잘못된 형식의 액션)를 나타내면, 해당 턴은 즉시 Strong으로 할당됩니다.
2. 교사 판단 (Teacher Judgment): 실행 가능하지만 모호한 턴의 경우, 교사에게 히스토리와 피드백을 바탕으로 해당 턴을 세 가지 카테로리 중 하나로 분류하도록 능동적인 프롬프트를 통해 질의합니다.

2. 교사 신뢰도 가중치 (Teacher Confidence Weighting)

오프-디스트리뷰션(off-distribution) 히스토리에 대한 교사 감독의 불확실성을 해결하기 위해, SAGE-OPD는 신뢰도 점수 $c_t$를 도입합니다. 이 점수는 현재 턴에 대한 교사의 예측 확실성을 측정하며, 학생 응답 토큰들에 대한 평균 top-1 확률로 계산됩니다:
$$c_t = \frac{1}{|a_t|} \sum_{i=1}^{|a_t|} \max_{v} \pi_\phi(v | h_t, a_{t,<i})$$
턴 $t$에 대한 최종 선택적 가중치 $s_t$는 개입 가중치 $i_t$와 신뢰도 점수 $c_t$의 곱입니다:
$$s_t = i_t \cdot c_t$$
이를 통해 강력한 감독은 개입이 필요하다고 판단되는 동시에 교사의 신호가 신뢰할 수 있는 경우에만 적용됩니다.

3. 손실 정규화 (Loss Normalization)

OPD 손실에 직접 $s_t$를 곱하면 전체 그래디언트 크기가 감소하여 최적화 스케일이 변할 수 있습니다. 선택적 가중치의 효과를 격리하기 위해, SAGE-配D는 표준 OPD의 상대적 턴 단위 가중치는 유지하면서 전체 손실 스케일을 보존하는 정규화 계수 $Z$를 적용합니다:
$$L_{\text{SAGE-OPD}} = Z \sum_{t=0}^{T-1} s_t L_{\text{OPD}}(h_t, a_t)$$
여기서 $Z$는 가중치가 적용된 토큰 수의 합을 표준 OPD의 스케일에 맞도록 정규화합니다.

주요 기여

1. 프레임워크 제안: 모든 학생 생성 턴에 대해 균등한 밀집 증류를 피하면서 온-폴리시의 이점을 보존하는 검증기 프리 선택적 개입 프레임워크인 SAGE-OPD를 도입했습니다.
2. 3단계 메커니즘: 세 가지 상호 보완적인 구성 요소를 식별하고 통합했습니다:
   • 턴 단위 개입: 감독이 필요한지 여부를 결정합니다.
   • 교사 신뢰도 가중치: 토큰 수준의 신호를 얼마나 신뢰할 것인지 결정합니다.
   • 손실 정규화: 학습 신호의 스케일이 표준 OPD와 유사하게 유지되도록 합니다.
3. 실증적 검증: 체화된 상호작용(ALFWorld), 과학적 과제 해결(ScienceWorld), 검색 기반 질의응답(SearchQA) 전반에 걸쳐 효과를 입증했습니다.

실험 결과

저자들은 여러 교사-학생 쌍에 대해 Qwen3 모델(0.6B, 1.7B, 8B, 32B)을 사용하여 SAGE-OPD를 평가했습니다.

• ALFWorld: SAGE-OPD는 표준 OPD 대비 미학습(unseen) 성공률에서 최대 13.3%의 상대적 향상을 달성했습니다. 예를 들어, Qwen3-1.7B 학생과 Qwen3-8B 교사를 사용했을 때, 미학습 성공률이 61.94%(표준 OPD)에서 **70.15%**로 향상되었습니다. 또한 과제 해결에 필요한 평균 턴 수를 일관되게 단축했습니다.
• ScienceWorld: SAGE-OPD는 Qwen3-1.7B 학생이 8B 및 32B 교사를 사용할 때 가장 높은 성공률을 기록했습니다. 특히, Qwen3-0.6B 학생의 평균 과제 점수를 -12.88(OPD)에서 +3.89로 개선했으나, 이는 평균 턴 수가 약간 증가한 것을 동반했는데, 이는 더 지속적인 탐색(exploration)이 이루어졌음을 시사합니다.
• SearchQA: SAGE-OPD는 Qwen3-8B로부터 증류된 Qwen3-1.7B 학생에 대해 평균 Exact Match(EM)를 30.09에서 30.77로 개선하며 최고의 성과를 보였습니다.
• 학습 역학 (Training Dynamics): 분석 결과, 표준 OPD는 조기에 포화(미학습 분할에서 약 60-63% 성공률)되는 반면, SAGE-OPD는 학습 후기 단계에서도 계속해서 개선되는 모습을 보였습니다. 이는 단순한 초기 수렴 속도의 문제가 아니라 더 나은 일반화 성능을 나타냅니다.

의의 및 주장

본 논문은 효과적인 멀티 턴 온-폴리시 증류는 온-폴리시를 유지해야 하지만, 토큰 수준의 밀집된 감독을 반드시 요구하는 것은 아니라고 주장합니다. SAGE-OPD의 의의는 다음과 같습니다:

• 오차 누적 완화: 적절한 턴은 건너뛰고 필요한 경우에만 개입함으로써, 오염된 히스토리에 대한 신뢰할 수 없는 교사 신호의 전파를 방지합니다.
• 과도한 교정 방지: 의미론적으로 유효한 대안과 실제 오류를 구분함으로써, 교사의 특정 어구와 다른 유연한 학생 행동을 처벌하는 것을 피합니다.
• 검증기 없이 작동: RLVR(Reinforcement Learning with Verifiable Rewards)과 달리, SAGE-OPD는 외부 검증기나 환경 정의 보상 신호가 필요하지 않으며, 대신 환경 피드백과 교사 판단에 의존합니다.

저자들은 교사 감독이 전체 궤적에 걸쳐 균등하게 적용되는 것이 아니라, 개입이 필요하고 신뢰할 수 있는 턴에 선택적으로 할당되어야 한다고 결론짓습니다.