기술 요약: RLCSD – 대조적 온-폴리시 자기 증류를 이용한 강화 학습

1. 문제 정의: 특권으로 인한 스타일 드리프트 (Privilege-Induced Style Drift)

본 논문은 단일 모델이 교사(Teacher)와 학생(Student) 역할을 모두 수행하며, 교사에게는 학생이 접근할 수 없는 "특권적 문맥"(예: 검증된 솔루션)을 부여하는 패러다임인 **온-폴리시 자기 증류(On-Policy Self-Distillation, OPSD)**에서 발생하는 치명적인 병리 현상을 식별합니다.

기존의 OPSD 방식들(예: OPSD, SDPO, SRPO, RLSD)은 특권이 부여된 교사와 학생 사이의 분포 차이를 최소화함으로써 밀도 높은 토큰 수준의 감독을 제공하고자 하지만, 저자들은 이 학습 신호가 근본적으로 결함이 있음을 입증합니다. 저자들은 이를 **특권으로 인한 스타일 드리프트(privilege-induced style drift)**라고 명명합니다.

• 메커니즘: 검증된 솔루션(특권적 문맥)을 조건으로 하는 교사는 작업 관련 토큰(예: 수학 연산자)에 대한 확신을 높입니다. 그러나 이는 동시에 정답 여부와는 무관한 생성 동작의 체계적인 변화를 유도합니다. 특권이 부여된 교사는 더 짧고 단정적인 출력을 생성하고, 탐색적인 완곡 어구(hedges)를 억제하며, 형식 및 담화 토큰(예: "Wait", "Therefore", "\n\n")으로 확률 질량을 재배분하는 경향이 있습니다.
• 결과: 그 결과 발생하는 학습 신호($e_{c,t}$)는 정답을 결정하는 **작업 관련 토큰(task-bearing tokens)**보다는 이러한 **스타일 토큰(style tokens)**에 의해 지배됩니다.
• 관찰된 병리 현상: 이러한 신호 왜곡은 학습 과정에서 두 가지 뚜렷한 실패 모드를 초래합니다.
  1. 엔트로피 폭발 및 불안정성: OPSD 및 SDPO와 같은 방법들은 경계 없는 엔트로피 증가를 겪으며, 이는 응답 길이의 폭발과 학습 붕괴로 이어집니다.
  2. 조기 길이 축소: RLSD와 같은 방법들은 응답 길의 급격한 감소를 보이며, 이는 모델의 장기 추론 능력을 제한합니다.

2. 방법론: RLCSD

특권으로 인한 스타일 드리프를 해결하기 위해, 저자들은 **RLCSD (Reinforcement Learning with Contrastive On-Policy Self-Distillation)**를 제안합니다. 핵심 통찰은 동일한 프롬프트 템플릿 하에서 제시될 때, 특권적 문맥에 의해 유도된 스타일적 변화는 정답 힌트와 오답 힌트 모두에서 공유된다는 점입니다. 따라서 정답 힌트와 오답 힌트를 대조함으로써 공유된 스타일 성분을 상쇄하고, 정답 여부에 집중된 신호를 남길 수 있습니다.

RLCSD 파이프라인은 세 단계로 구성됩니다:

1단계: 롤아웃 샘플링 및 분할 (Rollout Sampling and Partitioning)

주어진 쿼리 $x$에 대해, 학생 정책 $\pi_S$는 $G$개의 롤아웃 그룹을 샘플링합니다. 규칙 기반 검증기는 이를 정답 집합($\mathcal{G}^+$)과 오답 집합($\mathcal{G}^-$)으로 분할합니다. 모든 결과가 동일한(모두 정답이거나 모두 오답인) 그룹은 표준 GRPO 정규화 하에서 이득(advantage)이 0이 되므로 폐기됩니다.

2단계: 대조적 토큰 수준 신호 구축 (Constructing the Contrastive Token-Level Signal)

단일 특권 힌트를 사용하는 대신, RLCSD는 대조적 신호 $e_{ctr,t}$를 구축합니다:

1. 양성 힌트 ($y_c^*$): $\mathcal{G}^+$에서 샘플링됩니다.
2. 음성 힌트 ($y_{w,k}^*$): $\mathcal{G}^-$에서 샘플링된 $K$개의 힌트입니다.
3. 대칭적 프롬프팅 (Symmetric Prompting): 두 힌트는 모두 동일한 프롬프트 템플릿(문제 + 참조 솔루션 + 정답)으로 감싸집니다. 이를 통해 교사가 두 힌트를 모두 ground-truth 참조로 취급하게 하여, 유도된 스타일적 변화가 동일하도록 보장합니다.
4. 신호 계산: 대조적 신호는 정답 힌트 하에서의 로그 확률 차이와 $K$개의 음성 힌트 하에서의 평균 로그 확률 차이로 계산됩니다:
   $$e_{ctr,t} = \log \pi_T(y_t | x, y_c^*, y_{<t}) - \log \left( \frac{1}{K} \sum_{k=1}^K \pi_T(y_t | x, y_{w,k}^*, y_{<t}) \right)$$
   세부 조정: 이 방법은 이질적인 오류 유형에 대해 신호를 안정화하기 위해 음성 힌트에 대한 **K-마진화(K-marginalization)**를 적용하며, 교사가 자신의 생성물에 과도하게 확신하는 것을 방지하기 위해 대상 롤아웃(target rollout)을 힌트 풀에서 제외합니다.

3단계: 검증기 기반 변조 및 손실 (Verifier-Anchored Modulation and Loss)

대조적 신호 $e_{ctr,t}$는 독립적인 보상으로 사용되는 것이 아니라, GRPO에서 도출된 결과 수준의 이득($A_{ORM}$)을 **변조(modulation)**하는 데 사용됩니다.

• 변조 (Modulation): $e_{ctr,t}$는 소프트 정규화($\tanh$ 이용) 및 재스케일링을 거쳐 토큰 수준의 변조 항 $r_t$를 생성합니다.
• 부호 보존 클램핑 (Sign-Preserving Clamp): 변조 값은 $A_{ORM}$에 더해지지만, 업데이트 방향이 검증기의 결과 신호와 모순되지 않도록 클램핑됩니다.
• 두 경로 손실 (Two-Path Loss): 최종 목적 함수는 **두 경로의 PPO 스타일 클립된 손실(two-path PPO-style clipped loss)**을 집계합니다:
  1. 대조적 신호가 약한(노이즈인) 토큰들을 위한 비변조 경로 (unmodulated path).
  2. 대조적 신호가 강한 토큰들을 위한 변조 경로 (modulated path).
     결정적으로, 이 경로들은 변조된 신호가 다수의 비변조 토큰에 의해 희석되는 것을 방지하기 위해 각 롤아웃 내에서 독립적으로 정규화됩니다.

3. 주요 기여

1. 특권으로 인한 스타일 드리프트의 특성화: 본 논문은 특권적 조건화가 학습 신호를 스타일 토큰 쪽으로 이동시켜 학습 불안정성이나 조기 길이 축소를 일으키는 OPSD의 체계적인 편향을 식별하고 정량화했습니다.
2. RLCSD 알고리즘: 정답 힌트와 오답 힌트 간의 대칭적 대조를 통해 이러한 드리프트를 완화하는 새로운 방법을 제안합니다. 이는 정제된 신호를 검증 가능한 보상이 있는 강화 학습(RLVR)에 검증기 기반 토큰 수준 변조로서 통합합니다.
3. 대조 원리의 일반성: 저자들은 대조적 구성이 방법론에 구애받지 않는 구성 요소임을 입증했습니다. 이는 기존 OPSD 베이스라인(OPSD, RLSD 등)에 플러그인하여 안정성과 성능을 개선할 수 있으며, 이는 해당 원리가 온-폴리시 증류 전반에 적용될 수 있음을 시사합니다.
4. 교차 모델 증류로의 확장: 본 논문은 이 통찰을 교차 모델 온-폴리시 증류(OPD)로 확장하여, 스타일적으로 정렬되어 있지만 성능은 더 낮은 교사가 때때로 더 강력하지만 스타일이 다른 교사보다 나은 성과를 내는 이유를 설명합니다.

4. 실험 결과

실험은 Qwen3 (1.7B, 4B, 8B) 및 Olmo-3-7B-Think를 대상으로 수학적 추론(AMC23, AIME24, AIME25) 및 논리적 추론(Knights & Knaves) 벤치마크에서 수행되었습니다.

• 성능: RLCSD는 모든 벤치마크에서 GRPO 및 이전 OPSD 방법들(OPSD, SDPO, SRPO, RLSD)을 일관되게 능가했습니다.
  • Qwen3-8B에서 RLCSD는 AMC23에서 90.8 (GRPO의 90.1 대비)의 mean@12를 달성했으며, AIME24에서는 77.5를 기록했습니다.
  • **논리 추론 (OOD)**에서 RLCSD는 Knights & Knaves (4-8 roles)에서 81.8의 pass@1을 달성하고, 9-role OOD 분할에서 79.0을 기록하며 GRPO를 큰 차이로 앞질렀습니다.
• 학습 안정성: 엔트로피 폭발이나 응답 길이 축소를 보였던 경쟁 OPSD 방법들과 달리, RLCSD는 학습 전반에 걸쳐 GRPO와 유사하게 안정적인 엔트로피와 응답 길이를 유지했습니다.
• 절제 연구 (Ablation Studies):
  • 대조 메커니즘을 제거했을 때(단방향 힌트만 사용) 성능이 3.0~5.4 포인트 하락하여 대조의 필요성을 확인했습니다.
  • K-마진화를 제거하거나 힌트 풀에 **자기 롤아웃(self-rollouts)**을 허용했을 때 성능이 저하되어 설계의 정교함을 입증했습니다.
  • 두 경로 손실 집계를 제거했을 때(단일 글로벌 평균 사용) 성능이 크게 감소하여, 변조된 토큰을 격리해야 함을 증명했습니다.

5. 의의 및 주장

본 논문은 RLCSD가 온-폴리시 자기 증류를 괴롭히는 불안정성에 대한 강력한 해결책을 제공한다고 주장합니다. 특권적 조건화에 내재된 "스타일" 노이즈로부터 "작업 관련" 신호를 분리함으로써, RLCSD는 별도의 교사 모델을 유지하는 메모리 오버헤드 없이도 추론 모델의 안정적이고 고성한 학습을 가능하게 합니다.

저자들은 대조 원리가 온-폴리시 증류를 위한 일반적인 통찰이라고 겸허히 주장합니다. 이는 특정 RLCSD 알고리즘을 개선할 뿐만 아니라, 추론 스타일의 정렬이 원시 능력보다 더 중요할 수 있는 교차 모델 증류 환경에서 교사를 선택하는 진단 도구로서도 기능합니다. 이 연구는 향후 증류 방법론이 특권적 문맥에 의해 유도되는 기생적 스타일 변화를 반드시 고려하고 완화해야 함을 시사합니다.