Self-Distilled RLVR

1. 문제 정의 (Problem)

최근 LLM 학습 분야에서 온-정책 증류 (OPD) 와 검증 가능한 보상을 통한 강화 학습 (RLVR, 예: GRPO) 이 두 가지 주요 패러다임으로 부상했습니다.

• RLVR (GRPO): 환경으로부터의 검증 가능한 결과 (정답 여부) 를 통해 희소 (sparse) 한 시퀀스 수준의 보상을 제공합니다. 이는 학습 방향을 신뢰할 수 있게 하지만, 각 토큰에 대한 세밀한 피드백이 부족합니다.
• OPD: 더 큰 교사 모델이 학생 모델의 경로에 대해 토큰 수준의 밀집 (dense) 신호를 제공합니다.
• OPSD (On-Policy Self-Distillation): 외부 교사 모델 없이 동일한 모델이 '특권 정보 (privileged information, 예: 정답 또는 검증된 추론 경로)'를 조건으로 교사 역할을 하고, 일반 입력으로 학생 역할을 수행하는 방식입니다.

핵심 문제:
OPSD 는 계산 효율성이 뛰어나지만, 심각한 정보 누출 (Information Leakage) 과 학습 불안정성을 유발합니다.

• 정보 비대칭: 교사는 특권 정보 $r$을 알지만 학생은 모릅니다. 이 정보 비대칭으로 인해 분포 매칭 (Distribution Matching) 목표가 본질적으로 잘 정의되지 않은 (ill-posed) 문제가 됩니다.
• 정보 누출: 학생 모델이 추론 시점에 접근할 수 없는 '보이지 않는 정답'을 암시적으로 참조하는 현상이 발생합니다.
• 성능 저하: 초기에는 성능이 급격히 향상되다가, 추후에는 특권 정보에 대한 상관관계를 모델 파라미터가 학습하게 되어 오히려 성능이 저하되는 현상이 관찰됩니다.

2. 방법론 (Methodology)

저자들은 OPSD 의 실패 원인을 이론적으로 규명하고, 이를 해결하기 위해 RLSD를 제안했습니다.

2.1 OPSD 실패의 이론적 분석

• 상호 정보량 갭 (Mutual Information Gap): 학생이 조건으로 할 수 없는 특권 정보 $r$과 토큰 예측 간의 상호 정보량 $I(Y_t; R | X, Y_{<t})$이 존재하며, 이는 제로 (0) 가 될 수 없습니다.
• 기울기 구조의 결함: OPSD 의 기울기 (gradient) 는 기대값에서는 무해하지만, 샘플별 기울기에는 $r$에 의존하는 편차 (deviation) 가 포함됩니다. 초기에는 유익한 성분이 우세하지만, 학습이 진행될수록 이 편차 성분이 우세해져 모델이 입력 $x$와 특권 정보 $r$ 사이의 위조된 상관관계를 학습하게 됩니다.

2.2 RLSD (RLVR with Self-Distillation) 의 핵심 아이디어

RLSD 는 증류 신호를 학습 방향 (Direction) 이 아닌 학습 크기 (Magnitude) 에만 사용하도록 역할을 재정의합니다.

1. 학습 방향 (Update Direction): 환경의 검증자 (Verifier) 가 제공하는 시퀀스 수준의 보상 (정답/오답) 에 의해 결정됩니다. 이는 RLVR 의 신뢰성을 유지합니다.
2. 학습 크기 (Update Magnitude): 교사 모델 (특권 정보 $r$ 포함) 과 학생 모델 (일반 입력) 간의 로그 확률 차이 ($\Delta_t = \log P_T - \log P_S$) 를 통해 계산된 증거 비율 (Evidence Ratio) 을 사용합니다.
   • 이 비율은 각 토큰이 올바른 추론 경로 ($r$) 에 얼마나 기여하는지를 나타내는 밀집 신호입니다.
   • 방식: $w_t = \exp(\text{sign}(A) \cdot \Delta_t)$ 형태로, 시퀀스 보상의 부호 (방향) 는 유지하되, 각 토큰에 할당되는 크레딧 (가중치) 을 세밀하게 조절합니다.
3. 클리핑 (Clipping): PPO/GRPO 와 유사하게 가중치를 클리핑하여 단일 토큰의 영향력을 제한하고 학습 안정성을 확보합니다.

알고리즘 흐름:

1. 학생 모델이 응답을 생성 (Rollout).
2. 환경에서 정답 여부로 시퀀스 보상 ($A$) 계산.
3. 특권 정보 $r$을 조건으로 교사 모델 (동일 모델) 을 통해 토큰별 로그 확률 차이 계산.
4. 보상 방향은 유지하되, 토큰별 가중치로 증류 신호를 적용하여 어드밴티지 (Advantage) 재계산.
5. 정책 업데이트.

3. 주요 기여 (Key Contributions)

1. OPSD 실패 원인 규명: 정보 비대칭 하에서의 분포 매칭이 불가피한 상호 정보량 갭을 생성하며, 이로 인해 기울기 구조를 통해 특권 정보가 누출되고 학습이 붕괴됨을 수학적으로 증명했습니다.
2. RLSD 패러다임 제안: 환경 보상으로 '방향'을, 자기 증류 신호로 '크기'를 제어하는 새로운 아키텍처를 제안하여, RLVR 의 안정성과 OPSD 의 세밀한 신호를 동시에 활용합니다.
3. 불가능 삼각형 (Impossibility Trilemma) 해결: 공유 파라미터 하에서 '목표 안정성', '지속적 개선', '누출 없는 학습'을 동시에 만족할 수 없다는 OPSD 의 한계를 RLSD 를 통해 해결했습니다.

4. 실험 결과 (Results)

• 벤치마크: Qwen3-VL-8B-Instruct 모델을 기반으로 MMFineReason-123K 데이터셋으로 학습하고, MMMU, MathVista, MathVision, ZeroBench, WeMath 등 5 가지 멀티모달 추론 벤치마크에서 평가했습니다.
• 성능:
  • RLSD 는 베이스 모델 대비 평균 4.69% 향상, 기존 GRPO 대비 2.32% 향상, 그리고 다른 증류 기반 방법 (OPSD, SDPO) 보다도 우수한 성능을 보였습니다.
  • 특히 복잡한 수학 추론이 필요한 MathVista 와 MathVision 에서 큰 개선을 보였습니다.
• 학습 동역학:
  • 안정성: OPSD 는 초기 피크 후 성능이 급격히 떨어지는 반면, RLSD 는 GRPO 의 안정성을 유지하면서 더 높은 수렴 한계 (Convergence Ceiling) 에 도달했습니다.
  • 수렴 속도: RLSD 는 GRPO 가 400 스텝 학습한 결과보다 200 스텝 학습만으로도 더 좋은 성능을 보여주어 빠른 수렴을 입증했습니다.
  • 크레딧 할당: 히트맵 분석을 통해 RLSD 가 정답을 결정하는 핵심 토큰에는 높은 가중치를, 오류를 일으키는 토큰에는 강한 페널티를 부여하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자기 증류 (Self-Distillation) 가 가진 구조적 결함을 정확히 지적하고, 이를 증류 신호의 용도 (방향 vs 크기) 를 변경함으로써 해결한 획기적인 접근법을 제시합니다.

• 이론적 통찰: 정보 비대칭 하에서의 분포 매칭이 왜 실패하는지에 대한 엄밀한 수학적 분석을 제공했습니다.
• 실용적 가치: 별도의 교사 모델 없이도 고품질의 토큰 수준 피드백을 얻을 수 있으며, 외부 모델 의존도 없이 기존 RLVR 파이프라인 (GRPO) 에 쉽게 통합 (Drop-in replacement) 가능합니다.
• 미래 지향성: 추론 모델 학습에서 '방향의 신뢰성'과 '세밀한 크레딧 할당'을 동시에 달성할 수 있는 새로운 표준을 제시하며, 멀티모달 및 텍스트 추론 전반에 적용 가능한 강력한 프레임워크임을 입증했습니다.

결론적으로, RLSD 는 강화 학습과 증류 학습의 장점을 결합하면서도 각자의 단점 (RLVR 의 희소성, OPSD 의 불안정성) 을 상쇄하는 최적의 학습 전략으로 평가됩니다.