기술 요약: 루브릭 가이드 셀프 디스틸레이션 (RGSD)

문제 정의

검증 가능한 보상(Verifiable Rewards)을 활용한 강화 학습(RLVR)은 프로그래밍 가능한 검증기(예: 수학, 코드)가 존재하는 작업에서 상당한 사후 학습(post-training) 진전을 이끌어냈습니다. 그러나 임상적 조언, 과학적 설명, 창의적 글쓰기와 같은 개방형 도메인의 경우, 프로그래밍 방식의 검증을 적용할 수 없습니다. 이에 따라 커뮤니티는 정답(ground truth)의 대리 지표로서 가중치가 부여된 기준 목록인 **루브릭(rubrics)**을 채택해 왔습니다.

GRPO(Group Relative Policy Optimization)와 같은 기존의 루브릭 기반 학습 방법은 외부 LLM 검증기에 의존하여 생성된 모든 롤아웃(rollout)을 루브릭에 따라 점수를 매깁니다. 이 접근 방식은 세 가지 결정적인 한계를 가집니다:

1. 계산 오버헤드: 모든 학습 단계마다 값비싼 LLM 판사 호출이 필요합니다(일반적으로 프롬프트당 $G \times K$ 번의 호출 발생, 여기서 $G$는 롤아웃 수, $K$는 기준 수). 이는 지연 시간과 속도 제한 병목 현상을 초래합니다.
2. 검증기 편향 및 보상 해킹(Reward Hacking): 보상 신호는 특정 검증 모델의 특이성과 편향을 그대로 물려받습니다. 정책(Policy)은 기준을 진정으로 충족하기보다 검증기를 속이는 법(예: 지나치게 장황하게 작성하거나 근거 없는 주장을 늘리는 것)을 학습할 수 있습니다.
3. 희소한 크레딧 할당(Sparse Credit Assignment): 루브릭 기반 RL은 일반적으로 다중 기준 평가를 궤적(trajectory) 끝의 단일 스칼라 보상으로 축소합니다. 이는 어떤 토큰 수준의 결정이 루브릭 만족도를 높였거나 저해했는지 판단하는 데 있어 약한 학습 신호를 제공합니다.

방법론: 루브릭 가이드 셀프 디스틸레이션 (RGSD)

저자들은 외부 LLM 판사를 학습 루프에서 제거하는 검증기 프리(verifier-free) 학습 방법인 **루브릭 가이드 셀프 디스틸레이션(RGSD)**을 제안합니다. 핵심 통찰은 경험적입니다: 베이스 모델에게 루브릭을 특권적 문맥(privileged context)으로 제공하면, 제공하지 않았을 때보다 응답 점수가 현저히 높아진다는 점입니다(30~45%포인트 상승). RGSD는 이 "컨디셔닝 리프트(conditioning lift)"를 활용하여 밀도 높은 토큰 수준의 감독 신호를 생성합니다.

RGSD 파이프라인

RGSD는 동일한 베이스 모델($\theta_{base}$)의 두 가지 복사본을 인스턴스화합니다:

1. 학생 ($\pi_S$): 사용자 프롬프트 $q$에만 조건화된 학습 가능한 정책입니다. 이는 온-폴리시 롤아웃 $y \sim \pi_S(\cdot|q)$를 생성합니다.
2. 교사 ($\pi_T$): 프롬프트 $q$와 루브릭 세트 $R$에 조건화된 베이스 모델의 고정된 복사본입니다. 이는 학생이 생성한 접두사(prefix) $y_{<t}$와 루브릭을 관찰하여 타겟 토큰 분포 $\pi_T(\cdot|q, R, y_{<t})$를 생성합니다.

학습 목적 함수:
스칼라 보상을 최적화하는 대신, 학생은 **클리핑된 옌센-샤논 발산(clipped Jensen–Shannon Divergence, JSD)**을 사용하여 교사의 토큰별 분포를 일치시키도록 학습됩니다:
$$L_{RGSD}(\theta_S) = \mathbb{E}_{(q,R) \sim D, y \sim \pi_S} \left[ \frac{1}{T} \sum_{t=1}^{T} D_{\beta}^{clip} \left( \pi_S(\cdot|q, y_{<t}) \parallel \pi_T(\cdot|q, R, y_{<t}) \right) \right]$$
여기서 $\beta=0.5$는 순방향 및 역방향 KL을 보간합니다.

주요 구현 세부 사항:

• 밀도 높은 감독: GRPO의 희소한 궤적 수준 보상과 달리, RGSD는 롤아웃의 모든 토큰에 대해 학습 신호를 제공합니다.
• 검증기 호출 없음: 학습 루프에 외부 판사 호출이 전혀 필요하지 않습니다. 감독은 전적으로 고정된 교사로부터 옵니다.
• 추론 흔적(Reasoning Trace) 처리: 추론 모델(예: Qwen3-Thinking)의 경우, 루브릭이 조건화된 교사는 내부 "생각(thinking)" 흔적($\dots$)에서 루브릭 기준을 명시적으로 참조할 수 있습니다. 학생이 추론 시 볼 수 없는 이러한 참조를 조작하는 법을 배우는 것을 방지하기 위해, RGSD는 손실 계산 시 생각 블록 토큰을 마스킹하여 최종 응답 토큰만을 디스틸합니다.

주요 기여

1. 검증기 프리 학습 알고리즘: RGSD는 루브릭을 온-폴리시 셀프 디스틸레이션을 위한 특권적 문맥으로 사용하는 최초의 방법으로, 최적화 루프에서 LLM 판사를 완전히 제거했습니다.
2. 낮은 비용으로 경쟁력 있는 성능: 네 가지 베이스 모델(Qwen-2.5 3B/7B, Qwen3-Thinking 4B/8B)과 두 가지 도메인(의료, 과학) 전반에서 RGSD는 판사 기반 GRPO와 대등한 루브릭 만족도 점수를 달성했습니다.
   • 의료 도메인: RGSD는 GRPO의 +5.9pp 대비 +6.1pp의 개선을 보였습니다.
   • 과학 도메인: RGSD는 +4.9pp 개선을 기록하여 GRPO의 +4.5pp를 상회했습니다.
3. 효율성 및 간결성: RGSD는 프롬프트당 단 하나의 온-폴리시 롤아웃만을 필요로 합니다(GRPO의 16개 대비). 또한, Qwen-2.5 모델에서 RGSD는 GRPO에서 관찰되는 "장황함 드리프트(verbosity drift)"를 피하면서도 실질적으로 더 짧은 응답으로 대등한 품질을 달성했습니다.
4. 절제 연구(Ablation) 통찰:
   • 풍부화 신호(Enrichment Signal): 원본 루브릭을 교사의 문맥으로 사용하는 것이 스스로 생성한 "골든(golden)" 참조 응답을 사용하는 것보다 더 강력한 풍부화 신호를 제공합니다.
   • 판사의 강도: 더 강력한 검증기(예: gpt-oss-120b)를 사용하면 특정 설정에서 GRPO가 RGSD를 앞설 수 있지만, 이는 비싼 롤아웃당 검증기 루프를 유지해야 하는 비용을 수반하며 종종 더 길고 주장이 밀집된 응답을 생성합니다.

결과 및 분석

• 성능 동등성: RGSD는 인-도메인(RubricHub) 및 아웃-오도메인(HealthBench, ResearchQA) 벤치마크 모두에서 GRPO와 경쟁 가능한 수준입니다. 저자들은 1pp 미만의 차이를 유의미한 승리가 아닌 동등한 성능으로 해석하며, 시드 변동성이 낮음을 언급했습니다.
• 응답 길이 및 사실성:
  • Qwen-2.5 모델에서 GRPO는 심각한 장황함 드리프트를 보여, 일관된 점수 상승 없이도 응답 길이를 RGSD보다 1.4~2.3배 길게 생성했습니다.
  • HealthBench에 대한 사실적 주장 감사 결과, GRPO의 길이 팽창은 더 높은 비율의 근거 없는 주장과 상관관계가 있는 것으로 나타났습니다(허위 주장 비율이 30.5%에서 45.1%로 상승). 반면 RGSD는 더 보수적인 주장 밀도를 유지했습니다(35.1%로 상승).
• 진단 도구로서의 컨디셔닝 갭: 베이스 모델이 루브릭을 볼 때 발생하는 성능 리프트(루브릭-컨디셔닝 갭)의 크기는 RGSD의 효과를 예측하는 지표가 됩니다. 베이스 모델이 루브릭을 볼 때 큰 이득을 얻는 도메인(예: 의료)에서 RGSD는 그 잠재력의 더 큰 부분을 회복합니다.

의의 및 포지셔닝

본 논문은 RGSD를 범용적인 검증기 기반 RL의 대체제가 아니라, 보완적인 체계로 포지셔닝합니다.

• RGSD를 사용해야 할 때: 검증기 호출이 계산적으로 매우 비싸거나, 운영하기 어렵거나, 신뢰할 수 없을 때, 그리고 베이스 모델이 강력한 루브릭-컨디셔닝 반응을 보일 때 유리합니다. 이는 외부 판사와 관련된 보상 해킹의 위험 없이 루브릭 지식을 효과적으로 내재화합니다.
• GRPO를 사용해야 할 때: 주요 목표가 루브릭 점수를 극대화하는 것이고 강력하고 신뢰할 수 있는 검증기를 저렴하게 사용할 수 있다면, (더 강력한 판사를 통한) 판사 기반 GRPO가 여전히 더 높은 성능을 달성할 수 있습니다. 다만, 이는 더 높은 비용과 더 길고 잠재적으로 덜 사실적인 응답을 초래합니다.

저자들은 RGSD가 루브릭이 단순히 외부 채점 도구로만 사용될 필요가 없음을 입증했다고 결론짓습니다. 루브릭은 밀도 높은 셀프 디스틸레이션을 위한 특권적 문맥으로 기능할 수 있으며, 이는 개방형 도메인에서의 사후 학습을 위한 확장 가능한 경로를 제공합니다.