기술 요약: 패스율 가중 자기 증류를 통한 스윗 스포트 복원

1. 문제 제기

대형 언어 모델 (LLM) 은 코드 및 수학과 같은 도메인에서 검증 가능한 보상을 활용한 강화 학습 (RLVR) 을 통해 점점 더 많이 훈련되고 있습니다. 그룹 상대 정책 최적화 (GRPO) 와 같은 RLVR 방법이 성공을 거두었지만, 단일 시도당 단일 스칼라 보상이 모델의 실패 위치나 원인을 나타내지 못하는 '신용 할당 병목 현상'으로 고통받고 있습니다.

자기 증류 정책 최적화 (SDPO) 는 모델 자체를privileged 정보 (예: 런타임 오류 또는 정답) 에 조건부로 한 교사로서 활용하여, 밀도 높은 토큰 수준의 감독을 제공함으로써 이 문제를 해결합니다. 그러나 저자들은 중요한 트레이드오프를 확인했습니다.

• GRPO는 암묵적인 '난이도 인식'을 갖추고 있습니다. 그룹 상대적 이점 정규화는 학습을 패스율 $p \approx 0.5$인 중간 난이도 질문의 '스윗 스포트'에 자연스럽게 집중시키고, 너무 쉬운 질문 ($p \approx 1$) 이나 너무 어려운 질문 ($p \approx 0$) 에 대한 학습을 억제합니다.
• SDPO는 우수한 밀도 높은 신용 할당을 제공하지만, 이러한 난이도 인식이 부족합니다. KL 기반 손실 함수는 모든 질문을 동등하게 취급하여 가장 정보성이 높은 중간 난이도 샘플에 대한 학습 신호를 희석시키고, 모든 정답 또는 모든 오답 그룹과 같은 정보성이 없는 그룹을 억제하지 못합니다.

핵심 문제는 SDPO 가 밀도 높은 신용 할당을 얻기 위해 GRPO 의 유익한 '스윗 스포트' 집중을 희생함으로써 비최적의 학습 효율성을 초래한다는 점입니다.

2. 방법론: SC-SDPO

저자들은 밀도 높은 신용 할당을 희생하지 않고 외부 교사를 요구하지 않으면서 SDPO 에 난이도 인식형 '스윗 스포트'를 복원하는 변형인 **스케일 일관성 SDPO(SC-SDPO)**를 제안합니다.

이론적 기반

본 논문은 Bae 등 [2026] 의 학습 가능성 프레임워크를 정규화된 보상으로 확장합니다.

1. 원시 보상 vs 정규화된 보상: 원시 이진 보상 하에서 정책 개선은 분산 $p(1-p)$에 의해 하한이 결정됩니다. 그러나 GRPO 는 그룹 상대적 정규화를 사용합니다: $\hat{A}_i = (r_i - \bar{r}) / \text{std}(\{r_i\})$.
2. 스케일링 인자: 저자들은 이 정규화가 $p(1-p)$ 분산 항을 흡수하여 질문 간 주요 학습 가능성을 균등화함을 보여줍니다. 결과적으로 GRPO 의 잔여 질문별 기울기 크기는 $p(1-p)$가 아닌 $\sqrt{p(1-p)}$로 스케일링됩니다.
3. 이상적인 목적 함수: SDPO 의 밀도 높은 토큰 수준 이점과 GRPO 의 난이도 조절을 결합하기 위해, 이상적인 질문별 기울기는 $[\hat{p}(1-\hat{p})]^{1/2}$ 인자로 스케일링되어야 합니다.

알고리즘 구현

SC-SDPO 는 질문별 스칼라 가중치 $\bar{w}_j$를 도입하여 SDPO 손실 함수를 수정합니다.
$$\mathcal{L}_{\text{SC-SDPO}}(\theta) := \sum_{j=1}^{M} \bar{w}_j \sum_{i \in G_j} \sum_{t} \text{KL}(\pi_\theta(\cdot | x_j, y_{i,<t}) \parallel \text{sg}(\pi_\theta(\cdot | x_j, f_i, y_{i,<t})))$$

가중치 체계의 주요 구성 요소:

• 가중치 함수: 정규화되지 않은 가중치는 $w_j = [\hat{p}_j(1-\hat{p}_j)]^\alpha$이며, 여기서 $\hat{p}_j$는 배치 내 질문 $j$에 대한 경험적 패스율입니다. 저자들은 이론적 도출에 기반하여 $\alpha = 1/2$로 설정합니다.
• 배치 적응형 정규화: 훈련 중 패스율 분포가 이동함에 따라 훈련 불안정을 방지하기 위해, 가중치는 배치 내에서 정규화됩니다: $\bar{w}_j = w_j / \text{mean}(\{w_l\}_{l \in S})$. 여기서 $S$는 비퇴화 질문의 집합입니다.
• 무비용 부산물: SDPO 는 이미 질문당 여러 롤아웃을 샘플링하는 온-정책 알고리즘이므로, 패스율 $\hat{p}_j$는 기존 훈련 루프의 무료 부산물입니다. 추가 롤아웃이나 오프라인 패스가 필요하지 않습니다.

3. 주요 기여

1. 이론적 분석: 본 논문은 GRPO 의 이점 정규화가 분산 항 $p(1-p)$를 흡수하여 $\sqrt{p(1-p)}$를 기울기 크기의 자연스러운 스케일링 인자로 남긴다는 점을 규명했습니다. 이는 이전의 스케일링이 분산과 선형적이어야 한다는 가정을 수정한 것입니다.
2. SC-SDPO 알고리즘: 난이도 인식을 복원하는 SDPO 에 대한 단순한 단일 스칼라 수정입니다. 이는 진화하는 패스율에 기반하여 질문을 동적으로 가중치하여 모델 역량을 추적하는 암묵적 커리큘럼을 생성합니다.
3. 실증적 검증: 밀도 높은 신용 할당 (SDPO) 과 난이도 인식형 가중치 (SC-SDPO) 를 결합하는 것이 각 메커니즘을 단독으로 사용하는 것보다 우수한 성능을 낸다는 것을 보여주는 광범위한 실험.

4. 실험 결과

실험은 과학적 추론 (화학, 물리학, 생물학, 재료 과학) 및 도구 사용 벤치마크에서 Qwen3-8B와 OLMo-3-7B를 대상으로 수행되었습니다.

• 성능 향상:
  • Qwen3-8B에서 SC-SDPO ($\alpha=0.5$) 는 가중치 없는 SDPO 기준 대비 평균적으로 +3.2(mean@16) 및 +4.3(maj@16) 향상되었습니다.
  • OLMo-3-7B에서는 +1.8(mean@16) 및 +3.0(maj@16) 향상되었습니다.
  • SC-SDPO 는 GRPO, SDPO 및 기타 기준 (PACED, Hard Filter, SRPO) 보다 일관되게 우수한 성능을 발휘했습니다.
• 지수 분석: $\alpha=0.5$(스케일 일관성) 선택이 $\alpha=1$(분산 기반) 보다 일관되게 우월하여, $\alpha=1$이 학습 신호를 과도하게 억제한다는 이론적 주장을 검증했습니다.
• 훈련 역학:
  • SC-SDPO 는 가중치 없는 SDPO 기준과 유사한 안정적인 기울기 노름을 유지한 반면, 정적 가중치 (PACED) 는 기울기 급증을 유발했고 하드 필터링은 기울기를 지나치게 강력하게 억제했습니다.
  • 이 방법은 훈련 초기에 중간 난이도 샘플 ('스윗 스포트') 의 더 높은 비율을 유지하여 기술 습득을 가속화했습니다.
  • 응답 길이는 SDPO 기준보다 더 길게 유지되어, 모델이 짧은 답변으로 수렴하는 대신 중간 난이도 질문에 대해 더 자세히 설명하도록 장려했음을 시사합니다.

5. 중요성 및 주장

본 논문은 SC-SDPO 가 LLM 후훈련에서 밀도 높은 신용 할당과 난이도 인식 사이의 근본적인 긴장 관계를 해결한다고 주장합니다. 정규화된 보상에 대한 이론적 분석을 통해 올바른 스케일링 인자 ($\sqrt{p(1-p)}$) 를 도출함으로써, 저자들은 자기 증류에 '스윗 스포트'를 복원하는 '간단한 처방'을 제공합니다.

그 중요성은 다음과 같습니다:

• 효율성: 외부 교사 모델이나 추가적인 계산 오버헤드 (무비용 패스율 추정) 없이 최첨단 결과를 달성합니다.
• 강건성: 배치 적응형 정규화는 정적 또는 고정된 가중치 체계의 함정을 피하면서 안정적인 훈련 역학을 보장합니다.
• 일반화 가능성: 이 방법은 다양한 모델 계열 (Qwen 및 OLMo) 과 작업 유형 (추론 및 도구 사용) 에서 작동합니다.

저자들은 한계에 대해 겸손하게 언급하며, 이 방법은 이진 보상과 롤아웃 수 $G$에 의존하는 이산적 패스율 세분성에 의존하며, 개방형 생성 작업이나 훨씬 더 큰 모델 규모에서의 효과는 추가 검증이 필요하다고 지적합니다.