기술적 요약: GRPO 및 온-정책 증류 너머

문제 제기

검증 가능한 작업 (예: 수학 추론) 을 위한 대규모 언어 모델 (LLM) 의 사후 학습에서, 라벨링된 학습 데이터는 주요 병목 현상입니다. 컴퓨팅 자원에 따라 확장 가능한 사전 학습 데이터나 교사 모델의 롤아웃과 달리, 정답 확인이 가능한 작업 (채점자가 필요함) 을 위한 라벨링된 데이터는 희소하며 생성 비용이 매우 높습니다.

산업계의 표준 관행은 이러한 희소한 라벨링 데이터를 희소 보상 강화 학습 (RL) 알고리즘 (예: GRPO) 을 사용하여 배포 모델 (즉, "학생") 에 직접 적용하는 것입니다. 본 논문은 이러한 할당이 비효율적이라고 주장합니다. 작은 배포 모델은 종종 희소하고 시퀀스 수준의 보상을 효과적으로 학습할 만큼 성공적인 트래젝토리를 충분히 자주 생성할 역량이 부족합니다. 그 결과, 기울기 신호가 붕괴되며 라벨링된 데이터는 최적이지 않은 결과를 초래합니다.

핵심 방법론: 보상 밀도 원칙

본 논문은 희소한 라벨링 데이터의 할당을 최적화하기 위해 **보상 밀도 원칙 (Reward-Density Principle)**을 제안합니다. 이 원칙은 희소 시퀀스 수준 보상과 밀집 토큰 수준 교사 보상이 KL 정규화 정책 목적 함수의 동일한 축 위에 존재하지만, 모델의 용량에 따라 서로 다른 역할을 수행한다고 가정합니다:

1. 희소 보상 (교사 측 발견): 희소 보상은 편향이 없으나, 정보 가치가 있으려면 성공적인 트래젝토리를 샘플링할 수 있는 정책이 필요합니다. 이러한 보상은 희소 신호를 "보상 형태"의 분포로 변환할 수 있는 더 크고 강력한 교사 모델에 적용되어야 합니다.
2. 밀집 보상 (학생 측 압축): 밀집 보상 (교사 로그 확률에서 유도됨) 은 모든 토큰에서 신호를 제공하지만 교사에게 편향되어 있습니다. 이는 교사의 행동을 더 작은 배포 학생 모델로 압축하는 데 이상적입니다.

제안된 파이프라인

저자들은 표준 사후 학습 순서를 재배열한 3 단계 파이프라인을 제안합니다:

• 1 단계: 교사 측 발견. 희소한 라벨링 데이터를 사용하여 대규모 교사 모델에 희소 보상 (예: GRPO) 을 적용합니다. 이를 통해 보상 형태를 갖춘 교사 정책 ($\pi_T$) 이 생성됩니다.
• 2 단계: 2 단계 밀집 브리지. 안정성과 커버리지를 보장하기 위해 2 단계 프로세스를 통해 교사의 행동을 학생에게 이전합니다:
  • Forward-KL (FKL) 워밍업: 교사의 롤아웃으로 학생을 학습시켜 교사의 지지 영역을 커버합니다 (모드 커버링). 이는 학생의 초기 롤아웃이 교사의 유용한 상태와 겹치지 않는 "지지 불일치" 문제를 해결합니다.
  • 온-정책 증류 (OPD): 교사의 로그 확률을 밀집 보상 신호 ($r_T(s, y) = \beta \log \pi_T(y|s)$) 로 사용하여 학생의 자체 롤아웃으로 학생을 학습합니다. 이는 밀집 보상을 가진 최대 엔트로피 RL 과 동일합니다.
• 3 단계: 브리지 이후 학생 RL (선택 사항). 라벨링된 데이터가 남아 있다면, 이제 준비된 학생 모델에 희소 보상을 직접 적용합니다. 브리지는 학생이 이 최종 희소 신호로부터 혜택을 볼 만큼 "학습 가능"하도록 보장합니다.

주요 기여

본 논문은 Qwen3 및 Llama 모델 계열을 사용하여 검증 가능한 수학 작업 (MATH, AIME 2024/2025) 에서 검증된 세 가지 주요 기여를 제시합니다:

1. 교사 우선 할당: 희소한 라벨링 데이터를 교사 측 RL 에 할당한 후 밀집 전이를 수행하는 것이, 동일한 데이터를 직접 학생 RL 에 할당하는 것보다 더 강력한 학생 모델을 만듭니다. 핵심적으로, 교사는 "보상 형태"로 만들어져야 합니다; 원시적이거나 SFT 만 수행된 교사를 전이하는 것은 직접 GRPO 보다 성능이 낮아, 규모만으로는 부족함을 입증합니다.
2. 2 단계 브리지의 우월성: Forward-KL 워밍업 뒤를 이은 OPD 로 구성된 브리지는 단일 단계 대안 (교사 샘플 SFT 또는 OPD 만) 보다 일관되게 우수한 성능을 보입니다. 워밍업은 학생이 교사의 지지 영역으로 진입하도록 하여, 후속 온-정책 OPD 단계를 잘 조건화합니다.
3. 브리지 이후 학생 RL 의 효과성: 브리지가 구축되면 학생에 대한 희소 보상 RL 이 효과적이 됩니다. "냉각"된 학생에 대한 직접 GRPO 는 약하지만, 브리지를 통과한 학생에 대한 GRPO 는 성능을 크게 향상시킵니다 (예: MATH 에서 +3.1 점) 및 브리지 데이터를 재사용하는 재생 제어보다 우수한 성과를 냅니다.

실험 결과

실험은 고정된 배포 학생 크기 (Qwen3-1.7B) 와 다양한 교사 크기 (8B, 14B, 70B Llama) 로 수행되었습니다.

• 성능 향상:
  • MATH: 제안된 파이프라인 (RL 수행된 8B 교사 + 브리지) 은 **79.3%**의 정확도를 달성하여, 1.7B 학생에 대한 직접 GRPO(75.9%) 및 원시 8B 교사에서의 전이(71.5%) 를 능가했습니다.
  • AIME 2024: 파이프라인은 **25.2%**를 달성하여, 직접 GRPO 의 **19.8%**와 비교되었습니다.
  • Llama 검증: 동일한 순서가 Llama 모델에서도 유효했습니다: 원시 70B 전이 (55.4%) < 직접 GRPO (59.8%) < RL 수행된 70B 전이 (62.1%).
• 어블레이션 발견:
  • 교사 품질: 희소 RL 을 거치기 전에 교사를 전이하면 직접 학생 GRPO 보다 성능이 떨어집니다. 교사는 먼저 보상 형태의 행동을 발견해야 합니다.
  • 브리지 필요성: Forward-KL 워밍업을 제거 (OPD 만) 하거나 브리지를 교사 샘플 SFT 로 대체하면 성능이 저하되어, 오프-정책 지지 커버리지와 온-정책 정교화가 모두 필요함을 확인시켜 줍니다.
  • 데이터 할당: 모든 라벨링 데이터를 상류의 교사 (교사 측 경로) 에 사용하는 것이 브리지 이후 학생 RL 을 위해 데이터를 분할하는 것 (78.5%) 보다 약간 더 좋은 결과 (79.3%) 를 냈지만, 후자는 여전히 경쟁력 있는 저비용 대안입니다.

중요성 및 운영적 함의

본 논문은 사후 학습 환경을 경쟁 알고리즘 (SFT 대 RL 대 증류) 의 메뉴가 아닌, 보상 밀도에 기반한 할당 문제로 재정의합니다.

• 운영적 교훈: 가장 준비가 덜 된 정책 (냉각된 학생) 에 희소한 라벨링 데이터를 사용하지 마십시오. 대신, 행동을 발견하기 위해 유능한 교사에게 상류에서 희소 보상을 사용하고, 해당 행동을 2 단계 브리지를 통해 밀집 감독으로 변환한 후, 데이터가 허용하는 경우에만 학생에 대한 희소 보상을 고려하십시오.
• 이론적 통찰: 이 연구는 온-정책 증류 (OPD) 와 희소 RL 을 단일 목적 함수 프레임워크 하에서 통합하며, 보상 신호의 밀도와 이를 수신하는 모델에서만 차이가 있음을 보여줍니다. 이는 "증류"가 사실은 밀집 보상 RL 이며, 그 효과는 교사의 분포 품질에 의해 엄격하게 제한됨을 입증합니다.
• 한계: 현재 증거는 검증 가능한 수학 작업과 공유 토크나이저를 가진 특정 모델 계열 (Qwen 및 Llama) 로 제한됩니다. 본 논문은 검증자가 없는 개방형 작업이나 공유 어휘가 없는 계열 간 전이에 이 원칙이 적용된다고 주장하지 않습니다.