기술 요약: 극한 영역 정책 증류 (ERPD)

문제 제기

대규모 언어 모델 (LLM) 에 대한 강화 학습 (RL) 은 샘플 효율성과 점근적 성능 사이의 근본적인 트레이드오프에 직면해 있습니다.

• 온-정책 (On-policy) 방법 (예: PPO, GRPO) 은 안정성을 보장하기 위해 단일 업데이트 후 궤적을 폐기하여 샘플 효율성이 낮습니다.
• 오프-정책 (Off-policy) 방법은 효율성을 높이기 위해 궤적을 재사용하지만 분포 불일치를 초래합니다. 기존 안정화 기법 (예: KL 제약, 클리핑) 은 불안정을 방지하기 위해 보수적인 최적화를 강제합니다.
• 핵심 문제: 실증적 조사에 따르면, 보수적인 제약으로 인해 학습 신호가 충분히 활용되지 않습니다. 반면, 고정된 데이터에 대한 공격적인 다단계 오프-정책 최적화는 초기에 빠른 향상을 가져오지만 결국 궤적 확률 편차와 엔트로피 붕괴를 유발합니다. 이러한 과도한 발산은 실제 작업 향상보다는 "불필요한 드리프트"에 KL 예산을 소모하여 성능이 일찍 정체되게 만듭니다. 단순히 KL 제약을 강화하면 근본적인 비효율성을 해결하지 못한 채 성능 상한선만 낮아집니다.

방법론: 극한 영역 정책 증류 (ERPD)

본 논문은 샘플 효율성과 KL 효율성을 분리하는 2 단계 프레임워크인 ERPD를 제안합니다.

1 단계: 공격적인 오프-정책 최적화 (샘플 효율성)

• 목표: 정책 발산 여부와 상관없이 고정된 롤아웃 배치에서 학습 신호를 최대한 추출합니다.
• 과정: 약하게 제약되거나 제약이 없는 최적화를 사용하여 정적 데이터셋에서 광범위한 오프-정책 업데이트 (예: 80 회 이상) 를 수행합니다.
• 결과: 이는 높은 KL 발산과 엔트로피 붕괴를 겪을 수 있지만, 풍부하고 최대한 추출된 학습 신호를 포함하는 "극한 영역" 정책 ($\pi_{\theta_e}$) 을 생성합니다.
• 손실 함수: 이 단계에서는 SAPO(소프트 클리핑), CE(교차 엔트로피), 그리고 행동 확률을 포화 상태 (0 또는 1) 로 유도하여 퇴화된 "학습 상실 (unlearned)" 정책을 만드는 새로운 MSE 손실을 포함한 다양한 손실 함수를 평가합니다.

2 단계: 신뢰 영역 제약 증류 (KL 효율성)

• 목표: 극한 정책에서 유용한 신호를 추출하여 기본 정책으로 증류하되, 가짜 드리프트는 필터링합니다.
• 과정: 기본 정책 ($\pi_{\theta_{old}}$) 은 엄격한 신뢰 영역 제약 (KL 발산 제한) 하에서 극한 정책 ($\pi_{\theta_e}$) 을 근사하도록 업데이트됩니다.
• 토큰 단위 신호 구성:
  • 강한 교사 전략: $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{old}}(a|s)}$ 로그 비율을 보상 신호로 사용합니다. 분모를 원래 기준 정책에 고정하여 개선 방향을 일정하게 유지합니다.
  • 약한 교사 전략: 극한 정책이 퇴화되어 기본 정책보다 나쁠 때, 논문은 대체 신호 구성을 도입합니다. 구체적으로, 공격적 최적화 초기 단계에서 얻은 중간 "학습 상실" 정책 ($\pi_{\theta_{un}}$) 에 대한 로그 비율 $\log \frac{\pi_{\theta_e}(a|s)}{\pi_{\theta_{un}}(a|s)}$을 사용합니다. 이를 통해 더 약한 교사조차도 효과적인 감독 신호를 제공할 수 있습니다.
• 최적화: 증류 단계는 구성된 토큰 단위 보상을 사용하여 PPO 스타일의 클립된 대리 목적 함수를 사용하며, 일반적으로 교사 훈련보다 적은 단계 (예: 10~32 회) 가 필요합니다.

주요 기여

1. 분리된 프레임워크: 공격적인 신호 추출과 안정적인 정책 업데이트를 분리하는 2 단계 훈련 파이프라인을 도입하여, 점근적 성능이나 KL 효율성을 희생하지 않고 높은 샘플 효율성을 달성합니다.
2. 약에서 강으로의 증류: MSE 로 훈련되거나 특정 학습 상실 조건 하에 있는 퇴화되거나 약한 교사 정책조차도 효과적인 감독을 제공할 수 있음을 입증합니다. 논문은 신호 구성 전략 (학습 상실 정책 대 기존 정책 사용) 에 대한 체계적인 실증적 특성과 제거 실험을 제공합니다.
3. 토큰 단위 신호 분석: 극한 정책에서 파생된 토큰 단위 보상이 학생 학습과 어떻게 상호작용하는지 상세히 조사하여, 특정 로그 비율 공식 (예: 분모를 기존 정책으로 고정) 을 사용할 때 학생이 교사를 능가할 수 있음을 보여줍니다.
4. 추론에 대한 실증적 검증: 수학 추론 벤치마크 (AIME, HMMT, IMO) 및 코딩 작업 (LiveCodeBench) 에 대한 포괄적인 평가를 통해, 표준 온-정책 훈련이 정체되는 강력한 기본 모델에서 상당한 향상을 보였습니다.

실험 결과

• 성능 향상: 수학 추론 작업에서 ERPD 는 표준 온-정책 베이스라인 (PPO, GRPO) 및 단일 단계 오프-정책 방법보다 현저히 우수합니다. 예를 들어, HMMT Feb 25 벤치마크에서 Qwen3.5-27B 에 적용된 ERPD 는 최첨단 수준의 모델과 비교 가능한 성능을 달성했습니다.
• KL 효율성: 증류된 정책은 공격적인 교사 정책에 비해 훨씬 작은 KL 발산으로 동등하거나 더 나은 성능을 달성합니다. 이는 1 단계의 발산이 대부분 비생산적인 드리프트에 소모되었음을 확인시켜 줍니다.
• 약한 교사의 효과: 공격적 최적화가 더 강력한 교사를 생성하지 못하는 시나리오 (예: MSE 손실 사용) 에서도 "학습 상실" 전략은 개선을 가져옵니다. 강력하고 약한 교사를 결합한 앙상블 방법은 성능을 더욱 향상시킵니다.
• 반복적 개선: 온라인 - 오프라인 전환 실험은 오프라인 증류와 온라인 샘플링을 교차하는 것이 지속적인 성능 향상을 가능하게 하는 반면, 순수 온라인 또는 순수 오프라인 접근법은 종종 정체되거나 저하됨을 보여줍니다.
• 제거 실험 결과:
  • 신호 구성: 로그 비율의 분모 선택 (기존 정책 대 현재 정책) 이 결정적입니다. 분모를 기존 정책으로 고정하면 학생이 교사를 능가할 수 있습니다.
  • 이상치: 예비 분석에 따르면, 극한 정책의 "이상치" 토큰 (음수 로그 비율) 은 정보성 교정 신호를 인코딩하며, 이를 마스킹하면 성능이 저하됩니다.
  • 엔트로피: 일반적인 가정과 달리, 증류의 성능 향상은 반드시 엔트로피 감소에 의존하지 않습니다. 일부 경우 엔트로피 증가가 성능 향상과 상관관계를 보입니다.

중요성과 주장

본 논문은 데이터 효율성과 최적화 안정성 사이의 트레이드오프가 고유한 것이 아니라, 단일 정책이 상충되는 목표를 균형 있게 맞추도록 강제하는 결과라고 주장합니다. 이러한 목표를 분리함으로써:

1. ERPD 는 보수적인 방법들이 폐기하는 고정된 데이터셋의 잠재적 학습 신호를 해제합니다.
2. RL 에서 "약에서 강으로" 가설을 검증하여, 신호 구성을 적응시키면 (예: 학습 상실 정책을 기준으로 사용) 퇴화되거나 저하된 정책조차도 효과적인 교사로 기능할 수 있음을 보여줍니다.
3. 실용적인 경로를 제시하여, 대규모 데이터 수집 없이도 기존 데이터를 공격적 최적화 followed by 신중한 증류를 통해 더 효과적으로 활용함으로써 최첨단 추론 모델을 개선할 수 있습니다.

저자들은 이론적 설명에 대해 겸손함을 유지하며, 약에서 강으로의 증류의 실증적 성공은 명확하지만 퇴화된 교사가 유용한 신호를 제공하는 정확한 이론적 조건은 추가 조사가 필요하다고 지적합니다. 마찬가지로 엔트로피와 이상치의 역할은 향후 체계적인 분석이 필요한 영역으로 식별됩니다.