기술 요약: LLM 추론을 위한 전략 가이드 정책 최적화 (SGPO)

1. 문제 정의

강력한 모델로부터 약한 LLM으로 추론 능력을 증류(distilling)하는 현재의 방법들은 주로 **궤적 수준의 모방(trajectory-level imitation)**에 의존합니다. 지도 미세 조정(SFT)이나 하이브리드 정책 최적화를 통한 방식 모두, 학생 모델이 전문가가 생성한 특정 솔루션 시퀀스를 재현하도록 학습시킵니다. 본 논문은 이러한 지식 전달 단위가 결함이 있다고 주장합니다. 이는 모델이 전이 가능한 문제 해결 기술을 습득하기보다는 인스턴스별 패턴을 암기하도록 유도하기 때문입니다. 결과적으로, 이렇게 학습된 모델은 '무엇을' 답해야 하는지는 배우지만 '어떻가' 추론해야 하는지는 배우지 못하므로, 새로운 문제에 대해 일반화하는 데 어려움을 겪습니다.

핵적 과제는 추론의 대상을 구체적인 솔루션 궤적이 아니라, 추론 과정에서 왜 특정 단계가 선택되었는지를 설명하는 재사용 가능한 문제 해결 전략으로 전환하는 것입니다. 이때 모델이 추론 시 외부의 힌트에 의존하지 않도록 해야 합니다.

2. 방법론: 전략 가이드 정책 최적화 (SGPO)

저자들은 인스턴스 수준의 궤적 모방을 재사용 가능한 전략 증류로 대체하는 SGPO 프레임워크를 제안합니다. 이 프레임워크는 강력한 모델의 응답으로부터 구조화된 전략 설명을 추출하고, 이를 사용하여 학생 모델의 추론 분포를 재형성함으로써 작동합니다.

2.1 핵심 구성 요소

각 훈련 문제 $q$에 대해, SGPO는 두 가지 궤적 그룹을 구축합니다:

1. 자율 그룹 (Autonomous Group): 현재 정책 $\pi_\theta(\cdot | q)$로부터 샘플링됩니다.
2. 전략 가이드 그룹 (Strategy-Guided Group): $\pi_\theta(\cdot | q, s)$로부터 샘플링됩니다. 여기서 $s$는 강력한 모델로부터 추출된 간결한 자연어 전략 설명(문제 유형, 접근 방식, 절차적 단계를 명시하지만 계산이나 최종 정답은 포함하지 않음)입니다.

이 프레임워크는 두 가지 핵심 질문을 다룹니다: 어떻게 증류할 것인가와 언제 증류할 것인가.

2.2 어떻게 증류할 것인가: 토큰 수준의 Forward-KL 목적 함수

가이드된 궤적을 직접 모방하는 대신(이는 다시 SFT로 수렴하게 만듦), SGPO는 전략 조건화(strategy conditioning)에 의해 유도된 **분포 변화(distributional shift)**를 증류합니다.

• Forward-KL 발산: 이 방법은 전략 가이드 분포를 참조(reference)로 하고, 가이드되지 않은 분포를 타겟(target)으로 하여 KL 발산을 최소화합니다 ($D_{KL}(\pi_{guided} || \pi_{unguided})$).
• 선택성 (Selectivity): 단일 가이드 모드로 정책을 붕괴시키는 Reverse KL과 달리, Forward KL은 가이드된 모드를 커버하면서도 자율적 탐색을 통해 발견된 기존의 대안들을 보존하도록 유도합니다.
• 메커니즘: 이 목적 함수는 전략 조건화 하에서 다음 토큰 분포가 크게 변화하는 지점(예: 특정 수학적 방법을 선택하는 지점)에 최적화 압력을 자연스럽게 집중시킵니다. 이러한 지점들은 **전략적 결정 지점(strategy-critical decision points)**에 해당하며, 일상적인 언어적 토큰들은 낮은 KL 발산을 보입니다. 이는 명시적인 토큰 수준의 주석 없이도 선택적인 증류 신호를 제공합니다.

2.3 안정성 및 효율성: 근사 제약 (Proximal Constraints)

학습의 안정성과 효율성을 보장하기 위해, SGPO는 세 가지 수준의 근사 제약을 사용합니다:

1. 궤적 수준 (도달 가능한 타겟 선택): 모든 정답 가이드 궤적의 평균을 내는 대신, 현재의 가이드되지 않은 정책에 의해 가장 도달 가능한 단일 가이드 궤적을 선택합니다. 이는 모델이 메워야 할 분포 격차를 최소화합니다.
2. 토큰 수준 (KL 클리핑): 가이드된 분포와 가이드되지 않은 분포 사이의 발산이 임계값 $\delta$를 초과하는 토큰 위치는 마스킹 처리됩니다. 이는 이상치 위치가 최적화를 지배하여 엔트로피 붕괴를 일으키는 것을 방지합니다.
3. 인스턴스 수준 (적응형 가중치): 동적 가중치 $\alpha(q)$가 전략 가이드의 한계 이익에 따라 증류 강도를 조절합니다.
   • 자율 통과율(autonomous pass rate)은 낮고 가이드 통과율(guided pass rate)은 높으면, $\alpha(q)$가 커져 가이드를 강화합니다.
   • 모델의 자율 역량이 성장함에 따라 $\alpha(q)$는 감소하며, 수동적인 스케줄링 없이도 전략 주도 개선에서 자율적 최적화로 자연스럽게 전환됩니다.

2.4 전체 목적 함수

전체 손실 함수는 자율 그룹 상대 정책 최적화(GRPO)와 근사 전략 증류 항을 결합합니다:
$$\mathcal{L}(\theta; q) = \mathcal{L}_{GRPO}(\theta; q) + \alpha(q) \mathcal{L}^{clip}_{KD}(\theta; q)$$

3. 주요 기여

• 패러다임 전환: 추론 증류를 특정 솔루션 궤적을 모방하는 것에서 재사용 가능한 문제 해결 전략을 내재화하는 것으로 이동시켰습니다.
• Forward-KL 증류: 전략적 결정 지점에서의 확률 변화에 집중함으로써 전략적 지식을 선택적으로 전달하는 토큰 수준의 Forward-KL 목적 함수를 도입하여, 직접적인 궤적 모방보다 우수한 성능을 보였습니다.
• 적응형 프레임워크: 모델의 역량에 따라 증류 강도가 자동으로 조절되는 학습 역학을 제안하여, 수동적인 커리큘럼 스케줄링의 필요성을 제거했습니다.
• 상보적 스케일링: 전략 증류가 베이스 모델의 능력과 함께 스케일링됨을 입증하여, 효과적인 전략 가이드 내재화를 위해 최소한의 추론 역량이 필요함을 시사했습니다.

4. 실험 결과

두 가지 모델 제품군인 Qwen2.5 (1.5B 및 7B)와 Llama-3.2 (8B)를 사용하여 네 가지 수학적 추론 벤치마크(MATH500, AMC 23, OlympiadBench, AIME 24)에서 실험을 수행했습니다.

• 성능: SGPO는 SFT, On-policy RL (SFT+GRPO), 하이브리드 정책 방법(HPT, LUFFY)을 포함한 강력한 베이스라인들을 일관되게 능가했습니다.
  • Qwen2.5-7B-Instruct에서, SGPO는 가장 강력한 베이스라인인 LUFFY보다 평균 점수를 2.2점 높였고, 베이스 모델보다는 9.9점 높았습니다.
  • Qwen2.5-1.5B-Instruct에서, 평균 점수는 베이스 모델 대비 6.7점 향상되었습니다.
• 절제 연구 (Ablation Studies):
  • 전략 증류를 제거하면 성능이 감소하여, 순수 RL보다 전략 수준의 전이가 가치 있음을 확인했습니다.
  • 자율 GRPO를 제거하면 엔트로피 붕괴와 성능 정체가 발생하여, 탐색 다양성을 유지하는 것의 필요성을 강조했습니다.
  • 근사 제약을 제거했을 때 가장 큰 성능 저하(6.8점)가 발생하여, 안정성에 대한 이들의 결정적인 역할을 입증했습니다.
• 분석:
  • 선택성: Forward-KL 신호는 직접적인 SFT의 단조 감소하는 손실과 달리, 전략적 결정 단계(예: 최소공배수 결정)에서 정점을 찍고 일상적인 토큰에서는 낮게 유지되었습니다.
  • 스케일링: SGPO의 이득은 더 강력한 베이스 모델에서 더 컸으며, 이는 전략 증류가 기초적인 추론 역량과 상보적임을 시사합니다.

5. 의의 및 주장

본 논문은 지식을 궤적 수준에서 모방하는 것보다 전략 수준에서 전달하는 것이 추론 증류를 위한 더 효과적인 방향이라고 주장합니다.

• 일반화: '무엇을' 답하는지가 아니라 '어떻게' 추론하는지(전략)를 내재화함으로써, 모델은 새로운 문제에 더 잘 일반화되는 전이 가능한 기술을 습득합니다.
• 내재적 선택성: 제안된 Forward-KL 목적 함수는 전략적 토큰을 식별하고 증폭하는 자동 메커니즘 역할을 하여, 추론 단계에 대한 수동 주석의 필요성을 제거합니다.
• 효율성: 적응형 가중치 메커니즘은 전략 가이드가 가장 높은 한계 이익을 제공하는 인스턴스에 계산 자원을 집중시켜, 더 빠른 수렴과 더 높은 성능 상한선을 이끌어냅니다.

저자들은 향상된 추론 능력이 잠재적 위험을 수반할 수 있지만, 수학적 추론에 특화된 이번 연구는 직접적인 위험이 미미하며, 전략 증류을 통해 LLM의 추론 능력을 높이는 견고한 경로를 제공한다고 결론짓습니다.