기술적 요약: 변분 정책 증류를 통한 언어 피드백 학습

문제 정의

검증 가능한 보상에 대한 강화 학습 (RLVR) 은 객관적이고 결과 기반의 정확성을 최적화함으로써 대형 언어 모델 (LLM) 의 추론 능력 발전에 기여해 왔습니다. 그러나 표준 RLVR 방법 (예: GRPO) 은 희소하고 이진적인 결과 신호 (정답/오답) 에 의존합니다. 이러한 희소성은 심각한 신용 할당 병목 현상을 초래합니다. 복잡한 유도 과정에서 발생한 사소한 산술 오류가 완전히 터무니없는 환각과 동일한 영 (0) 보상을 받기 때문입니다. 결과적으로, 온-정책 (on-policy) 알고리즘은 초기 성공률이 거의 0 인 어려운 문제에서 극심한 탐색 병목 현상에 직면하게 되며, '간신히 실패한' (near-miss) 궤적에 내재된 잠재 정보를 낭비하게 됩니다.

이를 해결하기 위해 최근의 온-정책 자기 증류 방법들 (예: SDPO, OPSD) 은 컴파일러 오류나 자동화된 비평과 같은 풍부한 텍스트 피드백을 활용하여 조밀한 토큰 수준의 감독을 생성합니다. 그러나 이러한 접근법은 치명적인 결함을 안고 있습니다. 즉, 피드백 조건부 '자기 교사 (self-teacher)'를 고정된 수동적 함수로 취급한다는 점입니다. 교사는 피드백을 해석하는 제로샷 (zero-shot) 능력에 전적으로 의존합니다. 학생 정책이 발전함에 따라, 교사는 명시적으로 진단적 해석을 정제하도록 훈련되지 않았기 때문에 점점 더 미묘한 추론 오류를 구분하는 능력이 정체됩니다. 이로 인해 학생이 의미 있는 기울기 (gradient) 를 공급받지 못하는 천장 효과가 발생합니다.

방법론: 변분 정책 증류 (VPD)

저자들은 언어 피드백으로부터의 학습을 변분 기대 - 최대화 (Variational Expectation-Maximization, EM) 문제로 공식화하는 변분 정책 증류 (VPD) 프레임워크를 제안합니다. 수동적 증류와 달리, VPD 는 단일 공유 가중치 신경망 내에서 학생과 교사 정책을 공동 진화시킵니다.

변분 공식화

이 프레임워크는 최적 정책 $\pi^*$ (보상 기울어진 분포) 를 다루기 어려운 대상으로 간주합니다. VPD 는 조밀한 진단 피드백 $C$에 조건부인 매개변수화된 교사 네트워크 $q_\phi(y|x, C)$를 도입하여 $\pi^*$에 대한 다루기 쉬운 근사 사후 분포로 활용합니다. 이 공식화는 훈련을 두 가지 교차 단계로 분해합니다.

1. E-Step (교사 정제):

   • 목표: 언어 피드백을 해석하고 최적 보상 기울어진 분포를 근사하도록 교사를 능동적으로 훈련합니다.
   • 메커니즘: 교사는 텍스트 비평이 주어졌을 때 성공한 궤적과 실패한 궤적을 구분하도록 최적화됩니다. 피드백 $C$는 각 궤적마다 고유하므로, 표준 쌍별 선호도 최적화 (예: DPO) 는 적용할 수 없습니다. 대신 VPD 는 **이진 분류기 최적화 (BCO)**라는 비쌍별 선호도 최적화 프레임워크를 사용합니다.
   • 동적 참조 사전: 중요한 점은 교사가 정적 기본 모델에 고정되지 않는다는 것입니다. 분포 이동을 방지하고 교사가 학생의 현재 능력에 대해 유용한 비평가로 남도록 하기 위해, 참조 사전은 현재 학생 정책 ($\pi_{ref} \leftarrow \pi_\theta$) 에 동적으로 고정됩니다. 이는 적응형 신뢰 영역을 강제하여 교사의 목표 분포가 학생에 의해 도달 가능하도록 보장합니다.

2. M-Step (학생 최적화):

   • 목표: 정제된 조밀한 지침을 학생의 무조건부 정책 내부에 내재화합니다.
   • 메커니즘: 학생은 자신의 온-정책 롤아웃에서 업데이트된 교사 $q_\phi$에 대한 토큰 수준의 KL 발산을 최소화합니다. 학생은 추론 시 특권 피드백 $C$ 없이 작동하므로, 교사가 발견한 추론 수정 사항을 암묵적으로 학습해야 합니다.

아키텍처 및 효율성

• 공유 가중치 네트워크: 학생 ($\pi_\theta$) 과 교사 ($q_\phi$) 는 단일 네트워크 ($\phi = \theta$) 내에서 인스턴스화됩니다. 차이는 순수하게 문맥적입니다. 교사는 진단 피드백 $C$를 프롬프트에 추가하여 호출되는 반면, 학생은 입력 $x$에만 의존합니다. 이는 다중 모델 패러다임의 막대한 메모리 오버헤드를 제거합니다.
• 비대칭 업데이트: 이 프레임워크는 비대칭 업데이트 빈도 (예: E-Step 당 여러 번의 M-Step) 를 지원하며, RL 의 타겟 네트워크와 유사하게 증류 과정을 안정화합니다.

주요 기여

1. 변분 EM 의 공식화: 이 논문은 언어 피드백으로부터의 온-정책 학습을 변분 EM 절차로 공식화합니다. 이는 이전 자기 증류 방법에는 없었던 명시적이고 피드백 인식적인 교사 업데이트를 비쌍별 선호도 최적화 (BCO) 를 통해 구현합니다.
2. 동적 신뢰 영역: 교사를 현재 학생 정책에 동적으로 고정함으로써, VPD 는 정적 사전 (priors) 을 사용하는 방법에서 발생하는 치명적인 분포 이동을 방지하고 안정적인 온-정책 KL 증류를 보장하는 적응형 신뢰 영역을 강제합니다.
3. 종합적 실증 연구: 저자들은 세 가지 서로 다른 진단 피드백 소스에 대해 VPD 를 평가했습니다.
   • 결정론적 환경 검증기 (LiveCodeBench).
   • 대비형 형제 롤아웃 (SciKnowEval).
   • LLM 판정자를 통한 자율적 자기 비평.
4. 한계 특성화: 이 논문은 베이스 모델 콜드스타트 시나리오와 엄격한 수학적 추론 작업에서 프레임워크를 엄격하게 스트레스 테스트하여, 순수 희소 RL 과 비교한 피드백 기반 자기 증류의 근본적 한계를 확립합니다.

실험 결과

경쟁적 프로그래밍 (LiveCodeBench), 과학적 추론 (SciKnowEval), 수학적 추론 (Math500, AIME) 을 아우르는 벤치마크에서 평가된 결과, VPD 는 표준 RLVR (GRPO) 과 기존 자기 증류 베이스라인 (SDPO) 일관적으로 우위를 점했습니다.

• 코드 생성 (LiveCodeBench): VPD 는 Qwen3-8B 에서 **49.62%**의 최첨단 통과율을 달성하여 GRPO (45.61%) 와 SDPO (47.33%) 를 능가했습니다. 이 방법은 정답과 오답 간의 보상 마진을 지속적으로 유지하는 데 성공한 반면, SDPO 의 지침 신호는 시간이 지남에 따라 저하되었습니다.
• 과학적 추론 (SciKnowEval): VPD 는 여러 모델 (Qwen3-1.7B, 8B, OLMo3-7B) 에서 새로운 최첨단 결과를 달성했습니다. 예를 들어, Qwen3-8B 에서 VPD 는 SDPO 의 74.44% 대비 **77.15%**의 평균 정확도를 기록했습니다. 특히 VPD 는 SDPO 와 하이브리드 베이스라인에서 자주 관찰되던 훈련 후기 단계의 저하 (검증 정확도 하락) 를 제거했습니다.
• 자기 비평: 모델이 긍정 쌍 없이 자신의 실패를 판단하는 자율적 자기 비평을 사용하더라도, VPD 는 SDPO 를 크게 능가했습니다 (Qwen3-8B 기준 78.14% 대 74.87%).

근본적 한계 및 콜드스타트

이 논문은 순수 희소 RL 에 비해 자기 증류가 어려움을 겪는 특정 영역을 식별했습니다.

• 베이스 모델 콜드스타트: 지시 따르기 정렬이 없는 베이스 파운데이션 모델 (예: Qwen3-4B-Base) 에 적용될 때, 모델이 진단 피드백을 효과적으로 파싱하지 못하기 때문에 (VPD 포함) 자기 증류 방법들은 어려움을 겪습니다. VPD 는 SDPO 에서 관찰되는 훈련 붕괴를 크게 지연시키지만, 순수 RL (GRPO) 이 이러한 콜드스타트 시나리오에서 출현적 추론을 이끌어내는 가장 효과적인 패러다임으로 남아 있습니다.
• 수학적 추론: 엄격한 수학적 벤치마크 (DAPO-Math, Math500) 에서 VPD 는 훈련 붕괴를 지연시키지만 결국 순수 GRPO 에 미치지 못합니다. 저자들은 수학 유도 과정의 엄격하고 관대하지 않은 성격이 잡음이 많거나 부정확한 중간 교사 지침에 의한 '중독 (poisoning)'에 자기 증류를 취약하게 만드는 반면, 희소 RL 은 엄격한 경로를 찾기 위해 더 넓은 탐색을 장려하기 때문이라고 가설을 세웠습니다.

중요성 및 주장

이 논문은 언어 피드백을 정적 휴리스틱으로 취급하는 것에서 최적화 과정의 학습 가능하고 공동 진화하는 구성 요소로 취급하는 것으로의 원칙적 전환을 VPD 가 대표한다고 주장합니다. 동적 신뢰 영역을 갖춘 엄격한 EM 프레임워크 내에 자기 증류를 내장함으로써, VPD 는 수동적 방법들보다 언어 피드백에서 훨씬 더 많은 가치를 추출하여 안정적인 최적화 역학과 일관된 성능 향상을 제공합니다.

그러나 저자들은 이 접근법의 궁극적 한계에 대해 겸손한 입장을 유지합니다. 그들은 VPD 가 자기 증류의 한계를 완화하지만, 가장 도전적인 논리 영역과 베이스 모델 초기화에는 순수 희소 RL 이 여전히 가장 효과적인 패러다임이라고 명시적으로 언급합니다. 이 연구는 언어 기반 자기 증류의 근본적 한계를 조명하며, 추론을 정제하는 강력한 도구일지라도 모든 맥락에서 결과 기반 RL 의 탐색 능력을 완전히 대체하지는 못할 수 있음을 시사합니다.