기술 요약: 동료 성공 및 실패를 통한 다중 롤아웃 온-정책 증류

문제 제기

대형 언어 모델 (LLM) 은 종종 검증 가능한 보상을 활용한 강화 학습 (RLVR) 을 통해 사후 훈련됩니다. 이 패러다임에서 샘플링된 솔루션은 정답 확인기, 단위 테스트, 또는 작업별 검증자에 의해 점수가 매겨집니다. 효과적이기는 하지만, 이러한 보상은 일반적으로 희소합니다. 전체 궤적이 성공했는지 실패했는지를 나타내지만, 어떤 특정 토큰이나 추론 단계가 결과를 초래했는지에 대해서는 제한적인 지침만 제공합니다.

**온-정책 증류 (OPD)**는 오프라인 증류에 내재된 분포 불일치를 해결하기 위해 학생 모델이 자신의 정책에서 샘플링한 궤적으로 훈련함으로써, 교사의 판단을 밀도 높은 토큰 수준의 신호로 변환합니다. 그러나 기존 OPD 방법은 중요한 비효율성에 시달립니다. 즉, 각 롤아웃을 독립적으로 취급한다는 점입니다. 동일한 프롬프트에 대해 여러 개의 롤아웃이 생성될 때, 한 궤적에 대한 교사 신호는 동일한 학생에서 샘플링된 다른 시도들에 접근할 수 없이 계산됩니다. 이 설계는 롤아웃 그룹의 국소 구조를 폐기합니다. 추론 집약적 작업의 경우, 이 국소 구조는 매우 유익한 정보를 제공합니다. 성공적인 롤아웃은 유효한 해결 전략을 드러내는 반면, 실패한 롤아웃은 그럴듯하지만 잘못된 추론 경로, 누락된 제약 조건, 또는 실행 오류를 노출합니다. 롤아웃을 고립된 상태로 취급하면 교사는 unsuccessful 궤적이 성공적인 궤적과 어디서 다른지 식별하기 위해 대안들을 비교할 수 없습니다.

방법론: 다중 롤아웃 온-정책 증류 (MOPD)

저자들은 **다중 롤아웃 온-정책 증류 (MOPD)**를 제안합니다. 이는 학생의 국소 롤아웃 그룹을 명시적으로 활용하여 더 유익한 교사 신호를 구축하는 동료 조건부 증류 프레임워크입니다.

핵심 메커니즘

각 프롬프트 $x$에 대해, 학생은 $N$개의 온-정책 궤적 그룹 $Y(x) = \{y^{(i)}\}_{i=1}^N$을 샘플링합니다. 이들은 검증자 $R$에 의해 점수가 매겨진 후, 임계값 $\tau$를 기준으로 성공 ($Y^+$) 과 실패 ($Y^-$) 집합으로 분할됩니다.

목표 롤아웃 $y^{(i)}$를 감독할 때, MOPD 는 교사 분포 $q_\phi$를 프롬프트와 목표의 접두사뿐만 아니라 동일한 그룹의 동료 롤아웃 (목표 자체는 제외) 에도 조건부로 설정합니다. 교사 분포는 다음과 같이 됩니다:
$$q_{\text{peer}}^\phi(\cdot \mid x, y^{(i)}_{<t}) = q_\phi(\cdot \mid x, C_i(x), y^{(i)}_{<t})$$
여기서 $C_i(x)$는 $Y^+_{-i}(x)$와 $Y^-_{-i}(x)$로부터 구성된 동료 컨텍스트입니다.

동료 컨텍스트 구성 전략

이 논문은 $C_i(x)$를 구성하기 위한 두 가지 주요 전략을 조사합니다:

1. 긍정적 동료 모방: 교사는 성공적인 동료 궤적에만 조건부로 설정됩니다. 이는 성공적인 롤아웃을 "동료 전문가"로 취급하여 유효한 추론 패턴에 대한 긍정적 증거를 제공하고, 학생을 단일 참조가 아닌 여러 유효한 유도 스타일에 고정시킵니다.
2. 대조적 성공 - 실패 조건부 설정: 교사는 성공적인 동료 궤적과 실패한 동료 궤적 모두에 조건부로 설정됩니다. 성공적인 동료는 목표가 닮아야 할 것을 나타내는 반면, 실패한 동료는 피해야 할 오해의 소지가 있는 해결 경로를 식별하는 구조화된 부정적 증거 역할을 합니다. 이 대조적 접근법은 특히 희소 종단 보상을 가진 작업에서 표면적으로 유사한 올바른 궤적과 잘못된 궤적 사이를 교사가 구분하는 데 도움이 됩니다.

훈련 목적은 토큰 시퀀스 전반에 걸쳐 학생 분포와 동료 조건부 교사 분포 간의 발산 (수학의 경우 역 KL, 기타의 경우 제이슨 - 샨논) 을 최소화하는 것입니다.

주요 기여

1. 프레임워크 혁신: MOPD 는 학생의 다중 롤아웃 그룹의 국소 시행착오 공간에 교사를 명시적으로 조건부로 설정하는 최초의 프레임워크로, 독립적인 궤적 감독을 비교 학습 프로세스로 변환합니다.
2. 이중 증거 활용: 이 방법은 성공적인 동료 (긍정적 증거) 와 실패한 동료 (부정적 증거) 모두를 활용합니다. 저자들은 실패한 동료가 단순히 노이즈가 아니라 그럴듯한 실수, 제약 조건, 포맷팅 오류에 대한 구조화된 신호를 제공함을 입증했습니다.
3. 신호 품질 분석: 이 논문은 다양한 컨텍스트 구성이 교사 점수를 실제 검증자 보상과 얼마나 잘 정렬하는지 측정하는 자기 교사 신호 품질에 대한 직접적인 분석을 도입합니다. 이는 단순한 정답 복구 테스트와 관련된 혼란 요인을 피합니다.
4. 실증적 검증: 경쟁적 프로그래밍, 수학적 추론, 과학적 QA, 도구 사용에 걸친 광범위한 실험은 표준 온-정책 기준 (GRPO, SDPO) 대비 일관된 개선을 보여줍니다.

실험 결과

저자들은 MOPD 를 네 가지 작업 계열에서 평가했습니다:

• 수학적 추론 (AIME2024/2025, HMMT25): MOPD 는 SDPO 에 비해 mean@8 을 크게 향상시켰습니다. 특히, 풍부한 환경 피드백에 의존하는 SDPO 는 이진 검증자 보상만 제공되는 수학 작업에서 부진한 반면, MOPD 의 동료 증강 감독은 매우 효과적이었습니다.
• 경쟁적 프로그래밍 (LiveCodeBench v6): MOPD 는 비교된 방법들 중에서 최첨단 결과를 달성하여 Qwen3-8B 에서 mean@8 61.82 및 pass@8 67.23 을 기록하며 SDPO 와 GRPO 를 능가했습니다.
• 과학 QA 및 도구 사용: MOPD 는 모든 하위 도메인 (생물학, 화학, 물리학, 재료) 과 도구 사용 벤치마크에서 최고의 성과를 거두었습니다.

분석을 통한 주요 발견

• 혼합 컨텍스트의 우위: "성공 2 개 + 실패 1 개" 컨텍스트는 순위 (스피어만, 켄달의 $\tau$) 및 판별 (쌍별 정확도, 성공 AUC) 지표 전반에 걸쳐 검증자 보상과 가장 높은 정렬을 일관되게 달성했습니다.
• 실패의 역할: 성공적인 동료가 신호 품질의 주요 동인이기는 하지만, 성공 전용 컨텍스트에 실패한 동료를 추가하면 결정 경계가 크게 날카로워집니다 (예: 쌍별 정확도를 0.32 에서 0.40 으로 향상).
• 다양성: MOPD 는 기준 모델에 비해 어휘적 (Distinct-1/2) 및 구조적 (AST 자카드 거리) 다양성이 현저히 높은 솔루션을 생성하며, 이는 동료 조건부가 다양한 해결 전략의 탐색을 장려함을 시사합니다.
• 효율성: MOPD 의 계산 오버헤드는 적당하여, LiveCodeBench 에서는 SDPO 대비 총 단계당 시간이 9.1% 증가하는 데 그쳤고, 과학 QA 에서는 33.3% 증가했습니다.

중요성 및 주장

이 논문은 효과적인 온-정책 증류는 롤아웃을 고립된 샘플로 취급하기보다 학생의 다중 롤아웃 시행착오 행동을 활용해야 한다고 주장합니다. 교사를 동료의 성공과 실패에 조건부로 설정함으로써, MOPD 는 인스턴스별 오류를 인식하고 그럴듯한 실패와 올바른 솔루션을 구분할 수 있는 국소 진단 모델로 교사를 변모시킵니다.

저자들은 이러한 이득이 더 충실하고 인스턴스 적응형 감독에서 비롯된다고 주장합니다. 혼합된 성공 - 실패 컨텍스트는 교사 점수를 검증자 보상과 더 잘 정렬시켜, 이 방법이 단일 샘플링 그룹 내에서 이용 가능한 구조화된 정보를 성공적으로 활용함을 나타냅니다. 이 접근법은 그룹 상대적 이점을 사용하는 강화 학습과 토큰 수준 감독을 사용하는 증류 사이의 간극을 메우며, 외부의 더 큰 교사나 복잡한 보상 모델링 없이도 더 작은 모델의 추론 능력을 향상시키는 경로를 제시합니다.

이 연구는 동료 조건부가 추가적인 컨텍스트 길이를 도입하지만, 정확성, 다양성, 훈련 안정성에서의 결과적 개선이 특히 검증 가능한 보상이 존재하지만 희소한 도메인에서 비용을 정당화한다고 결론 내립니다.