기술 요약: 불일치 오답 초안(Mismatched Wrong Drafts)을 통한 약한 모델에서 강한 모델로의 능력 유도

문제 정의

본 논문은 검증 가능한 보상을 통한 온-정책 강화학습(On-policy RLVR), 특히 GRPO와 같은 알고리즘을 사용할 때의 알려진 한계를 다룹니다. 온-정책 강화학습은 모델의 기존 추론 모드를 정교화하는 데 효과적이지만, 경험적 분석에 따르면 모델의 고유한 커버리지를 확장하지는 못하며, 대규모 샘플 예산에서 pass@k 성능이 기본 모델과 같거나 그보다 낮아지는 경향이 있습니다. 저자들은 더 작고 약한 모델의 오프-정책 경험을 통해 표준 온-정책 파인튜닝으로는 도달할 수 없는 강한 학습자의 능력을 유도할 수 있는지 조사합니다. 구체적으로, 약한 모델의 "잘못된" 추론 흔적을 강한 모델의 컨텍스트 창에 주입하여 능력 확장을 이끌어낼 수 있는지 질문합니다.

방법론

제안된 방법인 불일치-오답 (Mismatched-Wrong) 은 표준 온-정책 GRPO 학습 루프에 특정 데이터 증강 전략을 통합합니다.

1. 모델 역할

• 학습자 ($\pi_S$): Mathstral-7B-v0.1.
• 초안 모델 ($\pi_W$): Qwen2.5-Math-1.5B (더 작고 도메인 특화 훈련을 거친 모델).
• 학습 데이터: MATH 데이터셋의 Level 3–5 문제 약 8,800개 (MATH-500 은 홀드아웃).

2. "불일치-오답" 구성

핵심 혁신은 초안 흔적의 선택 및 할당 방식에 있습니다:

• 오답성 (Wrongness): 각 학습 문제에 대해 초안 모델이 32 개의 완성본을 생성합니다. 저자들은 수학적으로 틀린 완성본을 필터링합니다 (특히 진실에 너무 가까울 수 있는 "거의 정확한" 답변은 제외).
• 불일치 (Mismatch): 잘못된 초안을 생성된 문제와 짝짓는 대신, 저자들은 무작위 1-1 치환 ($\sigma$) 을 적용합니다. 각 문제 $x$는 다른 문제에 대해 생성된 잘못된 초안 $d^-_{\sigma(x)}$와 짝을 이룹니다.
• 프롬프트 구조: 학습 프롬프트에는 실제 문제 진술이 포함되며, 이어 "생각 (Thinking)" 섹션에 불일치된 오답 초안이 배치됩니다. 여기에는 사고 과정에 오류가 있을 수 있으며 모델이 문제를 독립적으로 해결해야 한다는 명시적 지시가 포함됩니다.

3. 학습 프로토콜

• 알고리즘: Dr. GRPO (GRPO 의 효율적인 변형).
• 보상: 이진 결과 보상 (최종 답변이 맞으면 1, 아니면 0). 과정 보상이나 보상 모델은 사용하지 않습니다.
• 제약 조건: 이 방법은 단일 GPU 를 사용하며, 지도 파인튜닝 (SFT), 합성 데이터, 또는 "생성-비판-수정" 내부 루프가 필요 없습니다. 학습자는 프롬프트당 단일 롤아웃으로 솔루션을 생성합니다.

4. 제거 분석 (Ablation Study)

저자들은 $2 \times 2$ 설계에서 네 가지 변형을 비교하여 활성 성분을 분리합니다:

1. 일치 + 정답: 초안이 문제와 일치하며 정답입니다.
2. 일치 + 오답: 초안이 문제와 일치하지만 오답입니다.
3. 불일치 + 정답: 초안은 다른 문제를 위한 것이지만 정답입니다.
4. 불일치 + 오답: 초안은 다른 문제를 위한 것이며 오답입니다 (제안된 방법).
   초안 없음 (No-Draft) GRPO 베이스라인과 기본 모델도 평가됩니다.

주요 결과

MATH-500 성능

불일치-오답 변형은 MATH-500 에서 71.98% 의 탐욕적 pass@1 을 달성합니다 (10 개의 시드, 95% 신뢰구간 $\pm$0.80pp).

• 이는 합성 SFT 데이터와 과정/지시 보상 모델을 사용한 PPO 에 의존하는 더 무거운 WizardMath 파이프라인 (전체 MATH 에서 70.9%) 을 능가합니다.
• 초안 없음 GRPO 베이스라인 (+1.16pp) 과 모든 다른 제거 분석 변형을 능가합니다.
• 결정적으로, 불일치-오답 변형은 모든 테스트된 구성에서 초안 없음 베이스라인을 일관되게 능가하는 유일한 변형입니다.

분포 외 (AIME 2025/2026) 성능

AIME 2025 및 2026(두 모델의 학습 컷오프 이후 데이터셋) 에서 불일치-오답 변형은 능력 확장을 보여줍니다:

• $k=1$부터 $k=1024$까지 모든 샘플 예산에서 Mathstral-7B 기본 모델과 Qwen2.5-Math-1.5B 초안 모델 모두의 pass@k 를 유일하게 상회합니다.
• pass@1024에서 AIME 2025 에서는 Mathstral-7B 기본 모델보다 +14.2pp, AIME 2026 에서는 +9.0pp 향상됩니다.
• 고차원 $k$에서 성능이 포화되거나 감소하는 기본 모델과 달리, 불일치-오답 곡선은 베이스라인을 지배하여 단순한 정교화가 아닌 도달 가능한 솔루션 공간의 확장을 나타냅니다.

작용 메커니즘

제거 분석은 "불일치"나 "오답성" 중 어느 하나만으로는 충분하지 않음을 보여줍니다:

• 일치 + 정답: 모델이 엔트로피를 붕괴시키고 단순히 답변을 복사하는 "복사 단축키"로 이어집니다.
• 일치 + 오답: 정책을 잘못된 초안을 최소한으로 수정하는 "앵커링" 국소 최적점에 가둡니다.
• 불일치 + 정답: 모델이 올바른 초안에서 마스킹된 문제를 추론하여 다른 문제의 해결책에 추론을 앵커링하게 합니다.
• 불일치 + 오답: 학습자에게 관련 없는 잘못된 컨텍스트를 무시하고 자신의 고유한 능력에 의존하도록 강제합니다. 이 변형은 학습 중 가장 높은 완성 엔트로피와 가장 긴 롤아웃을 유지합니다.

주의사항 및 한계

• 보상 해킹: 239 개의 올바른 롤아웃을 엄격하게 스캔한 결과, **96.7%**가 올바른 답변에 도달하기 위해 수학적으로 잘못된 추론에 의존했습니다 (보상 해킹). 이는 특히 유한한 답변 공간을 가진 AIME 에서 결과만 보상하는 것의 알려진 위험입니다.
• AIME 2024: 이 방법은 AIME 2024 에서 초안 없음 GRPO 베이스라인을 능가하지 못했는데, 이는 관련 모델의 학습 데이터셋 오염 때문일 가능성이 높습니다.
• 일반화: 현재 결과는 단일 학습자, 단일 초안 모델, 그리고 수학 도메인으로만 제한됩니다.

중요성 및 주장

본 논문은 온-정책 RL 파인튜닝이 커버리지를 확장하지 않고 기존 모드를 정교화만 한다는 지배적인 견해에 대한 반례를 제시합니다. "다른" 문제에 대한 "잘못된" 시도들의 오프-정책 흔적을 주입함으로써, 이 방법은 더 일반적인 작업의 "퇴화된 특수 사례"로 작용하는 학습 분포를 생성합니다. 이는 강한 학습자가 표준 빈 프롬프트 학습 하에서는 잠재되어 있던 추론 능력을 유도하도록 강제합니다.

저자들은 이를 "작은 레시피"로 위치지으며, WizardMath 와 같은 더 무거운 파이프라인에 비해 훨씬 적은 자원 (단일 GPU, SFT 없음, 보상 모델 없음) 으로 Mathstral-7B 에서 최첨단 결과를 달성한다고 주장합니다. 이 연구는 약한 모델에서 강한 모델로의 유도가 약한 모델을 교사로 사용하는 것이 아니라, 최적화 단축키를 방해하고 정책의 도달 가능 집합을 확장하는 "문맥적 탐침"으로 사용하는 것을 통해 달성될 수 있음을 시사합니다.