기술 요약: 계획 안내를 통한 선택적 오프폴리시 참조 튜닝 (SORT)

1. 문제 정의

검증 가능한 보상을 통한 강화 학습 (RLVR), 특히 그룹 상대적 정책 최적화 (GRPO) 는 긍정적인 결과를 산출하는 샘플링된 솔루션을 강화함으로써 언어 모델의 추론 능력을 향상시켰습니다. 그러나 GRPO 는 모든 샘플링된 롤아웃이 잘못된 "난이도 높은 프롬프트"에서 치명적인 실패 모드를 겪습니다. 이러한 시나리오에서는 보상에 변동성이 전혀 없기 때문에 (모두 0 임) 그룹 상대적 이득이 0 으로 수렴하며, 프롬프트는 정책 경사 업데이트에 대해 보이지 않게 됩니다.

이러한 0 보상 프롬프트는 종종 가장 유익한 학습 신호입니다. 왜냐하면 이러한 프롬프트에는 누락된 추론 구조를 포함하는 검증된 참조 솔루션이 동반되기 때문입니다. 그러나 균일한 지도 미세 조정 (SFT) 이나 전체 궤적 모방과 같은 참조 활용을 위한 표준 접근 방식은 핵심 추론 결정과 routine 대수, 포맷팅, 표면적 문구를 혼합하기 때문에 실패합니다. 이러한 균일한 모방은 추론 정확도를 향상시키지 못한 채 정책 붕괴나 장황함을 초래할 수 있습니다. 기존 안내 방법들은 종종 롤아웃 분포를 변경하거나 외부 교사에 의존하여 복잡성이나 분포 이동을 초래합니다.

2. 방법론: SORT

저자들은 0 보상 GRPO 그룹을 위해 특별히 설계된 보조 복구 메커니즘인 **계획 안내를 통한 선택적 오프폴리시 참조 튜닝 (SORT)**을 제안합니다. SORT 는 주요 GRPO 롤아웃 생성 과정을 수정하지 않고 작동합니다.

핵심 메커니즘

1. 버퍼링 및 연기: 프롬프트가 잘못된 롤아웃만 생성할 때 (0 보상 그룹), 이는 폐기되지 않습니다. 대신 프롬프트와 해당 검증된 참조 솔루션이 버퍼에 저장됩니다.
2. 계획 추출: 버퍼된 각 예제에 대해 현재 모델이 참조 솔루션에서 "추론 계획"을 추출합니다. 이 계획은 키 추론 결정 (예: 보조 정리, 경우 분할, 제약 조건 전파) 의 순서화된 개요이지만, 생성을 위한 목표 시퀀스로는 사용되지 않습니다.
3. 이중 평가 (진단 컨텍스트): 모델은 동일한 정책 하에서 참조 토큰을 두 번 평가합니다.
   • 기본 조건: 문제 프롬프트만을 고려하여 토큰 확률을 계산합니다.
   • 계획 조건 (교사) 조건: 문제 프롬프트 및 추출된 추론 계획을 고려하여 토큰 확률을 계산합니다.
4. 토큰 중요도 점수화: 이 방법은 계획 조건 확률과 기본 확률 간의 로그 비율을 계산합니다. 계획 조건 하에서 확률이 크게 증가하는 토큰은 "구조적으로 유익한" 것으로 식별됩니다 (즉, 모델이 놓쳤지만 구조가 명시적이라면 학습할 수 있는 추론 단계를 나타냄). routine 토큰 (대수, 포맷팅) 은 거의 변화가 없습니다.
5. 기하학적 가중치: SORT 는 기하 평균 가중치를 사용하여 보조 손실을 구성합니다:
   $$\omega_{i,t} = \text{sg}\left(\sqrt{p^{\text{base}}_{i,t} \cdot p^{\text{plan}}_{i,t}}\right)$$
   이 가중치는 동적 미세 조정 (DFT) 에서의 기본 모델의 지지 안정성과 계획 조건 교사의 선택성을 결합합니다. 계획과 함께 더 예측 가능해지는 토큰은 상향 가중되며, 그렇지 않은 토큰은 하향 가중되거나 변경되지 않습니다.

이론적 보장

저자들은 진리 계획 모델을 사용하여 SORT 를 형식화했습니다. 추출된 계획이 진정한 추론 계획을 근사함에 따라 SORT 가중치가 정확히 구조적으로 중요한 토큰을 강조하는 "오라클" 가중치로 수렴함을 증명했습니다. 후회 상한 (regret bound) 은 계획 추출 오차 ($\gamma$) 와 기본 확률에 비례하는 것으로 나타났으며, 이는 계획 추출이 부실할 경우 방법이 DFT 와 유사한 동작으로 우아하게 저하됨을 보장합니다.

3. 주요 기여

• 0 이득 실패 식별: 이 논문은 그룹 이득이 0 인 0 보상 프롬프트를 GRPO 의 특정 병목 현상으로 식별하고, 롤아웃 생성을 변경하지 않고 이러한 문제를 복구하기 위한 SORT 를 도입합니다.
• 동일 모델 계획 조건: 더 강력한 모델에서 오프폴리시 흔적을 주입하거나 외부 교사를 사용하는 방법과 달리, SORT 는 동일한 모델을 사용하여 계획을 추출하고 참조 토큰을 점수화하여 외부 의존성을 피합니다.
• 기하 평균 토큰 가중치: DFT 스타일의 지지 인식과 계획 조건 선택성을 통합하는 새로운 가중치 체계로, 수학적으로 오라클 구조 토큰 가중치를 근사함이 증명되었습니다.
• 실증적 검증: 다양한 모델 크기와 벤치마크에 걸쳐 GRPO 및 안내 기반 베이스라인보다 일관된 개선을 보여주는 포괄적인 실험.

4. 실험 결과

이 방법은 인-분포 수학 작업 (AIME, AMC, MATH-500) 과 아웃-오브-분포 추론 (GPQA, MMLU-Pro) 을 포함한 8 개의 벤치마크에서 세 가지 지시 튜닝 백본 (Llama-3.2-3B, Qwen2.5-7B, Qwen3-4B) 에서 평가되었습니다.

• 성능 향상: SORT 는 베니 GRPO 및 기타 베이스라인 (LUFFY, ReLIFT, Scaf-GRPO) 보다 일관적으로 우월한 성과를 보였습니다.
  • 가장 약한 모델 (Llama-3.2-3B) 에서 SORT 는 인-분포 평균을 17.8% 에서 23.9% 로, 아웃-오브-분포를 22.5% 에서 33.8% 로 향상시켰습니다.
  • 더 강력한 모델에서도 SORT 는 0 보상 그룹이 덜 빈번할 때에도 유용성을 확인하는 소폭이지만 일관된 개선을 제공했습니다.
• 베이스라인과의 비교:
  • SFT/ReLIFT 대비: 정확도 향상 없이 응답 길이와 장황함을 증가시키는 경우가 많았던 SFT 나 ReLIFT 와 달리, SORT 는 추론을 강화하면서도 컴팩트한 생성을 유지했습니다.
  • LUFFY 대비: 더 강력한 오프폴리시 흔적을 혼합하는 LUFFY 는 선택성이 낮았으며, 때로는 아웃-오브-분포 작업에서 성능을 저하시켰습니다.
• 학습 역학: SORT 는 다른 방법에서 관찰된 길이 확장 없이 보상 점수를 향상시켰습니다. 이는 전체 궤적을 모방하는 대신 특정 추론 토큰을 대상으로 함으로써 난이도 높은 프롬프트를 효과적으로 복구했습니다.

5. 중요성 및 주장

이 논문은 SORT 가 RLVR 의 근본적인 한계, 즉 탐색이 실패하는 가장 어려운 프롬프트로부터 학습하지 못하는 문제를 해결한다고 주장합니다. 검증된 참조를 복사할 궤적이 아닌 추론 계획에 대한 증거로 간주함으로써, SORT 는 "모든 것이 틀린" 실패를 구조화되고 토큰 선택적인 학습 신호로 변환합니다.

저자들은 SORT 가 원래 GRPO 롤아웃 과정을 보존하는 보수적인 보조 업데이트라고 강조합니다. 이는 외부 교사, 합성 궤적, 또는 추론 분포의 변경을 요구하지 않습니다. 이 방법은 0 보상 그룹이 가장 빈번한 약한 모델들에게 특히 중요하며, 모든 프롬프트에 대해 올바른 롤아웃을 생성하는 계산 비용 없이 추론 능력을 향상시킬 수 있는 경로를 제공합니다. 이 접근 방식은 쉬운 routine 토큰을 과도하게 강조하는 함정을 피하면서 추론의 불확실하고 구조적으로 중요한 단계에 초점을 맞추는 "선택적 형태의 자기 증류"로 규정됩니다.