기술 요약: 정확성 너머: RL 훈련을 통한 과정 및 결과 보상 조화

문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 결과 보상 모델 (ORM) 을 활용하여 추론 작업 (예: 수학, 코딩) 의 최종 답변 정확도를 향상시키는 데 성공을 거두었습니다. 그러나 이 접근법은 근본적인 과정 - 결과 불일치로 고통받습니다. ORM 은 최종 결과만 평가하므로, 결함이 있는 추론이 우연히 올바른 답변을 산출하는 부적합한 성공을 부수적으로 보상하게 됩니다.

이 논문은 유효한 추론 과정을 나타내는 잠재 상태 $z=1$을 정의합니다. 모델이 유효하지 않은 과정 ($z=0$) 을 생성하더라도, 올바른 결과 ($r=1$) 를 산출할 확률 $\epsilon$은 소량 존재합니다. 기대 보상은 $E_\pi[r] \approx (1-\epsilon)\alpha_\pi + \epsilon$로 분해되며, 여기서 $\alpha_\pi$는 유효한 추론을 생성할 확률입니다. $\epsilon(1-\alpha_\pi)$ 항은 "결과 보상 해킹"으로 인한 이득을 나타내며, 여기서 정책은 근본적인 추론의 질 (신뢰성) 을 개선하지 않고 결과 보상의 희소성을 악용하여 보상을 극대화하도록 학습합니다.

또한, 과정 보상 모델 (PRM) 은 단계별 감독을 제공하지만, 이를 직접 최적화하거나 ORM 과 단순하게 혼합하면 불안정성이 발생합니다. PRM 은 종종 오프라인으로 훈련되며 온라인 RL 훈련 중 분포 이동으로 고통받아 희귀하거나 어려운 궤적에 대해 잘못된 판단을 내립니다. 이는 모델이 실제 해결책을 개선하지 않고 평균 과정 점수를 극대화하기 위해 장황하거나 반복적이거나 nonsensical 한 단계를 생성하도록 학습하는 심각한 보상 해킹을 초래할 수 있습니다.

방법론: 과정 일관성 필터 (PROF)

이러한 문제들을 해결하기 위해 저자들은 PRM 점수를 직접 최적화하지 않고 RLVR 에 PRM 감독을 통합하는 데이터 선별 전략인 **PROF(과정 일관성 필터)**를 제안합니다. PROF 는 정책 업데이트 이전에 롤아웃 단계 후 적용되는 필터링 메커니즘으로 작동합니다.

핵심 알고리즘

1. 과잉 샘플링: 정책이 주어진 프롬프트에 대해 $n$개의 응답 (롤아웃) 을 생성합니다.
2. 점수 매기기:
   • 결과 보상 ($r_o$): 검증자로부터 획득 (정답은 1, 오답은 -1).
   • 과정 보상 ($r_h$): 사전 훈련된 PRM 을 통해 각 추론 단계 $h$에 대해 획득.
   • 일관성 점수 ($r_{pro}$): 단계별 PRM 점수를 평균화하고 단계 길이에 기반한 정규화 항을 적용하여 궤적 수준의 점수를 계산합니다. 이 점수는 결과 보상 $r_o$와 곱해집니다.
3. 그룹 분리: 롤아웃은 두 그룹으로 나뉩니다.
   • $G^+$: 정답 응답 ($r_o = 1$).
   • $G^-$: 오답 응답 ($r_o = -1$).
4. 균형 필터링: 최종 배치에서 결과 보상의 분산을 극대화하기 위해 각 그룹에서 유지할 샘플 수 ($k_+$ 및 $k_-$) 를 결정합니다 (정답과 오답 샘플의 비율을 효과적으로 균형 맞춤).
   • $G^+$ (정답) 에 대해: $r_{pro}$로 샘플을 순위 매깁니다. 상위 $k_+$ 샘플 (높은 과정 - 결과 일관성을 가진 것) 을 유지합니다. 이는 결함이 있는 추론에서 도출된 정답을 제거합니다.
   • $G^-$ (오답) 에 대해: 논문은 두 가지 변형을 제안합니다.
     • PROF-POS: 오답 그룹에서 무작위로 $k_-$개의 샘플을 선택합니다.
     • PROF-BOTH: $r_{pro}$로 오답 샘플을 순위 매기고 하위 $k_-$개 (가장 낮은 일관성, 즉 약하거나 존재하지 않는 추론 지지를 가진 오답) 를 유지합니다.
5. 정책 업데이트: 유지된 $m$개의 궤적을 사용하여 정책을 업데이트합니다 (예: GRPO 를 통해).

주요 설계 선택

• 필터링 대 최적화: PROF 는 PRM 을 직접적인 보상 신호가 아닌 선택을 위해 사용하여 노이즈가 많은 과정 점수를 최적화하는 불안정성을 피합니다.
• 별도 순위 매기기: 정답과 오답 그룹을 별도로 순위 매겨 국소적으로 올바른 단계 (높은 PRM 점수를 가질 수 있음) 를 가진 오답 응답이 훈련 신호를 희석하거나 잘못 선호되지 않도록 합니다.
• 정규화: 단계 길이 패널티는 세그먼트가 없거나 과도하게 길고 구조화되지 않은 단계를 가진 샘플이 패널티를 받도록 보장합니다.

주요 기여

1. 추론 질 격차 식별: 저자들은 이론적 분석과 실증적 증거 (Qwen2.5-Math-7B 의 정답 응답 중 26.28% 가 결함이 있는 추론을 포함함을 보여줌) 를 통해 현재 RLVR 이 결과 보상 해킹으로 인해 추론의 신뢰성을 개선하지 못함을 제시합니다.
2. PROF 프레임워크: RLVR 에 과정 감독을 주입하는 견고하고 일관성 기반의 데이터 선별 방법입니다. 이는 상충되는 궤적 (나쁜 추론을 가진 정답 또는 좋은 추론을 가진 오답) 을 필터링하면서도 균형 잡힌 훈련 분포를 유지합니다.
3. 실증적 검증: Qwen 및 LLaMA 모델에 대한 광범위한 실험을 통해 PROF 이 강력한 베이스라인 (GRPO 및 혼합 PRM-ORM 접근법) 에 비해 최종 답변 정확도와 중간 추론 질을 모두 향상시키며, 사전 훈련된 PRM 의 강도에 대한 의존도가 감소함을 입증했습니다.

실험 결과

저자들은 Qwen2.5-Math(1.5B 및 7B) 와 LLaMA-3.2-3B 모델을 사용하여 다섯 가지 벤치마크 (Math500, Minerva Math, Olympiad Bench, AMC2023, AIME2024) 에서 PROF 를 평가했습니다.

• 정확도 향상: PROF 는 표준 GRPO 와 "Blend"(PRM 과 ORM 의 단순 혼합) 베이스라인을 일관되게 능가했습니다.
  • Qwen2.5-Math-7B 에서 PROF-BOTH 는 **51.7%**의 평균 정확도를 달성하여 GRPO(49.9%) 와 Blend(47.3%) 를 능가했습니다.
  • LLaMA-3.2-3B 에서 PROF-POS 는 GRPO 대비 정확도를 1.8% 향상시켰으며, 반면 Blend 방법은 GRPO 보다 성능이 낮았습니다.
• 추론 질:
  • 몬테카를로 추정: PROF 는 모든 벤치마크에서 중간 단계에서 정답에 도달할 확률인 단계 가치 점수가 GRPO 대비 9.2% 에서 37.4% 까지 넓은 격차로 현저히 높았습니다.
  • 결함 감사: Claude Sonnet 4.6 을 사용하여 정답 응답을 감사한 결과, PROF 는 정답 내 결함 있는 추론 비율을 GRPO 의 8% 대비 **6%**로 감소시켰습니다.
• 견고성: PROF 는 약한 PRM(Skywork-PRM-1.5B) 을 사용하더라도 높은 성능을 유지한 반면, Blend 방법의 성능은 크게 저하되었습니다.
• 안정성: 보상 해킹을 나타내는 엔트로피 붕괴와 통제되지 않은 응답 길이 증가로 고통받았던 Blend 방법과 달리, PROF 는 통제된 응답 길이와 점진적인 엔트로피 감소를 유지했습니다.

중요성 및 주장

이 논문은 PROF 가 현재 RLVR 접근법 내재적인 과정 - 결과 불일치에 대한 견고한 해결책을 제공한다고 주장합니다. PRM 의 사용을 직접적인 보상 최적화에서 분리하고 대신 일관성에 기반한 데이터 선별에 사용하는 것으로 PROF 는 다음과 같은 성과를 달성합니다.

• 신뢰할 수 있는 추론: 최종 정확도의 향상이 결과 검증의 허점을 악용하는 것이 아니라 추론 과정의 개선에 의해 주도되도록 보장합니다.
• 일반화 가능성: 이 프레임워크는 모듈식이며 다양한 RL 알고리즘 (예: GRPO, RAFT++) 과 다양한 사전 훈련된 PRM 과 함께 작동하므로, 모든 기본 모델에 대해 작업별 PRM 을 훈련할 필요가 없음을 시사합니다.
• 안전성 및 유용성: Chain-of-Thought(CoT) 추론의 신뢰성과 해석 가능성을 향상시킴으로써, 우연히 맞는 오해를 유발하는 환각을 생성할 위험을 완화하여 추론 작업에서 LLM 의 실용적 유용성과 안전성을 개선합니다.

저자들은 과잉 샘플링 및 필터링으로 인한 증가된 계산 비용과 사전 훈련된 PRM 자체가 편향된 경우 편향 증폭 가능성이라는 한계를 인정합니다. 그들은 추론 질과 효율성 사이의 균형을 맞추고 코딩 및 웹 탐색과 같은 다른 영역으로 방법을 확장하는 향후 작업을 제안합니다.