ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning

기술 요약: ReDiPPO: 수학적 추론을 위한 참조 가이드형 가치 보정 및 불일치 인지 토큰 재가중치 부여

문제 정의
검증 가능한 보상을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 수학적 추론 능력을 향상시키는 지배적인 패러다임이 되었습니다. 이 환경에서 모델은 긴 추론 궤적을 생성하며, 자동 검증기는 최종 답변에 따라 이진 결과 보상을 할당합니다. GRPO, DAPO, GSPO와 같은 크리틱 프리(critic-free) 방식은 균일한 응답 수준의 어드밴티지를 할당함으로써 가치 추정 오류를 피하지만, 정답과 오답 사이의 중간 추론 단계를 구분하는 능력은 부족합니다. 반면, 근사 최적화(PPO)는 학습된 크리틱을 통해 토큰 수준의 신용 할당(credit assignment)을 수행할 수 있는 잠재력을 제공합니다. 그러나 긴 호라이즌과 희소한 종단 보상이 특징인 수학적 추론에서 표준 크리틱은 중간 상태를 정확하게 평가하는 데 어려움을 겪습니다. 부분적인 궤적을 평가하는 동안 참조 정답(reference answer)에 접근할 수 없기 때문에, 표준 크리틱은 종종 노이즈가 섞인 어드밴티지 추정치를 생성하여 하위 최적의 정책 업데이트를 초래합니다. 또한, 기존 PPO 기반 RLVR 시스템은 비대칭성을 보입니다. 즉, 참조 정답이 종단 보상을 결정하지만, 토큰 수준의 신용 할당을 담당하는 크리틱에게는 참조 정답이 제공되지 않습니다.

방법론: ReDiPPO
저자들은 추론 시의 정책 인터페이스를 변경하지 않으면서 토큰 수준의 신용 할당을 개선하도록 설계된 프레임워크인 ReDiPPO(Reference-guided and Discrepancy-aware PPO)를 제안합니다. 이 방법은 두 가지 주요 메커니즘을 통해 작동합니다:

1. 참조 가이드형 가치 보정 (Reference-Guided Value Calibration):
   ReDiPPO는 훈련 중에 이중 크리틱 구조를 채택합니다.

• 표준 크리틱 ($V^{std}$): 정책 모델과 동일한 조건인 프롬프트와 부분 응답(partial response)만을 사용하여 부분 추론 상태를 평가하며, 참조 정답에는 접근하지 않습니다.
• 참조 가이드형 크리틱 ($V^{ref}$): 프롬프트, 부분 응답, 그리고 참조 정답(훈련 시 특권 신호로 제공됨)을 조건으로 합니다. 이를 통해 크리틱은 부분 궤적이 정답 솔루션과 일치하는지 더 정확하게 평가할 수 있습니다.
  참조 가이드형 크리틱는 액터의 어드밴티지($\hat{A}^{ref}_t = G - V^{ref}_t$)를 계산하기 위한 베이스라인을 제공하며, 정책 자체는 프롬프트 전용 상태를 유지하여 특권 정보가 생성 과정에 유출되지 않도록 보장합니다.

2. 불일치 인지 토큰 재가중치 부여 (Discrepancy-Aware Token Reweighting):
   프레임워크는 두 크리틱 간의 불일치를 신뢰도의 신호로 활용합니다.

• 불일치 계산: 각 토큰에 대해 표준 크리틱과 참조 가이드형 크리틱의 절대적 차이($e_{i,t} = |v^{ref}_{i,t} - v^{std}_{i,t}|$)를 계산합니다. 큰 불일치는 참조 정보를 모르는 크리틱이 불확실하거나 오류를 범할 가능성이 높은 상태임을 나타냅니다.
• 재가중치 부여: 이 불일치는 정규화 및 클리핑(clipping) 과정을 거쳐 토큰 수준의 가중치($w_{i,t}$)를 생성합니다. 이후 참조 가이드형 어드밴티지는 PPO 목적 함수에 사용되기 전에 이 가중치에 의해 스케일링됩니다 ($\tilde{A}_{i,t} = \text{Whiten}(w_{i,t} \cdot \hat{A}^{ref}_{i,t})$). 이 메커니즘은 참조 정보가 가치 평가를 크게 변화시키는 상태의 토큰에 업데이트를 강조함으로써, 표준 크리틱으로부터 발생하는 노이즈 섞인 추정치의 영향을 효과적으로 줄입니다.

주요 기여

• 참조 가이드형 가치 보정: 희소한 보상 하에서 부분 솔루션을 평가하는 어려움을 해결하기 위해, 참조 정답을 훈련 시 특권 정보로 활용하여 더 정보가 풍부한 토큰 수준 어드밴티지 베이스라인을 구축하는 크리틱을 도입했습니다.
• 불일치 인지 토큰 재가중치 부여: 참조 가이드형 크리틱과 표준 크리틱 간의 불일치를 경계가 있는 토큰 수준 가중치로 변환하는 새로운 메커니즘을 통해, 표준 가치 추정이 신뢰할 수 없는 추론 상태에 적응적으로 집중할 수 있도록 합니다.
• 실증적 검증: 이 방법은 6개의 수학적 추론 벤치마크(AIME 2024/2025/2026, HMMT 2025, Minerva Math, OlympiadBench)와 3개의 서로 다른 정책 백본(Qwen3-4B-Instruct, Qwen3-4B-Thinking, OLMo3-7B-Instruct)을 통해 평가되었습니다.

실험 결과
ReDiPPO는 크리틱 프리 방식(DAPO, GSPO) 및 바닐라 PPO를 포함한 강력한 베이스라인들을 일관되게 능가했습니다.

• 성능 향상: 세 가지 백본 모두에서 ReDiPPO는 가장 높은 평균 정확도를 달 기록했습니다. 구체적으로, 바닐라 PPO 대비 1.19에서 2.37 퍼센트 포인트의 성능 향상을 보였습니다. 예를 들어, Qwen3-4B-Instruct 백본의 경우 평균 점수가 53.66(Polo)에서 56.03(ReDiPPO)으로 증가했습니다.
• 크리틱 품질: 훈련 역학 분석 결과, 참조 가이드형 크리틱은 표준 크리틱에 비해 현저히 높은 **경로 선택 정확도(PSA)**와 **설명 분산(EV)**을 달성했습니다.
• 불일치 분석: 연구에 따르면 높은 참조-표준 불일치와 어려운 추론 궤적(긴 길이 및 낮은 정확도) 사이에 강한 상관관계가 있음이 밝혀졌습니다. 또한, 참조 조건화에 따른 가치 추정 이득은 추론 궤적의 후반 단계에서 가장 두드러지게 나타났으며, 이는 단일한 글로벌 난이도 점수보다 토큰 수준의 재가중치 접근 방식이 타당함을 입증합니다.

의의 및 주장
본 논문은 ReDiPPO가 추론 시의 정책 능력을 저해하지 않으면서 훈련 시의 특권 정보로서 참조 정답을 효과적으로 활용함으로써, 긴 호라이즌의 수학적 추론에서 신뢰할 수 있는 토큰 수준의 신용 할당이라는 핵심 과제를 해결한다고 주장합니다. 저자들은 자사의 접근 방식이 더 정보가 풍만한 크리틱 베이스라인을 제공하고, 신뢰할 수 없는 신용 할당을 식별하고 재가중치 부여하는 견고한 메커니즘을 제공한다고 단언합니다. 이 연구는 참조 가이드형 가치 학습을 활용하는 것이, 특히 결과 검증은 가능하지만 중간 단계 평가가 모호한 영역에서 PPO 기반 RLVR의 유망한 방향임을 시사합니다. 저자들은 고유하고 규칙으로 검증 가능한 정답이 없는 도메인에서도 이 방식이 전이될 수 있는지 여부가 여전히 열려 있는 과제라고 언급했습니다.