Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization

기술 요약: 추론을 위한 모멘텀: 정책 최적화에서의 조밀한 내재적 신호 (Momentum for Reasoning: Dense Intrinsic Signals in Policy Optimization)

문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 긴 추론 사슬을 유도하기 위한 지배적인 패러다임이 되었으며, 주로 그룹 상대 정책 최적화(GRPO)를 사용합니다. 그러나 이진 결과 보상(정답/오답)에 대한 의존은 훈련 효율성과 추론 품질을 저해하는 두 가지 구조적 실패 모드를 유발합니다:

1. 제로-어드밴티지 붕괴 (Zero-Advantage Collapse): 한 그룹의 롤아웃(rollout) 내에서 모든 궤적(trajectory)이 동일한 결과(예: 모두 정답 또는 모두 오답)를 공유할 경우, 그룹 상대 어드밴티지는 0이 됩니다 ($\sigma_R = 0$). 이는 그래디언트 소실을 초래하여 전체 그룹의 계산 노력을 낭비하게 만듭니다. 이러한 현상은 훈련이 진행됨에 따라 프롬프트가 포화되거나(쉬운 프롬프트), 해결되지 않은 상태로 남을 때(어려운 프롬프트) 점점 더 빈번하게 발생합니다.
2. 환각된 확신 (Hallucinated Certainty): 훈련 후기 단계에서, 모델의 정책 엔트로피는 고위험 결정 토큰에서도 오답 롤아웃에 대해 감소합니다. 모델은 "확신에 찬 오답"을 내놓으며 잘못된 추론 패턴을 고착화합니다. 이진 보상은 확신에 찬 오류와 망설이는 오류를 구분할 수 없으므로, 이러한 특정 병리 현상을 처벌하는 데 실패합니다.

두 모드 모두의 근본 원인은 이진 결과 보상이 궤적이 성공했는지 여부만을 나타낼 뿐, 어떻게 정답에 도달했는지에 대한 정보는 제공하지 않아 정책에 프로세스 수준의 신호를 남기지 못한다는 점에 있습니다.

방법론: ISPO (Intrinsic Signal Policy Optimization)

저자들은 GRPO에 대한 보상 수준의 증강 기법인 ISPO를 제안합니다. 이는 사고 과정(thinking trace)으로부터 완전히 계산되는 두 가지 내재적 신호를 사용하여 희소한 결과 보상을 조밀하게 만듭니다. 이 방식은 외부 보상 모델이나 프로세스 주석을 필요로 하지 않습니다.

1. 시퀀스 수준 신호: 조건부 IFD (Conditional IFD)

제로-어드밴티지 붕패를 해결하기 위해, ISPO는 사고 궤적($T$)이 최종 정답($A$)을 얼마나 잘 설명하는지를 측정하는 시퀀스 수준의 신호를 도입합니다.

• 정의: 조건부 지시 이행 난이도(Conditional Instruction Following Difficulty, IFD)는 사고 과정을 포함했을 때와 포함하지 않았을 때의 정답 예측 로그 확률 차이로 정의됩니다:
  $$\text{IFD}_{\text{cond}}(\tau) = \frac{1}{|A|} [\log p_\theta(A|Q, T) - \log p_\theta(A|Q)]$$
• 이론적 보장: 저자들은 이 항의 기댓값이 조건부 쿨백-라이블러(KL) 발산 $D_{KL}(p_\theta(\cdot|Q, T) \parallel p_\theta(\cdot|Q))$와 같음을 증명합니다. 이 항등식은 결과 보상이 균일하더라도($\sigma_{\text{outcome}}=0$), 사고 과정이 서로 다르다면 합성 보상의 분산이 0이 아님($\sigma_R > 0$)을 공식적으로 보장하며, 이를 통해 그래디언트를 보존합니다.

2. 토큰 수준 신호: 방향성 셰이핑 (Directional Shaping)

환각된 확신 문제를 해결하기 위해, ISPO는 "핵심 토큰(critical tokens)"의 부분 집합에 제한된 미세한 결과 조건부 토큰 수준 보상을 추가합니다.

• 핵심 토큰 선택: 다음 두 가지 필터의 교집합을 통해 토큰을 선택합니다:
  1. 엔트로피 필터 ($\mathcal{A}$): 높은 국소 불확실성(상위 $k\%$ 엔트로피)을 가진 토큰을 선택합니다.
  2. 드리프트 필터 ($\mathcal{C}_\Delta$): 현재 정책이 동결된 베이스 정책으로부터 크게 벗어난 토큰을 선택합니다.
     이 교집합은 불확실하면서도 RL에 의해 능동적으로 형성된 토큰을 격리하여, 높은 레버리지를 가진 결정 지점을 찾아냅니다.
• 방향성 보상:
  • 정답 롤아웃: 핵심 토큰에서 낮은 퍼플렉시티(높은 확률)를 보상하여 유창한 실행을 강화합니다.
  • 오답 롤아웃: 높은 엔트로피를 보상합니다. 결정적으로, 힌지 페널티(hinge penalty) $\max(0, \tau_H - H_t)$가 낮은 엔트로피를 가진 토큰에 적용됩니다. 이는 "확신에 찬 오답"(오답 경로에서의 낮은 엔트로피)을 비대칭적으로 처벌하는 반면, 불확실한 오답 토큰은 상대적으로 영향을 받지 않게 하여 환각된 확신 체제를 직접 겨냥합니다.

3. 합성 보상 (Composite Reward)

최종 보상 $R(\tau)$는 이진 결과 $R_o$와 내재적 신호들을 결합합니다:
$$R(\tau) = R_o + \lambda_1 (2R_o - 1) \text{IFD}_{\text{cond}}(\tau) + \lambda_2 R_{\text{token}}(\tau)$$
부호 인자 $(2R_o - 1)$는 강한 사고-정답 의존성이 정답일 때는 보상받고, 오답일 때는 처벌받도록 보장합니다.

주요 기여

1. 실패 모드의 공식화: 본 논문은 제로-어드밴티지 붕괴와 환각된 확신을 이진 결과 기반 RLVR의 구조적 실패로서 공식적으로 식별하고 분석했습니다.
2. 내재적 신호 설계: 조건부 KL 항등식을 갖는 시퀀스 수준의 Conditional IFD와 힌지(hinge)를 적용한 토큰 수준의 방향성 보상을 통합한 ISPO를 제안했습니다.
3. 그래디언트 보존의 이론적 증명: ISPO가 제로-어드밴티지 배치에서도 비제로(non-zero) 그래디언트를 보존하여, 표준 GRPO가 버리는 학습 데이터를 "잠금 해제"함을 증명하는 명제를 제공합니다.
4. 경험적 우수성: 다양한 모델 규모와 벤치마크에서 일관된 성능 향상을 입증했습니다.

실험 결과

저자들은 세 가지 Qwen2.5 베이스 모델(1.5B, 7B Math, 7B General)을 다섯 가지 수학적 추론 벤치마크(AIME24, AIME25, AMC23, MATH-500, OlympiadBench)에서 평가했습니다.

• 성능: ISPO는 경쟁력 있는 베이스라인들(Vanilla GRPO, Dr. GRPO, PACR, Scaf-GRPO, PREPO 포함)을 지속적으로 능가했습니다.
  • Qwen2.5-Math-7B에서 ISPO는 평균적으로 **55.4%**의 Pass@1을 달성하여, 가장 강력한 베이스라인인 Scaf-GRPO(51.3%)보다 4.1포인트 앞섰습니다.
  • 가장 큰 이득은 제로-어드밴티지 붕괴가 가장 빈번한 가장 어려운 벤치마크(AIME24/AIME25)에서 관찰되었습니다. 예를 들어, 7B 모델의 AIME24에서 ISPO는 Scaf-GRPO의 43.3%에 비해 **48.9%**를 기록했습니다.
• 효율성: ISPO는 GRPO가 버렸을 배치에서 그래디엔트를 회복했습니다. Vanilla GRPO는 제로 어드밴티지로 인해 약 24.7%의 롤아웃을 버린 반면, ISPO는 단 ~4.4%의 실제 실행 시간(wall-clock) 오버헤드(정답 전용 확률을 위한 추가 순전파 1회 발생)만으로 100%의 유용한 롤아웃을 유지했습니다.
• 다중 샘플 평가: pass@32 평가에서 ISPO는 상당한 개선(예: ProGRPO 대비 AIME24 pass@32에서 +13.7%)을 보여주었으며, 이는 ISPO가 샘플 수준의 다양성을 성공적으로 보존하고 확신에 찬 오답으로의 붕괴를 방지함을 나타냅니다.
• 절제 연구 (Ablation Studies): Conditional IFD나 방향성 토큰 셰이핑 중 하나라도 제거하면 성능 저하가 발생하여, 두 구성 요소가 모두 필요함을 확인했습니다. 엔트로피와 드리프트 필터의 교집합을 사용하는 것이 각각을 단독으로 사용하는 것보다 우수함이 입증되었습니다.

의의 및 주장

본 논문은 ISPO가 모델 자신의 확률 표면을 조밀한 정보원으로 활용함으로써 RLVR의 근본적인 한계인 희소한 이진 보상을 해결한다고 주장합니다. 저자들은 이러한 조밀한 내재적 신호를 "추론을 위한 모멘텀"으로 규정하며, 이는 결과 그래디언트가 사라지는 곳에서도 학습이 계속되도록 유지합니다.

이 연구의 의의는 다음과 같습니다:

1. 학습 안정화: 제로-어드van티지 붕괴를 방지함으로써, ISPO는 어려운 프롬프트(종종 모든 그룹이 오답인 경우)가 버려지지 않고 지속적으로 학습 신호를 제공하도록 보장합니다.
2. 병리 현상 교정: 확신에 찬 오류를 명시적으로 처벌함으로써, ISPO는 "환각된 확신" 실패 모드를 완화하여 더욱 견고한 추론 궤적을 이끌어냅니다.
3. 직교적 통합: 이 방법은 롤아웃 생성 과정이나 외부 보상 모델의 변경 없이도 기존의 옵티마이저 수준의 개선 및 데이터 큐레이션 전략과 직교적으로 결합하여 RLVR 파이프라인을 일반화하여 개선할 수 있습니다.

저자들은 이 접근 방식이 현재 검증 가능한 결과가 있는 작업에 국려되어 있으며, 주로 Qwen2.5 모델을 이용한 수학적 추론 작업에서 검증되었다는 한계점을 언급했습니다.