기술적 요약: 부정적 롤아웃을 넘어선 암시적 부정적 기울기를 통한 긍정-전용 정책 최적화

문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 특히 수학 분야에서 대형 언어 모델 (LLM) 의 추론 능력을 향상시키는 지배적인 패러다임으로 부상했습니다. 그룹 상대적 정책 최적화 (GRPO) 와 같은 현재 최첨단 접근 방식들은 이점 (advantages) 을 추정하기 위해 그룹화된 긍정적 (정답) 및 부정적 (오답) 롤아웃들을 비교하는 데 의존합니다. 그러나 본 논문은 오답들을 명시적인 학습 신호로 취급하는 데 근본적인 한계가 있음을 지적합니다:

1. 등급 부재: 이진 보상 설정 (예: 정답 시 $R(x,y)=1$, 그렇지 않으면 $0$) 에서 모든 오답은 동일하게 취급됩니다. "약간 틀린" 답변과 "완전히 터무니없는" 답변을 구별하는 내재적 신호가 존재하지 않습니다.
2. 결합적 광활성: 복잡한 작업 (예: 올림피아드 수준의 수학) 에 대한 오답의 공간은 결합적으로 광활합니다. 몇 가지 샘플링된 부정적 롤아웃에 페널티를 부과하는 것은 희소한 이진 보상 하에서 의미 있는 실패 모드를 포괄하거나 견고한 보상 신호를 제공하는 데 드물게 효과적입니다.
3. 비효율성: 본 논문은 정책 개선이 성공 사례만을 강화함으로써만 달성될 수 있는지, 그리고 BYOL 및 SimSiam 과 같은 긍정적 샘플만을 사용하여 효과적인 표현을 학습하는 대비적 자기지도 학습 (SSL) 방법들과의 유사점을 들어 의문을 제기합니다.

방법론: 긍정-전용 정책 최적화 (POPO)

저자들은 명시적 부정적 롤아웃 없이 긍정적 롤아웃 (정답) 만으로부터 학습하면서 부정적 결과를 암시적으로 처리하는 새로운 온-정책 RL 프레임워크인 POPO를 제안합니다. 이 프레임워크는 기울기 안내를 위한 분리된 부정적 롤아웃 없이 작동합니다.

핵심 구성 요소

1. 자기 정규화 중요도 샘플링:
   가치 네트워크나 그룹 상대적 이점을 사용하는 대신, POPO 는 긍정적 롤아웃 집합 $S^+(x)$ 위에 경계된 중요도 샘플링 가중치를 적용합니다. 긍정적 응답 $y$에 대한 가중치는 다음과 같이 정의됩니다:
   $$w_\theta(y|x) = \frac{\pi_\theta(y|x)}{Z_+(x)}, \quad \text{where } Z_+(x) = \sum_{y' \in S^+(x)} \pi_\theta(y'|x)$$
   이는 "신뢰도 높은" 정답이 더 강하게 강화되는 반면, 정규화는 다양성을 유지하는 자기 경쟁 메커니즘을 생성합니다.

2. 암시적 부정적 기울기:
   본 논문은 명시적 부정적 페널티가 불필요함을 보여주는 이론적 증명 (정리 3.1) 을 제공합니다. 소프트맥스 제약 ($\sum \pi_\theta(y|x) = 1$) 으로 인해 긍정적 응답의 확률을 높이는 것은 내재적으로 부정적 응답의 확률을 감소시킵니다. 기울기 분석은 손실 함수가 부정적 로짓 $y' \in S^-(x)$ 에 대해 엄격히 양의 기울기를 유도하여 암시적인 "확률 세금" 및 엔트로피 기반 페널티로 작용함을 보여줍니다.

3. 적응형 시아메스 앵커:
   분포 불일치나 과적합을 초래할 수 있는 참조 모델 없이 학습을 안정화하기 위해, POPO 는 시아메스 네트워크 아키텍처를 채택합니다:

   • 정책 네트워크 ($\pi_\theta$): 최적화 중인 활성 네트워크.
   • 시아메스 네트워크 ($\pi_\xi$): 정책 매개변수의 지수 이동 평균 (EMA) 을 통해 업데이트되는 타겟 네트워크: $\xi \leftarrow \tau \xi + (1-\tau)\theta$.
   • 표현 공간 정렬: 고분산 및 토큰 민감성이 될 수 있는 표준 KL-발산 대신, POPO 는 예측기 헤드와 코사인 유사성을 사용하여 정책 네트워크와 시아메스 네트워크의 숨겨진 표현을 의미적 임베딩 공간에서 정렬합니다. 이는 부드럽고 경계된 제약으로 작용합니다.

4. 손실 함수:
   총 손실은 긍정적 샘플에 대한 가중치 부여된 음의 로그 가능도 (NLL), 표현 공간 유사성, 그리고 엔트로피 정규화를 결합합니다:
   $$L_{POPO} = -\mathbb{E} \left[ \sum_{y \in S^+(x)} w_\theta(y|x) \log \pi_\theta(y|x) \right] + \alpha L_{sim} + \beta L_{ent}$$

주요 기여

• 패러다임 전환: 부정적 샘플이 효과적인 정책 최적화에 필수적이라는 관례에 도전하며, 오직 온라인 긍정적 롤아웃을 통해서만 RLVR 학습이 발생하는 프레임워크를 도입합니다.
• 이론적 정당성: 확률 재분배와 엔트로피 정규화에서 자연스럽게 발생하는 암시적 부정적 기울기의 존재를 증명하여 명시적 부정적 샘플링의 필요성을 제거합니다.
• 안정화 메커니즘: KL-발산을 대체하고 정책 붕괴 및 무제한 이동을 방지하기 위해 모멘텀 기반 적응과 표현 공간 유사성을 갖춘 시아메스 아키텍처를 제안합니다.
• 경계된 중요도 샘플링: 강화 강도와 다양성을 균형 있게 맞추기 위해 긍정적 집합에 대한 자기 정규화 가중치 체계를 활용합니다.

실험 결과

저자들은 훈련을 위해 DeepScaleR-Preview-Dataset을 사용하여 POPO 를 평가했으며, MATH-500, AMC 2023, AIME 2024, AIME 2025, OlympiadBench라는 다섯 가지 수학 벤치마크에 걸쳐 성능을 테스트했습니다.

• 테스트된 모델: 실험은 Qwen2.5-Math 계열 (1.5B, 7B), DeepSeek-R1 증류 모델, 그리고 범용 LLM (Llama-3.1-8B, DeepSeek-Math-7B) 을 포함한 다양한 기반 모델에서 수행되었습니다.
• 성능:
  • POPO 는 대부분의 벤치마크에서 GRPO 및 그 변형 (Dr. GRPO, DAPO, SAPO) 과 비교해 동등하거나 더 우수한 성능을 달성했습니다.
  • 주목할 만한 결과: Qwen-Math-7B를 사용한 AIME 2025 벤치마크에서 POPO 는 **36.67%**를 기록하여 GRPO(30.00%) 를 능가했습니다.
  • OlympiadBench에서 Qwen-Math-7B 를 사용할 때, POPO 는 GRPO 의 56.38% 에 비해 **57.27%**에 도달했습니다.
• 절대 연구:
  • 부정적 롤아웃을 제거하고 (균일 가중치 사용) 자기 정규화 가중치 재분배를 없애면 성능이 크게 저하되어 그 필요성을 확인했습니다.
  • 모멘텀 적응이나 표현 공간 정렬을 제거하면 불안정성과 성능 저하가 발생하여 안정화 메커니즘의 유효성을 입증했습니다.
• 일반화: POPO 는 수학 특화 모델과 범용 LLM 모두에서 잘 작동하는 모델-중립적 이점을 보여주었습니다.

의의 및 주장

본 논문은 부정적 롤아웃 없이 효과적으로 작동하는 RLVR 의 새로운 방향을 확립했다고 주장합니다. 저자들은 희소한 이진 보상 환경에서 실패의 결합적 특성으로 인해 명시적 부정적 페널티는 비효율적이며 잠재적으로 노이즈가 많을 수 있다고 논합니다. 확률 재분배를 통한 암시적 부정적 기울기를 활용하고 표현 공간 정렬을 통해 정책을 안정화함으로써, POPO 는 현재 GRPO 기반 방법들에 대한 견고한 대안을 제공합니다.

저자들은 희소한 이진 보상에 대한 현재 초점 (많은 실제 작업은 밀집된 보상을 가짐), 텍스트 기반 수학 추론에 대한 검증만 수행됨, 그리고 7B 파라미터 이하의 모델에 대한 테스트 제한을 포함한 한계를 지적합니다. 향후 연구는 부정적 샘플을 위한 적응형 롤아웃 분할 탐색과 코드 생성 및 다중 모달 추론으로의 확장을 다룰 것이라고 제안합니다.