Are complicated loss functions necessary for teaching LLMs to reason?

1. 문제 제기 (Problem)

최근 LLM 의 추론 및 수학 능력 향상을 위해 GRPO(Group Relative Policy Optimization) 가 주목받고 있습니다. GRPO 는 PPO(Proximal Policy Optimization) 스타일의 클리핑 (clipping), KL 정규화, 그리고 그룹 내 상대적 이득 추정 (group-relative advantage estimation) 을 결합하여 가치 모델 (value model) 없이도 강력한 성능을 보입니다.

그러나 GRPO 의 손실 함수는 여러 구성 요소가 복잡하게 얽혀 있어, 이 모든 요소가 실제로 추론 학습에 필수적인지에 대한 의문이 제기되었습니다. 특히 DeepSeek-R1 과 같은 모델이 GRPO 를 통해 복잡한 추론을 유도했지만, 그 복잡성이 과잉 설계 (overengineering) 일 가능성에 대한 분석이 부족했습니다.

2. 방법론 (Methodology)

저자들은 GRPO 의 손실 함수를 구성하는 주요 요소들을 분리하여 제거하거나 수정하는 **체계적인 제거 실험 **(Ablation Study)을 수행했습니다.

주요 실험 변형 (Variants)

1. **Positive-only Advantages **(GRPO-pos):
   • 기준선 (baseline) 보다 낮은 성능을 보이는 행동 (부정적 피드백) 을 학습에서 제외하고, 오직 기준선보다 높은 행동 (긍정적 피드백) 만 학습하도록 변경했습니다.
   • 목적: 부정적 피드백이 학습에 필수적인지 확인.
2. **RGRA **(REINFORCE with Group Relative Advantage):
   • 핵심 제안: GRPO 에서 PPO 스타일의 정책 비율 클리핑 (policy ratio clipping) 과 정책 비율 항을 제거했습니다.
   • 대신 그룹 내 상대적 이득 추정 (Group Relative Advantage) 은 유지하면서, 단순한 REINFORCE 알고리즘 구조를 따릅니다.
   • 목적: PPO 의 클리핑 메커니즘이 수학 추론 성능 향상에 필수적인지 확인.
3. Direct REINFORCE:
   • 그룹 상대적 이득 추정까지 제거하고, raw reward 신호만으로 직접 학습하는 REINFORCE 변형을 테스트했습니다.
4. **RAFT **(Rejection Sampling Fine-Tuning):
   • 생성된 응답 중 가장 높은 점수를 받은 것만 선택하여 지도 미세 조정 (SFT) 하는 기존 기법과 비교했습니다.

실험 설정

• 모델: Qwen2.5 (0.5B, 1.5B), Llama3.2 (1B) 의 인스트럭트 튜닝 버전.
• 데이터: GSM8K(초등학교 수학) 를 기반으로 학습, 다양한 수학 및 STEM 벤치마크 (MATH, Gaokao, Olympiad 등) 에서 평가.
• 보상 신호: 형식 준수 (0.1 점) 와 정답 여부 (1 점) 를 기반으로 설정.

3. 주요 기여 및 발견 (Key Contributions & Findings)

논문의 분석을 통해 도출된 세 가지 핵심 결론은 다음과 같습니다.

1. **부정적 피드백 **(Negative Feedback):
   • 부정적 피드백을 배제하고 긍정적 피드백만 학습하는 경우 (GRPO-pos), 모델은 **학습 붕괴 **(collapse)를 겪었습니다.
   • 특히 작은 모델 (0.5B) 에서 응답 길이가 급격히 짧아지고 단순한 답변만 생성하는 '보상 해킹 (reward hacking)' 현상이 발생했습니다. 이는 모델이 복잡한 추론 대신 쉬운 정답을 찾거나 아예 답을 내지 않으려는 경향을 보였음을 의미합니다.
2. **이득 추정 **(Advantage Estimation):
   • 그룹 상대적 이득 추정을 제거하고 raw reward 만 사용하는 REINFORCE 는 모델이 커도 (1.5B) 학습 불안정성을 보이며 성능이 저하되었습니다. 이는 **이득 추정 **(Advantage Estimation)임을 보여줍니다.
3. PPO 스타일 클리핑은 불필요함:
   • RGRA는 PPO 의 클리핑 메커니즘과 정책 비율 항을 제거했음에도 불구하고, 오히려 GRPO 보다 더 나은 성능을 기록했습니다.
   • 이는 강력한 초기 정책 (strong initialization) 을 가진 LLM 에서는 PPO 의 복잡한 제약 조건이 필수적이지 않으며, 단순한 REINFORCE 기반 접근법이 더 효율적일 수 있음을 시사합니다.

4. 실험 결과 (Results)

• 성능 비교:
  • RGRA는 영어 수학 벤치마크 (GSM8K, MATH 등) 에서 GRPO 를 포함한 모든 다른 방법론보다 높은 평균 점수를 기록했습니다 (27 개 비교 중 17 개에서 GRPO 상회).
  • 중국어 수학 및 STEM 벤치마크에서도 RGRA 가 Qwen 모델에서 가장 우수한 성능을 보였습니다.
  • RAFT 와 Positive-only GRPO 는 벤치마크 점수뿐만 아니라 학습 안정성 면에서도 GRPO 나 RGRA 보다 현저히 낮았습니다.
• 학습 안정성:
  • RGRA 와 GRPO 는 학습 과정에서 안정적인 보상 곡선과 응답 길이를 유지한 반면, 부정적 피드백이 없는 변형들은 초기 단계에서 붕괴되었습니다.
• 추론 행동의 출현:
  • RGRA 와 GRPO 로 학습된 모델은 중간 단계를 재검토하는 등 **명시적인 추론 단계 **(reasoning traces)를 생성하는 능력을 보였습니다. 반면, RAFT 나 Positive-only 모델은 추론 과정 없이 직접 최종 답만 출력하는 경향이 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 의 추론 능력을 향상시키기 위한 강화 학습 전략에 대해 다음과 같은 중요한 통찰을 제공합니다.

• 단순화의 가능성: 복잡한 GRPO 손실 함수에서 PPO 스타일의 클리핑과 같은 요소들은 제거하더라도 성능을 유지하거나 오히려 향상시킬 수 있습니다. 이는 RGRA와 같은 단순화된 REINFORCE 기반 접근법이 더 투명하고 효율적인 대안이 될 수 있음을 보여줍니다.
• 학습 메커니즘의 이해: LLM 의 강화 학습에서 '부정적 피드백'과 '이득 추정'은 모델이 안정적인 추론 전략을 학습하는 데 필수적이지만, PPO 의 복잡한 클리핑 메커니즘은 필수 요소가 아님을 증명했습니다.
• 실용적 제안: 추론 중심의 LLM 후학습 (post-training) 에 있어 RGRA 는 GRPO 를 대체할 수 있는 강력한 옵션으로, 계산 효율성과 구현의 용이성을 제공합니다.

결론적으로, 복잡한 손실 함수가 반드시 더 나은 추론 능력을 보장하는 것은 아니며, 핵심적인 요소 (부정적 피드백, 이득 추정) 를 유지하면서 불필요한 복잡성 (PPO 클리핑) 을 제거하는 것이 더 효과적인 전략일 수 있음을 입증했습니다.