GRLO: Towards Generalizable Reinforcement Learning in Open-Ended Environments from Zero

기술 요약: GRLO – 제로에서 시작하는 오픈엔디드 환경의 일반화 가능한 강화 학습을 향해

문제 제기
최근 대규모 언어 모델 (LLM) 의 사후 학습 (post-training) 기술 발전은 주로 두 가지 패러다임으로 양분되었습니다: 인간의 피드백을 통한 강화 학습 (RLHF) 은 인간의 선호도를 최적화하는 반면, 검증 가능한 보상을 통한 강화 학습 (RLVR) 은 수학 및 코드와 같은 도메인의 정확성을 최적화합니다. RLVR 은 특정 추론 작업에서 뛰어난 효율성과 성능을 입증했지만, 상당한 한계를 겪고 있습니다: 계산 비용이 매우 높고, 검증 가능한 정답 신호에 크게 의존하며, 일반적인 대화 능력으로의 전이가 약합니다. 반면, 표준 RLHF 는 대규모 도메인별 데이터를 필요로 하며 명시적인 추론 흔적 없이는 광범위한 추론 능력을 유도하는 데 어려움을 겪습니다.

이 연구가 다루는 핵심 문제는'도메인 커버리지 격차'입니다: 현재 방법론들은 검증 가능한 도메인에 심하게 특화되어 (일반 대화 능력 상실) 있거나, 광범위한 능력을 달성하기 위해 막대한 계산 예산을 요구합니다. 더 나아가, 검증 불가능한 오픈엔디드 환경에서 수행된 강화 학습이 이후 도메인별 미세 조정 없이도 하류 추론 및 코드 생성 작업으로 암묵적으로 전이되는 일반 대화 능력을 unlocking 할 수 있는지 여부는 여전히 불분명합니다.

방법론: GRLO
저자들은 GRLO(오픈엔디드 환경에서의 일반화 가능한 강화 학습) 를 제안합니다. 이는 최적화기 (optimizer) 가 아닌 학습 환경에 초점을 이동시키는 학습 레시피입니다. 새로운 알고리즘적 최적화기를 도입하는 대신, GRLO 는 작고 선별된 오픈엔디드 프롬프트 풀에 표준 RLHF 스타일 최적화 (구체적으로 PPO) 를 적용합니다.

• 학습 환경: 저자들은 과학적 분석, 논증적 종합, 개념적 설명, 장문 추론을 포함한 다양하고 인지적으로 요구가 높으며 대부분 검증 불가능한 도메인을 아우르는 약 5,000 개의 합성 프롬프트 풀을 구성했습니다. 주제 감사를 통해 이 풀이 수학 중심이 아니라 정책, 역사, 생의학, 기술, 인문학을 포괄함이 확인되었습니다.
• 최적화: 정책은 사전 학습된 베이스 모델 (예: Qwen3-4B-Base) 에서 초기화되며, 학습된 보상 모델 (Skywork-Reward-V2) 과 KL 정규화 목적 함수를 사용하여 PPO 로 최적화됩니다. 핵심적으로, 학습 분포 ($D_{open}$) 는 정밀한 검증이 불가능한 오픈엔디드 프롬프트로 구성되며, 이는 RLVR 에서 사용되는 검증 가능한 분포 ($D_{ver}$) 와 대조됩니다.
• 가설: 중심 가설은 소수의 오픈엔디드 상호작용을 기반으로 모델을 최적화하면 사전 학습된 능력을 더 잘 활용하도록 출력 분포를 재구성하여, 수학 추론 및 코드 생성과 같은 하류 작업으로 암묵적으로 전이되는 일반 대화 능력을 향상시킬 수 있다는 것입니다.

주요 기여

1. 도메인 내 RL 의 재평가: 이 논문은 하류 전이의 주요 원천으로서 도메인 내 RL 학습의 필요성에 도전하며, 오픈엔디드 RL 이 실용적이고 경량화된 대안이 될 수 있는지 평가합니다.
2. 경량화된 일반화: 저자들은 단일 단계의 오픈엔디드 RL(GRLO) 이 추론, 코드 생성, 일반 대화 성능을 동시에 향상시킬 수 있음을 입증합니다. 이 접근법은 훨씬 더 많은 데이터 (46 배 적음) 와 계산 자원 (68 배 적음) 을 사용하는 강력한 자원 집약적 도메인 내 RLVR 베이스라인 (General-Reasoner 등) 과 비교 가능한 집계 성능을 달성합니다.
3. 체계적 분석: 이 연구는 스케일링 행동, Qwen 및 Llama 아키텍처 간 교차 가족 전이, 응답 길이에 대한 상세한 분석을 제공하여, 관찰된 성취가 단순히 verbosity(장황함) 의 산물이 아니라 향상된 의사 결정 품질과 응답 조직화에서 비롯됨을 명확히 합니다.

실험 결과
저자들은 Qwen3-4B, Qwen3-8B, Qwen2.5-3B, Llama3.2-3B 를 포함한 여러 백본에서 GRLO 를 평가했습니다.

• Qwen3-4B 성능: Qwen3-4B 백본에서 GRLO 는 추론 (Math500, GPQA), 코드 생성 (HumanEval, MBPP), 일반 대화 (AlpacaEval 2 LC) 의 평균 성능을 베이스라인 24.1 에서 63.1 로 증가시켰습니다. 이 결과는 공식 Qwen3-4B(Non-Thinking) 사후 학습 모델과 거의 일치하며, 훈련 자원의 일부만 사용했음에도 집계 지표에서 General-Reasoner-4B 베이스라인을 능가합니다.
• 구체적 향상: 베이스 모델 대비 GRLO 는 Math500 을 73.6 에서 79.2 로, HumanEval 을 6.1 에서 84.8 로, AlpacaEval 2 LC 를 1.6 에서 45.8 로 향상시켰습니다.
• 교차 모델 일관성: Qwen3-8B(평균 점수 33.7 에서 67.3 로 상승) 와 Llama3.2-3B(21.5 에서 39.3 로 상승) 에서도 유사한 경향이 관찰되어, 다양한 모델 패밀리 간 방법론의 견고성을 나타냅니다.
• Ablation 연구: 실험 결과, 오픈엔디드 프롬프트 대신 도메인 내 수학 프롬프트를 RL 에 사용했을 경우 수학 점수는 약간 향상되었으나 대화 전이는 심각하게 저하되었습니다. 또한, 오픈엔디드 환경에서 PPO 를 GRPO 로 교체하면 하위 최적 결과가 도출되어, 오픈엔디드 환경과 PPO 의 조합이 결정적임을 확인했습니다.
• 보조 RLVR: 이후 도메인 내 RLVR 단계는 평균 점수를 Qwen3-4B 기준 63.1 에서 63.2 로 소폭만 증가시켰으며, 개선은 주로 더 어려운 경쟁식 수학 벤치마크 (AIME) 에서 관찰되었습니다. 이는 광범위한 전이는 초기 오픈엔디드 단계에 의해 주도되며, RLVR 은 어려운 검증 가능 작업을 위한 전문화된 정제 단계로 작용함을 시사합니다.
• 효율성: 훈련에는 5,000 개의 프롬프트와 22.7 개의 GPU 시간이 소요되었습니다. 출력 길이 분석 결과, GRLO 모델들은 장황한 추론 흔적에 의존한 베이스라인에 비해 더 짧고 고품질의 응답을 생성함이 밝혀졌습니다.

의의 및 주장
이 논문은 GRLO 가 광범위한 능력을 갖춘 사후 학습 모델을 구축하기 위한"간단하고 효율적인 레시피"를 제공한다고 주장합니다. 그 주요 의의는 오픈엔디드 RL 이 훨씬 더 무겁고 검증자 기반 훈련 파이프라인에 일반적으로 귀속되는 광범위한 이득의 상당 부분을 회복할 수 있음을 입증하는 데 있습니다.

저자들은 RL 이 적용되는 환경이 특정 최적화기나 데이터 규모보다 더 중요한 요소라고 주장합니다. 인지적으로 요구가 높은 오픈엔디드 환경으로 RL 을 이동시킴으로써, 모델들은 명시적인 도메인별 감독 없이도 추론 및 코딩 기술을 암묵적으로 습득할 수 있습니다. 이는 고성능 추론을 위해서는 대규모 도메인별 RLVR 예산이 필요하다는 지배적인 관념에 도전하며, 대신'제로'에서 시작하는 경량화된 오픈엔디드 RL 단계가 일반화 가능한 능력을 unlocking 하기에 충분함을 시사합니다. 이 연구는 이후 도메인 내 RLVR 단계가 어려운 벤치마크에서의 성능을 더 특화시킬 수 있지만, 근본적인 광범위한 전이는 오픈엔디드 상호작용 자체를 통해 달성됨을 결론지었습니다.