기술 요약: XRPO – 표적 탐색과 활용을 통한 GRPO 의 한계 돌파

1. 문제 제기

강화 학습과 검증 가능한 보상 (RLVR) 및 그룹 상대적 정책 최적화 (GRPO) 에 힘입어 최근 대규모 언어 모델 (LLM) 추론 분야에서 이루어진 진전은 효율성과 품질 측면에서 지속적인 병목 현상에 직면해 있습니다. 저자들은 기존 접근법 (예: GRPO, GSPO) 에서 두 가지 주요 한계를 식별했습니다.

1. 가치 있는 롤아웃의 미흡한 탐색: 현재 방법론들은 일반적으로 정적 롤아웃 할당 (예: 프롬프트당 고정된 수, 예를 들어 16 개의 롤아웃 생성) 을 사용합니다. 이러한 균일한 분포는 고 보상 분산을 가진 프롬프트로부터의 학습 신호를 희석시키고, 종종 가장 어려운 질문인 "정확도 0%" 프롬프트를 미탐색 상태로 방치합니다. 이러한 어려운 프롬프트는 모델의 능력 한계를 확장하는 데 결정적이므로, 이를 무시하거나 (일부 동적 샘플링 방법이 행하는 것처럼) 폐기하는 것은 모델이 성능 한계를 돌파하는 것을 방해합니다.
2. 궤적 신호의 미흡한 활용: 표준 규칙 기반 보상 (예: 이진 0/1) 은 다양한 롤아웃 간의 차이를 무너뜨립니다. 모델이 올바른 응답을 생성하더라도, 추론 경로의 복잡성이나 확률에 관계없이 보상 신호는 동일합니다. 이러한 희소성은 표면적으로 유사한 성공과 실패를 구분하는 모델의 능력을 억제하며, 생성 궤적에 내재된 풍부한 정보를 활용하지 못하게 하여 동질화되고 하위 최적인 행동으로 이어집니다.

2. 방법론: XRPO 프레임워크

XRPO(eXplore–eXploit GRPO) 는 탐험과 활용의 균형을 잡는 원칙적인 관점을 통해 정책 최적화를 재정의합니다. 식별된 한계를 해결하기 위해 세 가지 핵심 메커니즘을 도입합니다.

A. 계층적 롤아웃 계획 (탐험)

정적 할당 대신 XRPO 는 불확실성 감소와 탐험 보너스에 기반하여 롤아웃 예산을 적응적으로 할당하는 수학적으로 정립된 계층적 롤아웃 플래너를 도입합니다.

• 불확실성 인식: 플래너는 추가 롤아웃이 통계적 불확실성을 최대한 감소시키는 프롬프트에 우선순위를 부여합니다. 이는 추정된 평균 보상에 대한 Student's t-신뢰구간의 반폭을 사용하여 정량화됩니다.
• 탐험 보너스: 희소하게 샘플링되거나 어려운 프롬프트를 소홀히 하는 것을 방지하기 위해, 우선순위 점수에 탐험 보너스를 추가하여 고분산 프롬프트를 활용하는 것과 미샘플링된 프롬프트를 탐색하는 것 사이의 균형을 장려합니다.
• 단계적 할당: 이 전략은 단계별로 작동합니다. 초기 기본 롤아웃 수로 기준 신호를 설정한 후, 남은 예산을 계산된 우선순위 점수에 비례하여 동적으로 분배하는 라운드가 이어집니다.

B. 대칭성 깨기를 위한 ICL 시딩 (탐험)

모든 롤아웃이 실패하여 "영보상 대칭성"이 발생하는 문제를 해결하기 위해 XRPO 는 맥락 내 학습 (ICL) 시딩을 통합합니다.

• 메커니즘: 모든 롤아웃이 실패하는 프롬프트의 경우, 시스템은 훈련 중 모델 자체에 의해 생성된 검증된 성공 롤아웃의 진화하는 코퍼스에서 선별된 예시를 검색하여 맥락으로 주입합니다.
• 목표: 이는 검색 공간을 일시적으로 확장하여 희소 보상 하에서는 접근할 수 없었던 추론 전략에 모델이 접근할 수 있게 합니다. 영보상 그룹의 대칭성을 깨뜨려 이전에 해결 불가능했던 프롬프트에 대한 정책 개선을 가능하게 합니다.
• 코퍼스 관리: ICL 코퍼스는 비어 있는 상태로 초기화되며, 온-정책 성공 사례로 점진적으로 채워져 외부 교사 없이 정책과 함께 자연스럽게 진화합니다.

C. Novelty-Guided Advantage Sharpening (활용)

성공적인 궤적의 활용도를 극대화하기 위해 XRPO 는 이점 추정을 선명하게 하기 위한 시퀀스 수준의 Novelty(새로움) 측정치를 도입합니다.

• Novelty 정의: Novelty 는 롤아웃의 길이 정규화 로그 가능도가 그룹 평균에서 벗어난 정도로 정의됩니다. 모델의 현재 분포 하에서 비정형적 (낮은 확률) 인 올바른 응답은 "Novel"한 것으로 간주됩니다.
• 이점 형성: 전체 보상을 받는 롤아웃의 경우, 해당 롤아웃이 Novel 한 경우 (즉, 그룹 평균보다 낮은 확률을 가질 때) 표준 GRPO 이점에 엔트로피에서 영감을 받은 보너스가 추가됩니다.
• 효과: 이 메커니즘은 낮은 확률이지만 올바른 응답을 증폭시켜, 모델이 다양한 추론 경로를 탐색하도록 장려하고 익숙하지만 하위 최적인 패턴으로의 조급한 수렴을 방지합니다. 추가 롤아웃 없이 효율적으로 작동합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장합니다.

1. Novel Hierarchical Rollout Exploration: 불확실성 감소와 탐험 보너스에 기반하여 자원을 적응적으로 할당하는 플래너와, 어려운 프롬프트에서 영보상 대칭성을 깨뜨리기 위한 ICL 시딩을 결합한 접근법.
2. Novelty-Guided Advantage Sharpening: 시퀀스 가능도를 활용하여 희귀하고 올바른 추론 경로를 구분하고 보상함으로써 일반화를 개선하고 보상 동질화를 상쇄하는 메커니즘.
3. Comprehensive Evaluation: 다양한 수학 및 코딩 벤치마크에서 기존 최첨단 베이스라인 (GRPO, GSPO, DAPO, TreePO) 보다 XRPO 가 우월함을 입증한 광범위한 실험.

4. 실험 결과

저자들은 Qwen3-1.7B, Qwen2.5-7B-Instruct, Llama-3.2-3B 모델을 AIME, HMMT, BRUMO, MATH, Codeforces, LiveCodeBench 등의 벤치마크에서 평가했습니다.

• 성능 향상: XRPO 는 기존 진보된 방법들보다 일관되게 우수한 성과를 거두었습니다.
  • Qwen3-1.7B 에서 GSPO 대비 pass@1 에서 최대 4% 의 절대적 향상과 cons@32 에서 6% 의 향상을 달성했습니다.
  • Llama-3.2-3B 에서 어려운 수학 벤치마크 (AIME, BRUMO) 의 평균 성능이 개선되었습니다.
  • 제거 실험 (Ablation studies) 은 ICL, Advantage Sharpening, Hierarchical Planning 중 어떤 구성 요소라도 제거하면 성능이 저하됨을 확인하여 전체 프레임워크의 필요성을 검증했습니다.
• 훈련 효율성: XRPO 는 GRPO 대비 2.7 배 훈련 수렴을 가속화했습니다. 예를 들어, MATH 데이터셋에서 XRPO 는 450 단계에서 75% 정확도에 도달한 반면, GRPO 는 약 1,200 단계가 필요했습니다.
• 추론 효율성: 이 프레임워크는 자연스럽게 더 간결한 추론으로 이어졌습니다. 모델이 컨텍스트 제약 내에서 유효한 솔루션을 더 효율적으로 찾도록 학습함에 따라, Qwen3 의 경우 평균 생성 길이가 34.7% 감소했고 Qwen2.5 의 경우 6.17% 감소했습니다.
• 오버헤드: 이 방법은 계산 오버헤드를 거의 증가시키지 않았습니다 (단계당 지연 시간 약 4.7% 증가). ICL 코퍼스 로딩과 이점 형성은 최소한의 시간만 추가했습니다.

5. 중요성과 주장

본 논문은 XRPO 를 RLVR 에서 탐험과 활용을 체계적으로 재균형화하는 원칙적인 프레임워크로 위치시킵니다. 그 중요성은 다음과 같습니다.

• 능력 한계 돌파: ICL 시딩을 통해 "영보상" 어려운 프롬프트를 구체적으로 타겟팅하고 해결함으로써, XRPO 는 모델이 현재 의사결정 경계를 넘어설 수 있게 합니다. 이는 표준 정적 또는 단순 동적 샘플링 방법으로는 달성하기 어려운 성과입니다.
• 효율적인 자원 활용: 수학적으로 정립된 적응형 롤아웃 할당이 트리 기반 검색이나 과도한 샘플링과 관련된 막대한 계산 오버헤드 없이 우수한 결과를 낼 수 있음을 입증합니다.
• 일반화 가능성: 이 프레임워크는 최근 최적화 진보 (예: GSPO 를 보완함) 와 호환되며, 다양한 모델 크기와 도메인 (수학 및 코드) 에서 효과적으로 작동합니다.

저자들은 한계를 지적했는데, 구체적으로 300B+ 파라미터 규모의 매우 대규모 모델에서는 방법을 평가하지 않았으며, ICL 코퍼스가 현재 외부 교사 모델 대신 모델 자신의 성공 사례에 의존한다는 점입니다. 그러나 결과는 XRPO 가 더 안정적이고 빠른 RLHF 수렴을 위한 견고한 경로를 제공함을 시사합니다.