기술 요약: VIGOR – 분산 유도형 온라인 롤아웃 할당 (Variance Guided Online Rollout Allocation)

1. 문제 정의

검증 가능한 보상을 활용한 강화 학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위한 지배적인 패러다임이 되었으며, 그룹 상대 정책 최적화(GRPO)는 이를 구현하는 대표적인 방식입니다. 그러나 GRPO는 다음과 같은 중대한 효율성 및 안정성 문제에 직면해 있습니다:

• 계산 병목 현상: GRPO는 프롬프트당 고정된 다수의 사고 사슬(Chain-of-Thought, CoT) 롤아웃을 생성하는 데 의존합니다. 논문의 실증적 분석에 따르면, 롤아웃 생성은 전체 학습 시간의 최소 50%를 소비하며, 이는 롤아웃 수에 따라 선형적으로 증가합니다.
• 정보성 불일치: 생성된 롤아웃 중 상당수는 정보 가치가 낮으며, 종종 그룹 내에서 보상 분산(reward variance)이 거의 없거나 전혀 나타나지 않습니다. 이러한 샘플들은 미미한 그래디언트 신호만을 제공하여 계산 자원을 낭비합니다.
• 기존 솔루션의 비효전성: 효율성을 개선하려는 기존 전략들은 어려운 프롬프트를 필터링하기 위해 과도한 롤아웃을 생성하거나(높은 오버헤드 발생), 학습 후기 단계에서 역사적 신호에 의존하여 데이터를 필터링합니다. 이러한 접근 방식은 저자들이 최종 성능 향상에 있어 불균형적으로 중요하다고 식별한 초기 학습 단계에서 정보가 풍부한 예시를 우선순위에 두는 데 실패합니다.

2. 방법론: VIGOR

저자들은 기본 GRPO 학습 목적 함수를 수정하지 않고도 적응적으로 롤아웃 예산을 할당하도록 설계된 반복적 데이터 선택 프레임워크인 **VIGOR(VarIance Guided Online Rollout allocation)**를 제안합니다.

핵심 이론적 통찰

이 방법은 GRPO 그래디언트 크기에 관한 이론적 관찰에 근거합니다. 이진 보상 설정(RLVR에서 흔함) 하에서, 저자들은 그래디언트 신호의 크기가 그룹 내 보상 분산($\sigma$)에 의해 직접 제어됨을 증명합니다. 구체적으로, 그래디언트 노름(norm)은 $M\sigma$로 제한되며, 여기서 $M$은 중요도 비율 그래디언트의 상한입니다. 이는 높은 보상 분산을 가진 프로프트가 가장 강력한 학습 신호를 제공하는 반면, 분산이 0인 프롬프트(모든 롤아웃이 동일한 보상을 받는 경우)는 그래디언트 신호를 전혀 제공하지 않음을 의미합니다.

알고리즘 프레임워크

모든 프롬프트에 대해 단일 패스(single pass)로 고정된 수의 롤아웃($G$)을 할당하는 표준 GRPO와 달리, VIGOR는 각 학습 단계 내에서 반복적으로 작동합니다:

1. 초기화: 배치 내 프롬프트들에 대해, VIGOR는 모든 예시에 대해 작은 초기 롤아웃 예산($m_0$)으로 시작합니다.
2. 반복적 정교화: $T$번의 정교화 반복 과정 동안:
   • 생성: 현재 활성화된 프롬프트 서브셋에 대해 새로운 롤아웃을 생성합니다.
   • 분산 추정: 각 프롬프트의 유틸리티 점수는 누적된 롤아웃의 보상 분산으로 계산됩니다.
   • 선택: 가장 높은 분산을 가진 상위-$\alpha$ 비율의 프롬프트를 다음 반복을 위해 유지합니다.
   • 예산 확장: 유지된 프롬프트의 롤아웃 예산은 확장 계수 $\gamma$에 의해 곱해집니다 ($m_{t+1} = \gamma m_t$).
3. 업데이트: 총 예산이 소진되거나 반복이 완료되면, 모든 누적된 롤아웃을 사용하여 어드밴티지(advantage)를 계산하고 표준 GRPO를 통해 정책을 업데이트합니다.

이 프로세스는 계산 자원을 "어렵거나" "불확실한"(고분산) 프롬프트에 효과적으로 집중시키는 동시에, 정보 가치가 낮은 프롬프트의 전체 롤아웃 생성을 조기에 배제함으로써 비용을 절감합니다.

이론적 가속화

저자들은 GRPO 대비 VIGOR의 폐쇄형(closed-form) 가속 비율을 도출합니다. 프롬프트 수준의 보상 분산이 파레토 분포(두꺼운 꼬리 분포)를 따른다고 가정할 때, 학습 시간 비율($\tau_{GRPO} / \tau_{VIGOR}$)은 정교화 단계 수 $T$가 증가함에 따라 커집니다. 이는 VIGOR의 효율성 이득이 가장 정보가 풍부한 데이터 서브셋에 대한 초점을 정교화함에 따라 이론적으로 보장됨을 시사합니다.

3. 주요 기여

• 신호로서의 분산 식별: 본 논문은 보상 분산이 GRPO에서 그래디언트 크기의 직접적인 대리 지표(proxy)임을 확립하여, 분산 유도형 선택에 대한 이론적 근거를 제공합니다.
• VIGOR 알고리즘: 보조 모델, 역사적 데이터 필터링, 또는 GRPO 목적 함수의 수정 없이도 동적으로 롤아웃 예산을 고분산 프롬프트로 전환하는 새로운 온라인 롤아웃 할당 전략을 제시합니다.
• 이론적 분석: VIGOR가 균등 할당보다 우수함을 입증하는 수렴 속도 비율을 도출하며, 특히 추론 작업에서 흔히 나타나는 헤비 테일(heavy-tailed) 분산 분포 하에서 이를 증명합니다.
• 포괄적인 실증적 검증: 다양한 모델 규모(Qwen2.5-1.5B/3B/7B, Phi-4-Mini, Qwen3-8B)를 사용하여 수학적 추론 및 코딩 작업에 걸친 광범위한 실험을 수행했습니다.

4. 실험 결과

저자들은 6개의 수학적 추론 벤치마크와 LiveCodeBench v6에서 VIGOR를 표준 GRPO 및 최첨단 베이스라인(GRESO, RL-ZVP, PODS)과 비교 평가했습니다.

• 수학적 추론:

  • VIGOR는 (Qwen2.5-3B 기준) GRPO, GRESO, RL-ZVP에 비해 최대 2.3배 적은 롤아웃만으로 목표 정확도에 도달합니다.
  • 롤아웃 수를 동일하게 맞춘 공정한 비교 조건에서도, VIGOR는 테스트된 4개 모델 규모 모두에서 가장 우수한 평균 점수를 기록했습니다.
  • 약 2배의 롤아웃 예산을 사용하는 GRESO-g와 비교하더라도, VIGOR는 대부분의 벤치마크에서 더 높은 평균 점수를 달성했습니다.

• 코딩 (LiveCodeBench v6):

  • Qwen3-8B에서 VIGOR는 GRPO의 최종 풀 패스율(full pass rate)에 도달하는 데 1.49배 적은 롤아웃(32.9% 감소)을 사용합니다.
  • VIGOR는 GRPO 대비 평균 테스트 통과율을 3.4 퍼센트 포인트 향상시켰습니다 (63.4%에서 66.8%로).

• 효율성 및 오버헤드:

  • 실제 실행 시간(Wall-clock time) 측정 결과, VIGOR는 동일한 롤아웃 예산에서 베이스라인 GRPO와 비교했을 때 추가적인 시간 오버헤드가 발생하지 않았습니다.
  • VIGOR는 필터링을 위해 추가 롤아웃 생성이 필요한 GRESO보다 현저히 빠릅니다.
  • 절제 연구(Ablation studies)를 통해 분산 기반 선택이 무작위 선택이나 난이도 기반 선택보다 우수함을 확인하여 이론적 동기를 검증했습니다.

5. 의의 및 주장

본 논문은 VIGOR가 RLVR 학습의 효율성을 개선하기 위한 단순하면서도 효과적인 메커니즘을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 초기 단계 최적화: 온라인 분산 신호에 따라 자원을 적응적으로 할당함으로써, VIGOR는 가장 중요한 초기 학습 단계에서 가장 정보가 풍부한 예시에 계산 자원을 활용하도록 보장하며, 이는 역사 의존적 방법들의 핵심적인 한계를 해결합니다.
• 패러다임 보존: 학습 목적을 변경하거나 복잡한 보조 신호를 요구하지 않는 VIGOR는 표준 GRPO 프레임워크 내에서 작동하므로 통합이 용이합니다.
• 확장성: 이 방법은 다양한 모델 크기와 작업 도메인(수학 및 코딩)에서 견고한 성능을 보여주며, 분산 유도형 반복 롤아웃 생성이 계산 효율적인 추론을 위한 일반화 가능한 전략임을 시사합니다.

저자들은 VIGOR가 RLVR 스케일링을 위한 유망한 방향이며, 모델이 훨씬 적은 계산 예산으로 더 높은 성능을 달성할 수 있게 한다고 결론짓습니다.