기술 요약: RLVE – 적응형 검증 가능 환경을 통한 언어 모델용 강화 학습의 스케일링 업

1. 문제 정의

정적 데이터 분포에 의존하는 대규모 언어 모델(LM)의 강화 학습(RL) 스케일링은 두 가지 주요 병목 현상에 직면해 있습니다:

1. 데이터 수집 비용: 검증 가능한 보상 계산을 위한 정답(ground-truth)이 포함된 대규모 데이터셋을 확보하는 것은 비용이 많이 들고 한정적입니다.
2. 학습 신호 소멸: 정적 문제 분포는 종종 학습 정체를 유발합니다. 문제가 너무 쉬우면 의미 있는 학습 신호를 제공하지 못하고, 너무 어려우면 일관되게 낮은 보상을 산출하여 경사 하강 기반의 업데이트를 방해합니다. 정책 모델(policy model)이 개선됨에 따라, 정적 분포는 결국 사소하게 쉽거나 부적절하게 어려워져 학습 효율이 떨어지거나 완전히 멈추게 됩니다.

기존 방식들은 문제 분포가 미리 결정되어 있고 정적인 고정 데이터셋에 의렴하는 경우가 많아, 진화하는 정책 모델의 역량에 대응하지 못합니다.

2. 방법론: RLVE 및 RLVE-GYM

본 논문은 정책의 현재 역량에 맞춰 난이도를 동적으로 조절하는, 절차적으로 생성된 검증 가능한 환경을 활용하여 LM RL 학습을 확장하도록 설계된 프레임워크인 **RLVE (Reinforcement Learning with Adaptive Verifiable Environments)**를 소개합니다.

2.1 검증 가능한 환경 (Verifiable Environments)

검증 가능한 환경은 튜플 $E = (I, P, R)$로 정의됩니다:

• 입력 템플릿 ($I$): 구조화된 프롬프트 형식.
• 문제 생성기 ($P$): 템플릿으로부터 특정 문제를 인스턴스화하기 위해 매개변수를 절차적으로 샘플링하는 프로그램.
• 검증기 ($R$): 모델의 출력을 사전 계산된 솔루션과 비교하는 대신, 문제 제약 조건에 따라 출력을 검증하여 보상을 계산하는 알고리즘 함수.

결정적으로, 이러한 환경은 **해결-검증의 비대칭성(solving-verification asymmetry)**을 활용합니다. 환경은 LM이 코드를 실행할 수 없더라도 출력을 검증하기 위해 프로그램을 실행할 수 있습니다 (예: 스도쿠 그리드가 유효한지 또는 정렬 결과가 올-바른지 확인). 어떤 경우에는 (예: NP-완전 문제) 복잡한 솔버(solver)를 구현하는 것보다 검증이 계산적으로 훨씬 더 쉽기 때문에, 복잡한 솔버 없이도 보상을 얻을 수 있습니다.

2.2 적응형 난이도 메커니즘 (Adaptive Difficulty Mechanism)

RLVE는 각 환경에 대해 동적인 난이도 범위 $[\ell_\pi, h_\pi]$를 유지합니다.

• 초기화: 범위는 가장 단순한 난이도 수준($\ell_\pi = h_\pi = 0$)에서 시작합니다.
• 샘플링: 학습 중에 난이도 레벨 $d$가 $[\ell_\pi, h_\pi]$에서 균등하게 샘플링됩니다.
• 적응: 시스템은 현재 상한선인 $h_\pi$에서 생성된 문제에 대한 모델의 정확도를 추적합니다. 만약 정확도가 임계값 $\tau_{acc}$ (예: 90%)를 최소 샘플 크기 $\tau_{num}$ 동안 초과하면, 상한선이 증가합니다 ($h_\pi \leftarrow h_\pi + 1$).
• 슬라이딩 윈도우: 범위가 너무 넓어져서 모델이 지나치게 쉽거나 불가능할 정도로 어려운 문제에만 노출되는 것을 방지하기 위해, 하한선 $\ell_\pi$는 슬라이딩 윈도우 크기 $d_\Delta$를 사용하여 조정됩니다. 이는 모델이 지속적으로 "적절히 도전적인" 문제에 노출되도록 보장합니다.

2.3 RLVE-GYM

이를 구현하기 위해 저자들은 수동 환경 엔지니어링을 통해 개발된 400개의 검증 가능한 환경 세트인 RLVE-GYM을 구축했습니다. 이 환경들은 특정 실제 작업을 직접 모방하기보다는 추론 능력(예: 정렬, 적분, 논리 퍼즐)을 개발하기 위한 교육적 도구로 설계되었습니다. 이 스위트는 프로그래밍 경진 대회 문제, 수학 연산, 최적화 문제, 고전 알고리즘, 논리 퍼즐 등 다양한 소스를 포함합니다.

2.4 학습 알고 알고리즘

이 프레임워크는 사용되는 특정 RL 알고리즘에 구애받지 않습니다. 저자들은 동적 샘플링을 사용하는 DAPO(GRPO의 변형)를 채택합니다. 이들은 학습 효율성을 측정하기 위해 "유효 프롬프트 비율(effective prompt ratio)"을 정의합니다: 이는 동적 샘플링 후 동일하지 않은 보상을 산출하는 프롬프트의 비율입니다. 높은 비율은 난이도가 정책과 잘 맞음을 나타냅니다.

3. 주요 기여

1. 적응형 검증 가능 환경: 문제 난이도 분포가 정책 성능에 따라 동적으로 변화하여, 정적 데이터셋의 고질적인 문제인 "신호 소멸" 문제를 방지하는 방법론을 제안했습니다.
2. RLVE-GYM: 확장이 가능한 학습 데이터 소스로서 기능하는, 수동으로 설계된 400개의 검증 가능한 환경 세트를 구축했습니다.
3. 환경 스케일링: 단일 환경의 데이터 양을 늘리는 것보다 학습 환경의 컬렉션을 확장하는 것(환경 차원 스케일링)이 일반화된 추론을 위해 더 중요하다는 것을 입증했습니다.
4. 비용 효율적 스케일링: 거대한 정적 인간 큐레이션 데이터셋으로 학습하는 것보다 훨씬 낮은 계산 및 금융 비용으로 우수한 성능을 달리는 프레임워크를 제시했습니다.

4. 실험 결과

저자들은 6개의 추론 벤치마크(수학, 코드 생성, 논리 추론 포함)를 사용하여 두 가지 시나리오에서 RLVE를 평가했습니다.

4.1 데이터 포화 시나리오 (Data-Saturation Scenario)

• 설정: 대규모 RLVR 데이터셋(ProRL)에서 약 20,000 H100 GPU 시간 후에 이미 포화 상태에 도달한 강력한 1.5B 추론 모델인 ProRL-1.5B-v2에서 시작합니다.
• 비교: 원래의 ProRL 데이터셋에서 RL 학습을 계속하는 것 vs. 400개의 모든 RLVE-GYM 환경에서 공동 학습하는 것.
• 결과: RLVE는 6개 벤치마크에서 3.37% 절대 평균 향상을 달ucceeded했습니다. 반면, 원래의 RL 학습을 계속했을 때는 더 많은 컴퓨팅 자원(3,600 vs. 약 1,100 H100 GPU 시간)을 사용했음에도 불구하고 단 0.49%의 이득만을 얻었습니다.

4.2 컴퓨팅 제한 시나리오 (Compute-Constrained Scenario)

• 설정: 이전의 추론 RL 경험이 없는 강력한 SFT 모델인 OpenThinker3-1.5B에서 시작합니다.
• 비교: RLVE(400개 환경)로 학습하는 것 vs. 고품질 수학 특화 RLVR 데이터셋인 DeepMath-103K로 학습하는 것.
• 결과: RLVE는 비수학적 벤치마크(LiveCodeBench, BBEH)와 대부분의 수학적 벤치마크에서 DeepMath-103K보다 높은 성능을 달성하며 일관되게 이를 능가했습니다. 특히, DeepMath-103K는 명시적으로 수학을 위해 설계된 반면, RLVE는 벤치마크별 데이터가 필요하지 않았습니다.
• 비용 효율성: 저자들은 DeepMath-103K를 구축하는 데 약 138,000달러와 127,000 GPU 시간이 소요된 반면, RLVE-GYM은 더 강력하고 일반화된 추론을 위한 더 비용 효율적인 경로를 제공한다고 언급했습니다.

4.3 구성 요소 분석

• 적응형 vs. 정적: 실험 결과, 정적 난이도 분포는 (최대 난이도가 너무 낮으면) 조기 포화를 초래하거나 (범위가 너무 넓지만 적응되지 않으면) 비효적인 학습을 초래했습니다. 적응형 난이도는 높은 유효 프롬프트 비율과 우수한 성능을 유지했습니다.
• 환경 스케일링: 학습 환경의 수를 늘리는 것(1개에서 4개, 16개, 256개로)은 OOD(Out-of-Distribution) 성능을 지속적으로 향상시켰으며, 이는 환경의 다양성이 일반화된 추론의 핵심 동력임을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 **환경 엔지니어링(environment engineering)**이 피처, 데이터, 프롬프트 엔지니어링만큼 LM 개발의 근간이 되고 있다고 주장합니다. RLVE의 의의는 다음과 같습니다:

• 데이터 포화를 넘어선 RL 스케일링: 거대한 고품질 정적 데이터셋에서 이미 포화된 모델에서도 추가적인 개선을 가능하게 합니다.
• 지속적인 학습 신호 제공: 난이도를 동적으로 조절함으로써 모델이 항상 자신의 역량 경계에서 작동하도록 보장하여 정적 분포의 비효율성을 피합니다.
• 확장 가능하고 비용 효율적인 대안 제공: 절차적으로 생성된 적응형 환경이 값비싼 수동 큐레이션 데이터셋보다 뛰어날 수 있음을 보여주며, 모든 문제에 대한 정답을 수집하는 막대한 비용 없이도 무제한적이고 다양한 추론 작업에 대해 모델을 학습시킬 수 있는 경로를 제시합니다.

저자들은 이 연구를 적응형 환경을 통한 RL 학습 스케일링을 향한 광범위한 노력의 일환으로 위치시키며, 검증 불가능한 환경 및 자동 환경 엔지니어링에 대한 향후 연구를 촉구합니다.