기술 요약: RLVR 훈련은 최소한만 필요하다: 랭크 1 궤적을 통한 LLM 외삽

문제 제기

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 수학 분야와 같은 영역에서 대형 언어 모델 (LLM) 의 추론 능력을 향상시키는 주된 패러다임으로 부상했습니다. 그러나 표준 RLVR 파이프라인은 계산 비용이 매우 높아 성능이 포화 상태에 도달하기까지 종종 수 일간의 GPU 시간이 필요합니다. 이 과정은 수백 개의 최적화 단계를 거쳐 체크포인트의 궤적을 생성하는 것으로, 비용은 단계 수에 비례하여 선형적으로 증가합니다. 이전 연구들은 RLVR 이 완전히 새로운 능력을 가르치는 것이 아니라 잠재된 행동을 증폭시킨다고 시사하지만, 이러한 매개변수 궤적의 기하학적 구조는 아직 충분히 탐구되지 않았습니다. 핵심 질문은 훈련 역학의 짧은 접두사로부터 미래 RLVR 체크포인트를 예측하여 추가적인 광범위한 훈련의 필요성을 우회할 수 있는지 여부입니다.

방법론: RELEX

저자들은 RLVR 가중치 업데이트의 기하학적 규칙성을 활용하여 미래 체크포인트를 예측하는 훈련 없는 방법인 RELEX(REinforcement Learning EXtrapolation) 를 제안합니다. 이 방법은 RLVR 궤적이 매우 낮은 랭크를 가지며 거의 선형이라는 가설에 기반합니다.

RELEX 파이프라인은 관찰된 첫 번째 $T_{cut}$ 개의 체크포인트 (예: 훈련 단계의 처음 15~20%) 에 적용되는 세 가지 단계로 구성됩니다:

1. 랭크 1 부분공간 추정:
   각 가중치 텐서 $W^{(\ell)}$ 에 대해, 이 방법은 기본 모델에 대한 매개변수 차이 $\Delta \theta_t = \theta_t - \theta_0$ 를 계산합니다. 이러한 차이를 평탄화하여 궤적 행렬 $M^{(\ell)}$ 에 쌓습니다. $M^{(\ell)}$ 에 특이값 분해 (SVD) 를 수행한 후, 가장 큰 특이벡터 $v_1^{(\ell)}$ 을 추출합니다. 이 벡터는 관찰 창 전반에 걸친 매개변수 변화의 지배적인 방향을 정의합니다.

2. 선형 계수 외삽:
   관찰된 차이를 지배적인 특이벡터에 투영하여 스칼라 계수 궤적 $c_t = \langle \text{flatten}(\Delta \theta_t), v_1 \rangle$ 을 얻습니다. 실증 분석에 따르면 이러한 계수는 훈련 단계에 따라 거의 선형적으로 진화합니다 ($R^2 > 0.98$). 관찰된 접두사를 사용하여 이러한 계수에 간단한 선형 회귀 ($c(t) = at + b$) 를 적합시킵니다.

3. 미래 가중치 예측:
   목표 단계 $T$ 에서의 체크포인트를 예측하기 위해, 이 방법은 계수 $\hat{c}_T = aT + b$ 를 외삽하고 가중치 텐서를 $\hat{W}_T = W_0 + \hat{c}_T \cdot v_1$ 로 재구성합니다. 이 과정은 모든 텐서에 대해 반복되어 전체 예측 체크포인트 $\hat{\theta}_T$ 를 구성합니다.

중요하게도 RELEX 는 학습된 예측기가 필요하지 않으며, 추가적인 RLVR 훈련도 필요하지 않고, 폐형 연산 (잘린 SVD 와 최소제곱 적합) 만을 포함합니다.

주요 기여

1. 저랭크 선형성의 실증적 발견: 저자들은 RLVR 가중치 업데이트 궤적이 매우 낮은 랭크를 가지며 예측 가능함을 입증했습니다. 구체적으로, 랭크 1 SVD 근사는 하류 작업과 관련된 매개변수 변화의 대부분을 포착하며, 해당 스칼라 계수는 여러 모델 계열 (Qwen2.5-Math-1.5B, Qwen3-4B-Base, Qwen3-8B-Base) 에서 훈련 단계에 따라 거의 선형적으로 진화합니다.
2. RELEX 프레임워크: 초기 훈련 접두사만을 사용하여 미래 체크포인트를 예측하는 간단하고 계산 효율적인 외삽 방법론을 도입했습니다.
3. 스펙트럼 노이즈 제거 메커니즘: 이 논문은 랭크 1 투영이 "스펙트럼 노이즈 제거기" 역할을 한다는 점을 규명했습니다. 업데이트를 지배적인 부분공간에 투영함으로써, 이 방법은 외삽 중 성능을 저하시킬 수 있는 확률적 최적화 노이즈 (더 높은 랭크 성분에 의해 포착됨) 를 폐기합니다.
4. 최소주의적 충분성: 제거 실험을 통해 부분공간 랭크를 증가시키거나 (예: 랭크 5 또는 랭크 10), 비선형 모델링 (다항식, 신경망) 을 적용해도 추가적인 이득이 없으며 오히려 성능이 저하됨을 확인하여 랭크 1 선형 접근법의 충분성을 검증했습니다.

실험 결과

이 방법은 도메인 내 (MATH) 와 다섯 가지 도메인 외 (OOD) 벤치마크 (AIME 2025/2026, HMMT 2025, OlympiadBench, AMC 2023) 에서 세 가지 Qwen 기반 모델에 대해 평가되었습니다.

• 성능 대비 비용: 전체 RLVR 훈련 비용의 15~20% 만 사용하여 (처음 75~125 단계 관찰), RELEX 는 완전히 훈련된 RLVR 모델과 맞먹거나 초과하는 성능을 보이는 체크포인트를 생성합니다.
  • Qwen2.5-Math-1.5B: RELEX 는 MATH 에서 71.6% 를 달성했습니다 (전체 RLVR 의 71.5% 대비), 5 개 OOD 벤치마크 중 4 개에서 RLVR 보다 우수한 성능을 보였습니다.
  • Qwen3-4B-Base: RELEX 는 MATH 에서 85.6% 를 달성했습니다 (전체 RLVR 의 85.5% 대비).
  • Qwen3-8B-Base: RELEX 는 MATH 에서 87.4% 를 달성했습니다 (전체 RLVR 의 88.5% 대비), 전체 훈련 성능과 1.1% 이내의 차이를 유지했습니다.
• 장기 외삽: RELEX 는 관찰 창을 훨씬 넘어 성공적으로 외삽합니다. 예를 들어, 처음 50 단계만 관찰함으로써 1000 단계까지 (관찰 창의 20 배) 안정적인 예측이 가능했으며, 성능 향상은 계속되었습니다.
• 기선 대비 비교: RELEX 는 가중치 외삽 (원시 가중치 공간의 선형 보간), 로짓 외삽, ExPO, AlphaRL 을 포함한 다른 외삽 기선들을 일관되게 능가했습니다. 가중치 외삽에 대한 우월성은 노이즈를 필터링하는 SVD 단계의 중요성을 강조합니다.

중요성과 주장

이 논문은 RL 훈련이 확률적이고 비볼록한 성질에도 불구하고, 낮은 랭크 매개변수 공간에서 놀라울 정도로 단순한 경로를 형성한다고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

• 효율성: 계산 비용의 일부로 거의 최적의 RLVR 성능을 달성할 수 있는 방법을 제공하여, 재훈련 없이 훈련 단계의 대부분을 "건너뛰는" 효과를 냅니다.
• 이론적 통찰: RLVR 학습의 "신호" 는 단일 지배적인 방향에 집중되어 있으며, 더 높은 랭크 성분은 주로 최적화 노이즈를 나타낸다는 증거를 제공합니다.
• 일반화: 이 방법은 외삽된 체크포인트가 도메인 외 벤치마크에서의 강력한 성능으로 입증된 바와 같이 전이 가능한 추론 이득을 포착함을 보여주며, 모델이 단순히 훈련 분포에 과적합된 것이 아님을 시사합니다.

저자들은 현재 연구가 Qwen 모델을 사용한 수학 추론 작업에 대한 GRPO 로 제한되어 있음을 인정하며 한계를 지적합니다. 그들은 최적의 관찰 창 ($T_{cut}$) 이 모델에 의존적이며, 다른 알고리즘 (예: PPO) 이나 모델 계열로의 더 넓은 일반화를 위해서는 적응형 랭크 선택이 필요할 수 있다고 제안합니다.