기술 요약: 비동기 RLHF를 위한 노후화-학습률 스케일링 법칙 (Staleness–Learning Rate Scaling Laws)

문제 정의

고처리량 강화학습으로부터 인간 피드백을 받는(RLHF) 시스템은 처리량을 극대화하기 위해 롤아웃 생성(rollout generation)과 정책 최적화(policy optimization)를 분리하는 경향이 있다. 비동기 아키텍처에서 학습기(learner)는 잠재적으로 이전 버전의 정책(행동 정책, behavior policy)에 의해 생성된 롤아웃을 사용하여 정책을 업데이트한다. 비동기 훈련은 표준 SGD(여기서 노후화는 유계된 지연으로 모델링됨)에서는 잘 연구되어 왔으나, GRPO와 같은 정책 경사(policy-gradient) 방법론에 내재된 분포 변화(distributional shifts)와의 상호작용은 여전히 명확히 밝혀지지 않았다.

기존의 분산 RL 시스템은 종종 전용 오프-폴리시 교정(예: V-trace)에 의존하거나 노후화를 피하기 위해 동기 방식을 유지한다. 그러나 현대의 GRPO 기반 파이프라인은 명시적인 오프-폴리시 교정보다는 클리핑된 중요도 비율(clipped importance ratios)과 KL 정규화에 주로 의존한다. 결과적으로, 파이프라인의 노후화($S$)와 학습률($\eta$) 사이의 상호작용은 훈련 안정성을 제어하는 주요 레버가 된다. 경험적 관찰에 따르면, 안정적인 개선 단계 이후 급격한 성능 저하가 나타나는 두 단계 패턴이 관찰되는데, 이는 임의적인 불안정성이 아니라 구조화된 실패 레짐(regimes of failure)이 존재함을 시사한다.

방법론

본 논문은 비동기 GRPO에서의 노후화-학습률 상호작용에 대한 국소적 이론 프레임워크를 개발한다.

이론적 프레임워크

1. 행동 정책 인지 공식화 (Behavior-Policy-Aware Formulation): 저자들은 GRPO 대리 목적 함수(surrogate objective)에서 학습기 파라미터($\theta$)와 롤아웃 행동 정책($\phi$)을 명시적으로 분리한다. 이들은 대리 그래디언트 매핑 $H(\theta, \phi)$를 정의하여, 분포 의존적 목적 함수의 전체 미분과 학습기의 업데이트 방향을 구분한다.
2. 편향 분해 (Bias Decomposition): 확률적 그래디언트 $g(\theta_t; B_{\phi_t})$는 세 가지 구성 요소로 분해된다:
   • 온-폴리시 대리 그래디언트 $H_{on}(\theta_t)$.
   • 평균이 0인 샘플링 노이즈 $\xi_t$.
   • 노후화 편향 항 $\delta_t = H(\theta_t, \phi_t) - H(\theta_t, \theta_t)$.
3. 가정: 분석은 세 가지 국소적 가정을 기반으로 한다:
   • 국소 유계성 (Local Boundedness): 유계된 대리 그래디언트 및 업데이트 크기.
     �������* 국소 분포 매끄러움 (Local Distributional Smoothness): 롤아웃 분포 간의 KL 발산은 정책 간 거리의 제곱에 비례함.
   • 행동-정책 매끄러움 (Behavior-Policy Smoothness): 대리 그래디언트의 행동 정책 변화에 대한 민감도가 유계됨.

도출된 스케일링 법칙

• 단계별 노후화 편향 (Per-Step Staleness Bias): 명시된 가정 하에서, 노후된 롤아웃에 의해 유도된 편향 $\delta_t$는 $O(S\eta)$에 따라 스케일링된다(여기서 $S$는 최대 롤아웃 지연, $\eta$는 학습률). 이는 단일 단계 안전 영역 제약 조건인 $S\eta \lesssim C_{safe}$를 도출한다.
• 조건부 붕괴 시간 스케일링 (Conditional Collapse-Time Scaling): 논문은 두 가지 실패 모드를 구분한다:
  1. 국소 노후 롤아웃 조건 (Local Stale-Rollout Condition): 사이클 내 드리프트가 배치 수준의 클리핑 반경($R_{batch}$)을 초과할 경우, 안정성은 명시적으로 $S\eta$에 의존한다.
  2. 호라이즌 수준 드리프트 (Horizon-Level Drift): 국소 조건이 충족될 경우, 붕괴는 누적 학습기 드리프트($T\eta$)가 더 넓은 대리 유효성 반경($R_{crit}$)을 초과할 때 발생한다. 이 레짐에서 붕괴 호라이즌은 $T\eta$에 의해 결정되며, $S$와는 무관하다.

이는 다음과 같은 두 가지 제약 안정성 규칙을 생성한다:
$$\eta \ll \min\left\{ \frac{R_{batch}}{S G_{upd}}, \frac{R_{crit}}{T G_{upd}} \right\}$$

주요 기여

1. 명시적 행동 정책 공식화: 본 논문은 GRPO 대리 그래디언트를 명시적인 행동 정책 인자를 포함하여 정식화함으로써, 대리 그래디언트와 분포 의존적 목적 함수의 전체 미분을 혼동하지 않도록 하였다.
2. 단계별 노후화 편향 경계: 국소 매끄러움 조건 하에서 노후화로 인한 편향이 노후화와 학습률의 곱($O(S\eta)$)에 선형적으로 비례함을 증명하였다.
3. 조건부 붕괴 시간 스케일링: 배치 수준의 클리핑 효과(S에 의존)와 호라이즌 수준의 드리프트(T에 의존)를 구분함으로써 훈련 붕괴에 대한 이해를 정교화하였다.
4. 두 가지 제약 안정성 규칙: 특정 레짐(호라이즌 제한 레짐)에서는 최대 안정 학습률이 노후화에 약하게 의존하는 것처럼 보일 수 있는 이유를 설명하는 실용적인 조건을 제공한다.

실험 결과

저자들은 수학적 추론 작업을 수행하는 Llama-3.2 모델(1B 및 3B 파라미터)을 사용하여 비동기 GRPO로 훈련하며 이론을 검증하였다.

1. 노후화-학습률 트레이드오프: $S \in \{8, 16, 32\}$와 $\eta$를 변화시키며 실험한 결과, 최대 안정 학습률이 노후화에 반비례하여 스케일링됨($\eta_{max} \propto 1/S$)을 확인하였다. 곱 $S \cdot \eta_{max}$가 거의 일정하게 유지됨으로써 국소 노후 롤아웃 제약 조건을 검증하였다.
2. 탈출 시간 스케일링 (Escape-Time Scaling): 붕괴가 발생하는 실행의 경우, 붕괴까지 걸리는 학습기 단계 수($t_{collapse}$)는 $\eta$에만 의존하며 $S$와는 독립적이다. 가중치 동기화 횟수($M_{collapse}$) 측면에서 보면, 관계식 $M_{collapse} \cdot S \cdot \eta \approx \text{const}$가 성립한다. 이는 불안정한 레짐에서 붕괴가 노후화 지연 자체가 아니라 누적 드리프트가 유효성 경계에 도달함에 의해 발생함을 확인시켜 준다.
3. 그래디언트 코사인 유사도 (드리프트 레짐):
   • 불안정한 (탄도적, Ballistic) 실행: 지속적으로 높은 그래디언트 코사인 유사도를 보이며, 이는 노후화 편향 $\delta_t$가 노이즈를 압도하여 유효성 경계를 향한 일관된 선형 드리프트를 유발함을 나타낸다.
   • 안정적인 (확산적, Diffusive) 실행: 거의 0에 가까운 그래디언트 코사인 유사도를 보이며, 이는 제로 평균 샘플링 노이즈 $\xi_t$가 지배적임을 나타낸다. 드리프트는 확산적($\sim\sqrt{t}\eta$)이며, 매우 느리게 축적되어 유효성 경계에 도달하지 않으므로 장기적인 훈련을 가능하게 한다.

의의 및 주장

본 논문은 비동기 RLHF의 안정적인 구조적 레짐을 설명하는 국소적 이론 프레임워크를 제공한다고 주장한다. 주요 의의는 단계별 편향($O(S\eta)$)의 이론적 경계와 학습률 임계값이 노후화와 무관해 보이는 경험적 관찰 사이의 모순을 해결하는 데 있다.

저자들은 일부 사례에서 안정성이 노후화로부터 독립적인 것처럼 보이는 현상이 일반적인 보장이 아니라, 누적 드리프트 제약이 지배하는 특정 레짐(호라이즌 제한 레짐)에서의 특수한 상황이라고 주장한다. 반대로, 국소 노후 롤아웃 레짐에서는 노후화가 핵심적인 제약 조건이다. 본 연구는 새로운 오프-폴리시 교정법을 제안하는 것이 아니라, 기존 GRPO 파이프라인이 안정적으로 유지되는 조건을 규명하여 비동기 RLHF 시스템 튜닝을 위한 실용적인 두 가지 제약 규칙을 제공한다.