기술 요약: ASymPO: 비동기적 LLM 사후 학습을 위한 비대칭 스케일 정책 최적화

1. 문제 정의

본 논문은 대규모 언어 모델(LLM) 사후 학습(post-training)에서 발생하는 **비동기 강화 학습(asynchronous Reinforcement Learning, RL)**의 결정적인 불안정성을 다룹니다. 현대적인 시스템은 처리량을 높이기 위해 응답 생성(rollout)과 정책 최적화(learning)를 분리하여 운영하는 경우가 많습니다. 이러한 설정에서 롤아웃 워커(rollout workers)는 최근의 정책 스냅샷으로부터 응답을 샘플링하는 반면, 러너(learner)는 더 최신의 정책을 업데이트합니다.

이러한 비동기성은 **분포 드리프트(distribution drift)**를 유발합니다: 즉, 응답을 생성한 행동 정책($\pi_b$)과 이를 학습하는 데 사용되는 현재 정책($\pi_\theta$)이 서로 달라집니다.

• 표준 솔루션: PPO와 같은 방법들은 행동 정책의 확률(log-probs)을 사용하여 중요도 비율(importance ratios)을 계산하고 클리핑(clipping)을 적용합니다. 이는 롤아웃 시스템이 토큰 단위로 정렬되고, 버전이 관리되며, 수치적으로 일관된 행동 로그 확률(behavior log-probabilities)을 러너에게 전달해야 함을 의미하며, 이는 인프라를 복잡하게 만들고 잠재적인 수치적 드리프트를 유발합니다.
• 실패 모드: 저자들은 **현재 정책만을 사용하는 단순한 목적 함수(naive current-policy-only objectives)**가 비동기 설정에서 불안정하다는 점을 확인했습니다. 특히, 어드밴티지 합이 0인 그룹 상대적 RL(group-relative RL, $\sum A_g = 0$) 환경에서 다음과 같은 현상이 발생합니다.
  • 오래된(stale) 음의 어드밴티지(negative-advantage) 응답은 양의 어드밴티지 응답보다 훨씬 더 큰 현재 음의 로그 확률(negative log-probability) 값을 갖는 경러가 많습니다.
  • 이로 인해 음의 손실(negative side of the loss)이 지배적이 되어, 그룹 베이스라인에 의해 의도된 제로-섬(zero-sum) 상쇄 작용을 깨뜨립니다.
  • 결과적으로 학습 붕괴(training collapse)가 발생하며, 모델은 양의 샘플로부터 보상 신호를 받지 못한 채 오래된 음의 샘플을 과도하게 억제하게 됩니다.

2. 방법론

본 논문은 행동 정책 정보 없이도 학습을 안정화하기 위해 설계된 두 가지 현재 정책 전용 목적 함수를 제안합니다. 두 방법 모두 그룹 상대적 어드밴티지 $A_g$와 현재 정책의 평균 토큰 음의 로그 확률 $S_{\theta,g}$를 기반으로 작동합니다.

2.1 스케일드 정책 최적화 (SPO)

SPO는 음의 어드밴티지 응답의 영향력을 수동으로 줄이는 휴리스틱 베이스라인입니다.

• 메커니즘: 음의 어드밴티지($A_g < 0$)에 고정된 스케일링 계수 $\alpha \in (0, 1)$를 적용하며, 양의 어드밴티지($A_g \ge 0$)는 그대로 둡니다.
• 손실 함수:
  $$L_{SPO}(\theta) = -\frac{1}{G} \sum_{g=1}^G \frac{1}{m_g} \sum_{i=1}^{m_g} \tilde{A}_g \log p_{g,i}(\theta)$$
  여기서 $\tilde{A}_g = \alpha A_g$ (단, $A_g < 0$인 경우), 그 외에는 $A_g$입니다.
• 한계점: 스케일링 인자 $\alpha$는 수동으로 튜닝되어야 하며, 각 응답의 구체적인 스케일이나 노후화(staleness) 정도에 적응하지 못합니다.

2.2 비대칭 스케일 정책 최적화 (ASymPO)

ASymPO는 수동 규칙 대신 **적응형 응답 레벨 정규화(adaptive, response-level normalization)**를 도입하여 손실 기여도를 자동으로 균형 있게 조절합니다.

• 메커니즘: 각 응답의 손실을 해당 응답의 현재 평균 토큰 음의 로그 확률($S_{\theta,g}$)로 정규화합니다. 역전파 과정에서 정규화 항이 업데이트되는 것을 방지하기 위해 스톱-그레이디언트(stop-gradient, $sg$) 연산자가 적용됩니다.
• 손실 함수:
  $$L_{ASymPO}(\theta) = \frac{1}{G} \sum_{g=1}^G A_g \frac{S_{\theta,g}}{sg(S_{\theta,g})}$$
• 이론적 보장: 정리 2(Theorem 2)는 제로-섬 어드밴티지 조건 하에서 ASymPO가 **정확한 응답 레벨 손실 균형(exact response-level loss balance)**을 보장함을 증명합니다. 즉, 양의 응답의 순방향 손실 기여도는 음의 응답 기여도의 크기와 동일하게 유지되며, 이는 서로 다른 현재 로그 확률 스케일에도 불구하고 성립합니다.
• 그래디언트: 그래디언트는 표준 정책 그래디언트 방향을 유지하지만, 각 응답에 대한 업데이트 크기는 자신의 현재 스케일에 의해 정규화됩니다.

3. 주요 기여

1. 스케일 불균형 식별: 본 논문은 제로-섬 어드밴티지 상황에서 스케일 차이로 인해 오래된 음의 샘플이 손실을 지배하게 되어 그룹 상대적 균형을 깨뜨리는 특정 실패 모드를 공식적으로 식별했습니다.
2. SPO 및 ASymPO 공식화: 행동 정책 확률 없이도 학습을 안정화하는 두 가지 목적 함수를 제안합니다. ASymPO는 제로-섬 어드van티지 하에서 양의 손실과 음의 손실 기여도를 정확하게 균형 있게 맞춘다는 것이 증명되었습니다.
3. 인프라 단순화: ASymPO는 훨씬 더 간결한 롤아웃-러너 인터페이스를 가능하게 합니다. 이는 토큰 단위의 행동 로그 확률, 정책 버전 태그, 또는 훈련 정밀도에서의 로짓(logit) 재계산을 전달할 필요를 없애줍니다 (표 1 참조).
4. 실증적 검증: 제안된 방법들은 세 가지 모델 제품군(Qwen3-1.7B, Qwen3-4B, LLaMA-3.2-3B)을 대상으로 비동기적 수학적 추론 사후 학습에서 평가되었습니다.

4. 실험 결과

실험은 비동기 RL(스태일니스 임계값 0.5)을 사용하여 수학적 추론 작업(MATH, AIME, GSM8K 등)에 대해 수행되었습니다.

• 안정성:
  • Naive Loss와 GPG(중요도 샘플링은 피하지만 그룹 균형은 결여된 방법)는 모든 모델 제품군에서 학습 중 **붕괴(collapse)**가 발생하여 평가 가능한 체크포인트를 생성하지 못했습니다.
  • GRPO(행동 교정 방식), SPO, ASymPO는 안정적인 학습 보상 궤적을 유지했습니다.
• 성능:
  • ASymPO는 전반적인 지표에서 GRPO(행동 교정 베이스라인)와 대등하거나 더 우수한 성능을 보였으며, 특히 LLaMA-3.2-3B-Instruct와 Qwen3-4B-Base에서 두드로웠습니다.
  • SPO 역시 붕괴를 방지하고 경쟁력 있는 성능을 보였으나, ASymPO의 적응형 스케일링이 특정 벤치마크(예: AIME24, MATH500)에서 종종 더 나은 결과를 냈습니다.
  • Qwen3-1.7B-Base의 경우, ASymPO는 36.98의 mean@8을 달성하여 GRPO의 37.45에 근접했으며, SPO는 36.41을 기록했습니다.
• 절제 연구(Ablation): 논문은 SPO가 $\alpha$ 값(실험에서는 0.2로 설정)에 민감하다고 언급합니다. 만약 $\alpha=1$이면 Naive Loss처럼 붕로가 발생하며, $\alpha=0$이면 약한 성능을 보이는 양의 샘플 전용 미세 조정(fine-tuning)처럼 동작합니다.

5. 의의 및 주장

본 논문은 **스케일 불균형(scale imbalance)**을 명시적으로 교정한다면, 경쟁력 있고 안정적인 비동기적 RL 사후 학습을 위해 행동 정책 확률이 반드시 필요하지는 않다는 점을 주장합니다.

• 실질적 영향: ASymPO는 비동기적 그룹 상대적 RL을 안정화하는 메커니즘을 제공하는 동시에 시스템 아키텍처를 크게 단순화합니다. 이는 롤아웃-러너 인터페이스를 행동 로그 확률 전달, 버전 관리, 수치적 일관성 문제와 결합시키던 "정확성 조건(correctness condition)"을 제거합니다.
• 범위: 저자들은 본 연구의 기여를 모든 분포 드리프트에 대한 일반적인 해결책이라기보다, 특정 실패 모드(손실 스케일 불균형)를 해결하는 것으로 겸허히 규정합니다. 또한 ASymPO가 행동 교정 방식처럼 생성과 훈련 사이의 정책 비율을 제한하지는 않는다는 점을 인정하며, 현재 그 효과가 검증 가능한 보상을 가진 수학적 추론 작업에서 주로 입증되었음을 밝힙니다.
• 향후 과제: 저자들은 응답 스케일 정규화가 언제 행동 교정을 근사하는지, 그리고 언제 명시적인 행동 정책 정보가 여전히 불가피한지에 대한 추가적인 이론적 규명이 필요하다고 제안합니다.