🤖 machine learning

Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

이 논문은 그룹 단위 샘플링을 단일 롤아웃 전략으로 대체하고 엄격한 토큰 수준 클리핑을 채택하여 GLM-5.2와 같은 대규모 에이전틱 모델을 복잡한 코딩 및 추론 벤치마크에서 성공적으로 학습시키는 안정적이고 효율적인 비동기 강화 학습 프레임워크인 Single-rollout Asynchronous Optimization (SAO)을 소개한다.

원저자: Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

게시일 2026-07-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생 요리사들에게 완벽한 식사를 요리하도록 훈련시키는 팀의 헤드 셰프라고 상상해 보세요. 예전 방식(논문에서 **동기식 강화학습(Synchronous RL)**이라 부르는 것)에서는 헤드 셰프가 "모두 요리를 시작하세요!"라고 외친 뒤 기다렸습니다. 그러면 학생들은 각자의 요리를 만들기 시작합니다. 하지만 여기에 문제가 있습니다. 어떤 학생은 빠르고, 어떤 학생은 느립니다. 빠른 학생들은 요리를 마치고 나서도 가장 느린 학생이 끝날 때까지 벽을 바라보며 서서 기다려야 했습니다. 모든 학생이 다 마쳐야만 헤드 셰프가 음식을 맛보고, 피드백을 주고, 다음 할 일을 지시할 수 있었습니다. 이는 매우 비효율적입니다. 주방에 유휴 시간이 가득하게 됩니다.

이를 해결하기 위해 연구자들은 **비동기식 강화학습(Asynchronous RL)**을 시도했습니다. 이 버전에서는 학생이 요리를 마치자마자 헤드 셰프가 즉시 맛을 보고 피드백을 줍니다. 학생은 바로 다음 요리를 시작할 수 있습니다. 주방은 멈추지 않고 계속 움직입니다. 이는 훨씬 더 빠릅니다.

하지만 큰 함정이 있었습니다. 헤드 셰프가 서로 다른 시간에 요리를 시작한 학생들의 음식을 맛보고 있었기 때문에, 학생들이 따르고 있는 "레시피"가 끊임없이 변하고 있었습니다. 어떤 학생은 옛날 레시피를 바탕으로 요리하고 있고, 다른 학생은 새로운 레시피를 사용하고 있었습니다. 이러한 혼란은 훈련을 불안정하게 만들었고, 학생들은 요리가 나아지는 대신 오히려 나빠지기도 했습니다. 또한, 이 학생들을 평가하는 데 사용되는 인기 있는 방법인 GRPO는 헤드 셰프가 한 그룹의 학생들이 모두 마칠 때까지 기다려야 했기에, 다시 '기다림의 문제'를 불러왔습니다.

이 논문의 저자들은 세 가지 영리한 기술을 통해 이 혼란을 해결한 **SAO (Single-Rollout Asynchronous Optimization)**라는 새로운 방법을 소개했습니다.

1. "즉각적인 피드백" 규칙 (Single-Rollout)

한 그룹의 학생들이 배치를 마칠 때까지 기다리는 대신, SAO는 다음과 같이 말합니다. "학생 한 명이 요리를 마치면 즉시 채점하세요."

비유: 게임에서 파티원 전체가 끝날 때까지 기다리는 것이 아니라, 레벨을 클리어하자마자 점수를 받는 것과 같습니다. 이는 "가장 느린 사람을 기다리는" 지연을 제거합니다.
해결하는 문제: 그룹이 가장 느린 구성원을 기다려야 하는 상황을 막아, 훈련이 풀 스피드로 계속 진행되도록 합니다.

2. "엄격한 안전망" (Double-Sided Clipping)

학생들이 너무 빠르게 움직이고 레시피가 계속 변하기 때문에, 학생들이 너무 엉뚱하거나 위험한 시도를 할 위험이 있습니다.

비유: 저자들은 훈련 주변에 "울타리"를 쳤습니다. 만약 학생의 새로운 아이디어가 교사가 예상하는 것과 너무 다르다면(너무 왼쪽이나 너무 오른쪽으로 치우친다면), 시스템은 단순히 그 아이디어를 무시하는 것이 아니라, 그 특정 실수로부터 배우는 것 자체를 완전히 차단합니다. 이는 마치 엄격한 코치가 "네가 뒤로 뛰려고 한다면, 나는 그 달리로부터 전혀 배우지 않겠다"라고 말하는 것과 같습니다.
해결하는 문제: 빠른 속도 때문에 학생들이 혼란을 겪을 때 훈련이 불안정해지거나 "폭발"하는 것을 방략합니다.

3. "슈퍼 코치" (더 나은 가치 모델)

기존의 "그룹" 방식에서는 코치가 학생의 요리를 반 친구들의 요리와 비교하여 좋은지 나쁜지 판단할 수 있었습니다. 하지만 이 "한 명씩 진행하는" 방식에서는 비교할 반 친구들이 없습니다. 코치는 단 하나의 요리가 그 자체로 좋은지 나쁜지를 알 수 있을 만큼 매우 똑똑해야 합니다.

비극: 저자들은 학생 요리사들보다 두 배나 빠르게 지식을 업데이트하는 훨씬 더 똑똑한 "가치 코치(Critic)"를 훈련시켰습니다. 또한 코치의 "본능(Attention layers)"을 고정하여 코치가 혼란을 겪지 않게 하고, 오직 레시피의 구체적인 세부 사항만을 배우도록 했습니다.
해결하는 문제: 이를 통해 학생이 혼자 작업하더라도, 코치가 그룹과 비교할 필요 없이 "그래, 방금 동작은 좋았어" 또는 "아니, 그건 나빴어"라고 정확하게 알려줄 수 있게 합니다.

결과

이 논문은 이 새로운 방법을 두 가지 매우 어려운 과제에 테스트했습니다:

코딩: AI에게 소프트웨어의 버그를 수정하도록 요청하는 것 (마치 정비사가 자동차를 고치는 것과 같습니다).
수학적 추론: AI에게 복잡한 수학 문제를 풀도록 요청하는 것 (마치 학생이 어려운 시험을 치르는 것과 같습니다).

결과:

기존 방식(GRPO)은 초반에는 잘 시작하지만, 혼란스러워지면서 시간이 지나면 결국 무너지고 실패했습니다.
새로운 SAO 방식은 오랫동안(최대 1,000 스텝까지) 훈련을 매끄럽게 유지하며 지속적으로 더 높은 점수를 얻었습니다.
또한, 이 방법이 게임의 규칙이 플레이 중에 바뀌는 **온라인 학습(Online Learning)**에 완벽하다는 것을 증명했습니다. 예를 들어, 선생님이 갑자기 "이제 귀여운 이야기를 써줘"라고 말한다면, SAO로 훈련된 AI는 빠르게 스타일을 바꿀 수 있지만, 다른 방법들은 적응하는 데 너무 느렸습니다.

요약하자면, 이 논문은 다음과 같이 말합니다: "그룹을 기다리지 마세요. 각자의 속도에 맞춰 일하게 하되, 엄격한 안전망과 지식을 즉시 업데이트하는 아주 똑똑한 코치를 제공하세요. 이것이 AI 훈련을 더 빠르고, 안정적이며, 어렵고 변화무쌍한 문제를 더 잘 해결하게 만듭니다."

기술 요약: 에이전트형 강화 학습을 위한 단일 롤아웃 비동기 최적화 (SAO)

문제 정의

강화 학습(RL)은 긴 호라이즌, 코딩, 복잡한 추론을 포함하는 에이전트 작업에서 대규모 언어 모델(LLM)의 사후 학습(post-training)에 핵심적인 구성 요소가 되었습니다. 그러나 기존의 RL 파이프라인은 주로 동기식 및 배치 인터리빙(synchronous and batch-interleaved) 방식입니다. 이러한 시스템에서는 정책이 배치를 생성하고, 전체 배치가 수집된 후에야 최적화가 시작됩니다. 이러한 접근 방식은 궤적(trajectory)의 길이가 크게 달라지는 에이전트 워크로드에서 비효율적입니다. 짧은 궤적은 빠르게 종료되는 반면, 긴 궤적은 지연 요소(straggler)로 작용하여 상당한 GPU 클러스터 유휴 시간을 발생시키기 때문입니다.

롤아웃이 도착하는 대로 모델을 지속적으로 업데이트하여 효율성을 높이는 **비동기 RL(asynchronous RL)**은 해결책을 제시하지만, 두 가지 주요 과제를 도입합니다:

학습 불안정성 및 오프-정책 드리프트(Off-Policy Drift): 비동기 설정에서는 여러 버전의 이전 정책 모델에 의해 롤아웃이 생성됩니다. 이러한 "정책 격차(policy lag)"는 예측 불가능한 오프-정책 동작을 생성하여 학습을 불안정하게 만듭니다.
그룹 단위 샘플링과의 불일치: **GRPO(Group Relative Policy Optimization)**와 같이 널리 사용되는 알고리즘은 그룹 수준의 평균화를 통해 어드밴티지(advantage)를 추정하기 위해 프롬프트당 응답 그룹을 샘플링하는 것에 의존합니다. 이러한 그룹 단위 방식은 비동기 학습과 맞지 않는데, 그 이유는 그룹이 가장 느린 멤버가 완료될 때까지 기다려야 하므로 레이턴시와 오프-정책 편향을 다시 유발하기 때문입니다. 또한, 그룹 단위 샘플링은 환경이 프롬프트당 단 하나의 궤적 피드백만을 제공하는 경우가 많은 온라인 또는 복잡한 에이전트 환경에는 적합하지 않습니다.

방법론: 단일 롤아웃 비동기 최적화 (SAO)

저자들은 SAO를 제안합니다. 이는 SAO의 효율성을 유지하면서 비동기 RL 학습을 안정화하도록 설계된 프레임워크입니다. SAO는 그룹 단위 샘플링을 단일 롤아웃 샘플링(프롬프트당 하나의 롤아웃)으로 대체하고, 그에 따른 오프-정책 및 분산 문제를 처리하기 위한 특정 메커니즘을 도입합니다.

1. 직접 양방향 중요도 샘플링 (Direct Double-Sided Importance Sampling, DIS)

계산 비용이 큰 과거 정책 이력을 추적하는 대신, 롤아웃 엔진과 학습 모델 사이의 "정책 격차"를 해결하기 위해 다음과 같이 수행합니다:

단순화된 비율 계산: SAO는 별도의, 잠재적으로 오래된 "이전 정책( $\pi_{old}$ )"을 추적할 필요 없이, 롤아웃 정책( $\pi_{rollout}$ )을 행동 프록시로 사용하고 현재 정책( $\pi_\theta$ )을 중요도 샘플링에 직접 사용하여 $\pi_{rollout}$ 을 직접 사용함으로써 $r_t(\theta) = \exp(\log \pi_\theta - \log \pi_{rollout})$ 로 확률 비율을 계산합니다.
양방향 토큰 레벨 클리핑: 표준 PPO 클리핑과 달리, SAO는 엄격한 양방향 클리핑(double-sided clipping) 전략을 채택합니다. 신뢰 영역을 $[1-\epsilon_\ell, 1+\epsilon_h]$ 로 제한하며, 이 범위를 벗어나는 토큰은 그래디언트 계산에서 **완전히 마스킹(masking)**됩니다. 이 공격적인 마스킹은 극단적인 정책 발산으로 인한 불안정성을 방지합니다.

2. 향상된 가치 모델링을 통한 단일 롤아웃 샘플링

그룹 단위 샘플링을 단일 롤아웃 업데이트로 교체하면 레이턴시는 줄어들지만 그래디언트 분산이 증가합니다. 이를 완화하기 위해 SAO는 특정 가치 모델 학습 전략을 도입합니다:

더 빠른 가치 업데이트: 가치 네트워크( $V_\phi$ )는 정책( $\pi_\theta$ )보다 더 빈번하게 업데이트됩니다. 구체적으로, 매 단일 정책 그래디언트 업데이트마다 가치 네트워크는 $K$ 번의 업데이트( $K=2$ 실험값)를 거칩니다. 이는 어드밴티지 계산에 사용되기 전에 가치 추정치가 현재 정책에 빠르게 적응하도록 보장합니다.
Frozen-Attention 학습: 저자들은 가치 모델의 불안정성이 주로 Full Attention 레이어에서 기인한다는 점을 관찰했습니다. 따라서 가치 모델의 **어텐션 파라미터를 동결(freeze)**하고 MoE(Mixture-of-Experts) 프로젝션만을 최적화합니다. 이는 사전 학습된 어텐션 가중치를 활용하면서 모델이 작업 특화된 가치 함수를 학습할 수 있도록 하여 가치 모델을 정규화합니다.
Skip-Observation 토큰 레벨 GAE: 행동( $a_i$ )과 환경 관측값( $o_i$ )이 교차되는 에이전트 작업의 경우, 표준 GAE는 모델이 관측값을 생성하지 않는 경계 부분에서 어드밴티지를 계산할 때 노이즈를 유발합니다. SAO는 현재의 행동 가치를 다음 행동의 가치와 직접 연결하여 외부 환경 피드백 토큰을 우회하는 Skip-Observation GAE를 도출합니다.

3. 가치 모델 사전 학습 스케일링

저자들은 견고한 초기화가 매우 중요하다고 강조합니다. "콜드 스타트(cold start)" 문제를 해결하기 위해 가치 모델 사전 학습에 사용되는 데이터를 크게 확장하여, 단일 롤아웃 학습의 초기 단계부터 가치 모델이 효과적으로 작동하도록 합니다.

주요 기여

안정화 메커즘: 역사적 정책 추적을 제거하면서도 학습 안정성을 유지하기 위해 엄격한 양방향 클리핑을 적용하는 단순하면서도 공격적인 토큰 레벨 중요도 샘플링 전략(DIS)을 도입했습니다.
단일 롤아웃 패러다임: 동기화 장벽을 제거하기 위해 그룹 단위 샘플링에서 단일 롤아웃 샘플링으로 전환하였으며, 이로 인한 분산을 관리하기 위해 특정 가치 모델 설계(빠른 업데이트, Frozen Attention)를 결합했습니다.
에이전트 특화 추정기: 멀티 턴 에이전트 궤적에서 모델 생성 행동과 환경 피드백 사이의 불연속성을 올바르게 처리하는 Skip-Observation 토큰 레벨 GAE 추정기를 도출했습니다.
실험적 검증: SAO가 다양한 벤치마크에서 GRPO 및 그 변형들을 능가함을 입증했습니다.

실험 결과

SAO는 SWE-Bench Verified, AIME2025, BeyondAIME, HMMT Nov 2025, IMOAnswerBench를 포함한 에이전트 코딩 및 수학 추론 벤치마크에서 평가되었습니다.

성능: SAO는 모든 벤치마크에서 베이스라인(Qwen3-30B-A3B SFT)과 GRPO 변형들을 일관되게 앞질렀습니다.
- AIME2025에서 SAO는 GRPO (w/ python)의 84.2%, SFT 베이스라인의 80.4%와 비교하여 **97.3%**의 정확도를 달s성했습니다.
- SWE-Bench Verified에서 SAO는 **29.8%**의 정확도를 기록하여 GRPO(27.0%)와 베이스라인(23.0%)을 넘어섰습니다.
안정성: 표준 GRPO는 약 160 학습 스텝 부근에서 성능 붕괴를 겪었으나, SAO는 1,000 스텝까지 안정적인 성능을 유지하며 계속해서 개선되었습니다.
Ablation 연구: "Faster Value Updates"나 "Frozen Attention"과 같은 구성 요소를 제거하면 성능 저하가 발생하여, 이러한 설계 선택의 필요성을 확인했습니다.
온라인 학습: 변화하는 보상 선호도(글쓰기 스타일)가 있는 시뮬레이션된 온라인 학습 환경에서, SAO는 빠른 정책 재정렬을 보여준 반면, Running Mean 베이스라인은 상당한 적응 지연을 보였습니다.

의의 및 주장

본 논문은 SAO가 LLM을 위한 비동기 RL의 효율성과 안정성 사이의 트레이드오프를 성공적으로 해결했다고 주장합니다. GRPO에 내재된 그룹 단위 샘플링에서 벗어남으로써, SAO는 롤아웃이 도착하는 즉시 소비되는 진정한 비동기 학습을 가능하게 하여 지연 요소(straggler) 효과를 제거합니다.

저자들은 이 접근 방식이 단일 궤적 피드백이 일반적인 에이전트 작업 및 온라인 학습 시나리오에 특히 효과적이라고 주장합니다. 오픈 모델인 **GLM-5.2 (750B-A40B)**의 학습 파이프라인에 SAO를 성공적으로 배포한 것은 이 방법의 대규모 실전 환경에서의 확장성과 견고함을 입증하는 실제적인 검증입니다. 이 연구는 적절한 가치 모델 설계와 오프-정책 교정이 있다면, 비동기 RL이 복잡하고 긴 호라이즌의 추론 작업을 위한 동기식 배치 방식의 안정적이고 우월한 대안이 될 수 있음을 시사합니다.