RollArt: Disaggregated Multi-Task Agentic RL Training at Scale

기술 요약: ROLLART

문제 정의

에이전트 강화 학습(Agentic Reinforcement Learning, RL)은 대규모 언어 모델(LLM)을 외부 환경과의 다회차 상호작용을 통해 학습시킵니다. 이 패러다임은 롤아웃(LLM 생성), 환경 실행, 보상 평가, 학습이라는 네 가지 뚜로 구별되는 단계를 혼합하는 복잡하고 이질적인 워크로드를 도입합니다.

기존 시스템은 이러한 단계들에 내재된 근본적인 자원 이질성을 해결하지 못합니다:

1. 생성 이질성(Generation Heterogeneity): LLM 생성은 연산 집약적인 프리필(prefill)(긴 컨텍스트, 다회차 작업에서 지배적)과 대역폭 집약적인 디코딩(decoding)(짧은 턴, 긴 사고 사슬 작업에서 지배적) 사이를 오갑니다. 현재의 시스템은 롤아웃을 단일 GPU 유형에 할당하곤 하는데, 이는 연산 최적화 GPU(예: H800)가 프리필에 뛰어나고 대역폭 최적화 GPU(예: H20)가 디코딩에 뛰어나다는 점을 간과하는 것입니다.
2. 환경 스트래글러(Environment Stragglers): 환경은 상태를 가진(stateful) CPU 집약적 프로세스로, 컨테이너 초기화(Docker pull), 네트워크 경합, 가변적인 상호작용 턴 등으로 인해 롱테일 레이턴시(heavy-tailed latency)가 발생하기 쉽습니다. 배치 실행 시, 느린 환경은 전체 파이프라인을 정체시킵니다.
3. 보상 저활용(Reward Underutilization): 보상 계산은 흔히 상태가 없고(stateless) 간헐적(bursty)입니다. 이를 전용 GPU와 함께 롤아웃에 배치하면 심각한 저활용(최저 7.4%)이 발생하며, 생성과 결합할 경우 자원 경합을 유발합니다.
4. 동기화 오버헤드(Synchronization Overhead): 전통적인 동기식 학습은 클러스터 간 가중치 동기화를 기다리는 동안 롤아웃 워커를 유휴 상태로 만들어, 값비싼 GPU 자원을 낭비하는 "의존성 버블(dependency bubbles)"을 생성합니다.

방법론: ROLLART

ROLLART는 분리된 인프라(disaggregated infrastructure) 상에서 멀티태스크 에이전트 RL을 위해 설계된 분산 시스템입니다. 이 시스템은 각 파이프라인 단계를 그 특성에 가장 적합한 하드웨어에 매핑하고, 각 단계를 분리하여 동기화 병목 현상을 제거합니다.

핵심 설계 요구사항

시스템은 네 가지 경험적으로 도출된 요구사항에 의해 구동됩니다:

• R1 (하드웨어 친화도 매핑): 특정 작업 또는 하위 단계를 최적의 하드웨어에 바인딩합니다. 프리필 비중이 높은 작업은 연산 최적화 GPU로 라우팅하고, 디코딩 비중이 높은 작업은 대역폭 최적화 GPU로 라우팅하며, 환경은 CPU 클러스터에서 실행하고, 상태가 없는 보상은 서버리스 인프라에서 실행합니다.
• R2 (궤적 수준의 비동기성): 생성, 환경 상호작용, 보상 스코어링을 개별 궤적(trajectory) 단위로 분리합니다. 이를 통해 느리거나 실패한 환경이 다른 궤적의 진행을 방해하지 않도록 합니다.
• R3 (서버리스 오프로딩): 상태가 없는 보상 계산을 서버리스 플랫폼(예: Function Compute)으로 오프로드하여, 전용 핫 스탠바이(hot-standby) GPU를 제거하고 탄력적 확장을 가능하게 합니다.
• R4 (유계 신선도 학습): 별도의 GPU 클러스터에서 학습과 롤아웃을 동시에 실행합니다. 신선도가 제한된(staleness-bounded) 프로토콜을 통해 롤아웃이 계속되는 동안 약간 오래된 정책으로 학습을 진행함으로써, 가중치 동기화를 생성 과정과 중첩시켜 레이턴시를 숨깁니다.

시스템 아키텍처

ROLLART는 세 가지 평면(plane)으로 구성됩니다:

1. 리소스 평면(Resource Plane): 리소스 매니저는 이질적인 하드웨어 풀(H800, H20, CPU, Serverless)을 추적하고, 사용자가 파이썬 데코레이터를 통해 선언한 하드웨어 친화도에 따라 워커를 리소스에 바인딩합니다.
2. 데이터 평면(Data Plane): Worker 및 Cluster 추상화를 사용하여 파이프라인을 구현합니다. 이는 실행 로직(예: 생성용 vLLM, 학습용 Megatron)을 캡슐화하고, 상태가 없는 작업을 서버리스 엔드포인트로 오프로드하는 것을 처리합니다.
3. 제어 평면(Control Plane): 사용자 개입 없이 워크플로우를 조율합니다. 주요 구성 요소는 다음과 같습니다:
   • LLMProxy: 클라이언트를 추론 워커로부터 분리하여 궤적별로 생성 요청을 전달합니다.
   • EnvManager: 개별 환경의 라이프사이클을 독립적으로 관리하여 병렬 진행을 허용합니다.
   • SampleBuffer: 학습을 위해 스코어가 매겨진 궤적을 버퍼링합니다.
   • 비동기 학습 프로토콜: 학습과 롤아웃을 중첩시키는 6단계 동기화 프로세스(Batch 가져오기 → 중단 → 업데이트 → 재개 → KV 재계산 → 학습)를 수행합니다. 여기에는 학습 안정성을 보장하기 위해 너무 오래된 궤적을 중단시키는 신선도 경계($\alpha$)가 포함됩니다.

최적화

• 중복 환경 롤아웃: 실패와 스트래글러를 마스킹하기 위해 필요한 것보다 더 많은 환경을 실행합니다. 목표 배치가 수집되면 진행 중인 궤적은 종료됩니다.
• 프리필-디코딩(PD) 분리: 동일한 요청의 프리필 단계와 디코딩 단계를 서로 다른 하드웨어 유형(연산 최적화 vs 대역폭 최적화)으로 라우팅함으로써 R1을 더욱 정교화합니다.
• 비동기 가중치 전송: Mooncake 기반 스토어를 사용하여 가중치를 비동기적으로 푸시합니다. 추론 워커는 요청 시 가중치를 풀(pull)하여, 롤아웃 중에 크로스 클러스터 전송 레이턴시를 숨깁니다.

주요 기여

1. 에이전트 RL을 위한 분리된 인프라: ROLLART는 프리필/디코딩의 차이, 롱테일 환경 스트래글러, 상태가 없는 보상의 저활용, 그리고 프로덕션 규모에서의 크로스 클러스터 대역폭 가변성을 공동으로 해결하는 최초의 시스템입니다.
2. 선언적 프로그래밍 모델: 사용자가 데코레이터를 통해 하드웨어 친화도를 선언하고 상태가 없는 작업을 오프로드할 수 있는 통합 인터페이스를 제공하여, 이질적인 리소스 관리의 복잡성을 추상화합니다.
3. 궤적 수준의 결합 해제: 개별 궤적이 생성, 환경 상호작용, 보상을 통해 독립적으로 진행되도록 하는 설계를 도입하여 배치 수준의 동기화 장벽을 제거합니다.
4. 프로덕션 규모 검증: Qoder 제품을 위해 수천억 개의 파라미터를 가진 Mixture-of-Experts (MoE) 모델을 학습시키기 위해, 1주일 동안 지속적으로 실행되며 Alibaba 클러스터의 3,000개 이상의 GPU에서 성공적으로 배포되었습니다.

결과

• 처리량 개선: ROLLART는 강화된 동기식 베이스라인(Sync+) 대비 2.65–4.58배 높은 처리량을 달성했습니다.
• 학습 시간 단축: 다양한 베이스라인과 비교했을 때, ROLLART는 다음과 같이 학습 시간을 단축했습니다:
  • 강화된 동기식 베이스라인(Sync+) 대비 2.05배
  • One-off 베이스라인 대비 1.35배
  • AReaL 대비 1.31배
• 자원 효율성: 보상을 서버리스 인프라로 오프로드함으로써 보상-GPU 활용도를 6%에서 88%로 높였고, 스텝당 롤아웃 시간을 절반으로 줄였습니다.
• 확장성: 클러스터 크기가 64개에서 128개 GPU로 증가함에 따라 베이스라인보다 1.33–2.08배 높은 처리량을 전달하며 Qwen3-14B에서 우수한 스케일링 효율성을 입증했습니다.
• 신선도 트레이드오프: 비동기 경계 $\alpha=1$이 학습 속도와 모델 수렴 품질 사이의 균형을 효과적으로 맞추는 것으로 나타났습니다.

의의

본 논문은 ROLLART가 에이전트 RL의 스케일링을 제한해 온 "리소스 이질성 문제"를 효과적으로 해결한다고 주장합니다. 단일 구조나 느슨하게 결합된 아키텍처에서 벗어남으로써, ROLLART는 미세한(fine-grained) 하드웨어 친화적 분리가 멀티태스크 에이전트 RL의 처리량을 극대화하는 데 필수적임을 보여줍니다. 3,000개 이상의 GPU 클러스터에서 높은 처리량과 결함 허용 능력을 유지하는 시스템의 능력은 이질적인 인프라에서 대규모 에이전트 모델을 학습시키기 위한 청사진을 제시하며, 프로덕션 사용을 위한 안정성을 검증합니다.