기술 요약: PlexRL

문제 정의

검증 가능한 보상을 활용한 강화 학습 (RLVR) 은 대규모 언어 모델 (LLM) 의 추론 능력을 해금하는 데 있어 지배적인 패러다임이 되었습니다. 그러나 현대의 이질적인 워크로드와 기존 학습 프레임워크 간의 구조적 불일치로 인해 RLVR 학습은 극도로 비효율적입니다.

이러한 비효율성의 핵심 원인은 작업 국소적 (job-local) 자원 관리에 있습니다. 현재 시스템은 알고리즘 제어를 고정된 개인용 모델 배포에 묶어 두며, 이는 세 가지 주요 실패 모드를 초래합니다:

1. 분할 배포 (Split Deployment): 유연성은 제공하지만, 롤아웃 (rollout) 과 학습과 같은 서로 다른 위상을 위해 불연속적인 디바이스 풀을 예약합니다. 이로 인해 풀들이 활성 상태와 유휴 상태 사이를 전환하며 상당한 유휴 시간이 발생합니다.
2. 공존 배포 (Colocated Deployment): 상태를 공유하지만, 학습에 필요한 거대한 데이터 병렬성 (DP) 그룹과 동일한 그룹을 롤아웃 위상에 사용하도록 강요합니다. 이는 특히 도구 호출과 디코딩의 장꼬리 (long-tailed) 특성으로 인해 대부분의 GPU 가 소수의 활성 샘플을 기다리며 유휴 상태로 머무는 롤아웃 동안 모델 FLOPs 활용도 (MFU) 를 저하시킵니다.
3. 비동기식 롤아웃 (Asynchronous Rollout): 위상 불일치를 숨기려 시도하지만, 알고리즘의 노후화 (staleness) 를 초래하며 롤아웃과 학습 지속 시간이 거의 완벽하게 균형을 이루지 않기 때문에 유휴 시간을 완전히 제거할 수 없습니다.

이러한 비효율성은 구조적입니다: 단일 작업 내에서는 유휴 간격이 불가피하지만, 서로 다른 작업 간에는 주로 부(-) 상관관계를 보입니다. 기존 프레임워크는 조밀한 작업 예약 뒤에 미세한 실행 동역학을 숨겨 클러스터가 이러한 유휴 기간을 회수하는 것을 방해합니다.

방법론: PlexRL

저자들은 여러 RLVR 작업에 걸쳐 통합된 LLM 서비스를 멀티플렉싱하는 클러스터 수준 런타임인 PlexRL을 제안합니다. 이 시스템은 알고리즘 제어를 백엔드 특정 실행과 분리하여, 롤아웃과 학습을 개인 작업 자산이 아닌 공유되고 스케줄링 가능한 클러스터 자원으로 취급합니다.

시스템 아키텍처

PlexRL 은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 스케줄러: 클러스터 전체 배치 및 런타임 순서를 수행하는 중앙 집중식 컨트롤러입니다. 요청 도착, 모델 거주성 (residency), 그리고 친화도 (affinity) 제약을 관찰하여 공유된 모델 복제본 풀에서 작업을 교차 배치합니다. 이는 작업 수요 패턴을 사용 가능한 클러스터 창에 맞추기 위해 시공간 자원 추상화(순환 시간 지평, 계층적 자원 뷰, 원자적 예약) 를 활용합니다.
2. 원격 LLM 실행 서비스: 상태가 없는 라우터와 GPU 에 상주하는 워커로 구성됩니다. 라우터는 포워드, 포워드-백워드, 체크포인트, 가중치 동기화와 같은 좁고 함수 지향적인 API 를 노출하며 논리적 배포를 워커 프로세스 그룹 (WPG) 에 매핑합니다. 워커는 원격 클라이언트를 대신하여 연산을 실행하여 RL 알고리즘을 메그라트론 (Megatron), FSDP 와 같은 하부 분산 런타임과 분리합니다.
3. StateManager: GPU HBM, 호스트 DRAM, NVMe 의 3 계층 계층 구조에 걸쳐 모델 거주성을 관리하는 노드별 데몬입니다. 이는 복제본 간 데이터를 중복 제거하기 위해 오프로딩된 상태의 정형 표현을 유지하며, GPU 임계 경로를 명확하게 유지하면서 상태 전환 (로딩, 오프로딩, 물질화) 을 비동기적으로 처리합니다.

핵심 메커니즘

• 친화도 인식 배치 (Affinity-Aware Placement): 스케줄러는 "이중 위상" 정책을 사용합니다. 새로운 작업의 경우 깨끗한 실행 흔적을 추출하기 위해 전용 노드를 프로비저닝합니다. 알려진 흔적을 가진 작업의 경우, 기존 노드 그룹의 "여유 (slack)" 창에 작업의 주기적 수요 흔적을 맞추어 간섭을 최소화하는 **마이크로 시프트 (micro-shifting)**를 수행합니다.
• HRRS 스케줄링 (Highest Response Ratio with Setup): 런타임 스케줄링을 처리하기 위해 PlexRL 은 고전적인 HRRN 알고리즘을 확장합니다. 대기 시간과 예상 실행 시간을 기반으로 우선순위를 계산하며, 컨텍스트 전환 (모델 로딩/오프로딩) 이 필요한 경우 비용 분모를 명시적으로 증폭시킵니다. 이는 설정 비용을 상쇄하기 위해 유사한 작업을 배치하도록 장려하면서도 기아 현상을 방지합니다.
• 정형화된 상태 관리 (Canonicalized State Management): StateManager 는 불투명한 프로세스 로컬 스냅샷 대신 오프로딩된 텐서를 논리적 키로 인덱싱합니다. 이를 통해 복제본 간 공유 상태의 중복 제거가 가능해지고, 가중치 동기화 중 제로 중복 재분할 (zero-redundancy resharding) 이 가능해져 전체 텐서 재구성을 피할 수 있습니다.

주요 기여

1. 구조적 비효율성 식별: 이 논문은 현재 RLVR 프레임워크가 분할, 공존, 비동기식 배포 패턴 전반에 걸쳐 존재하는 작업 국소적 실행 설계로 인해 상당한 성능을 놓치고 있음을 입증합니다.
2. PlexRL 시스템: 알고리즘 제어와 실행을 분리하여 롤아웃과 학습의 작업 간 멀티플렉싱을 가능하게 하는 클러스터 수준 멀티플렉싱 시스템.
3. 오케스트레이션 및 상태 관리: 시공간 스케줄링, HRRS 기반 런타임 순서 지정, 그리고 정형 오프로딩을 통한 중앙 집중식 상태 관리 등 공유 클러스터에서의 대형 모델 멀티플렉싱을 위한 새로운 메커니즘.
4. 평가: 개선된 유효 클러스터 용량과 비용 감소를 보여주는 구현 및 평가.

결과

저자들은 7B 에서 235B 파라미터 (Qwen2.5/3 시리즈) 에 이르는 모델로 수학적 RLVR 워크로드를 사용하여 2048-GPU 클러스터에서 PlexRL 을 평가했습니다.

• 비용 절감: PlexRL 은 모델 크기에 따라 비동기식 분할 배포 대비 사용자 GPU 시간 비용을 **31.36% 에서 37.58%**까지 절감했습니다.
• 공존 대비 효율성: PlexRL 은 공존 베이스라인을 크게 능가했습니다. 공존 설계는 과도하게 큰 롤아웃 DP 그룹으로 인해 계산이 포화되지 않는 고통을 겪는 반면, PlexRL 은 공존 배포의 **52.74%**에 비해 **75.03%**의 실제 처리량 대 최대 처리량 비율을 달성했습니다.
• 클러스터 용량: 실제 세계 작업 통계를 사용한 흔적 기반 시뮬레이션은 PlexRL 의 "Spread+Backfill" 정책이 전체 워크로드 완료 시간을 격리된 베이스라인의 **56.0%**로 줄였으며, 동일한 용량 예산 하에서 클러스터가 1.8 배 더 많은 RLVR 워크로드를 지속할 수 있게 했음을 보여주었습니다.
• 알고리즘 무결성: 이 시스템은 보상 궤적이 베이스라인과 일치하도록 학습 품질을 유지하여 멀티플렉싱이 알고리즘적 의미론을 변경하지 않음을 확인했습니다.

중요성 및 주장

이 논문은 RLVR 클러스터의 주요 비효율성이 원시 가속기 부족이 아니라 작업 국소적 예약과 위상 불일치로 인한 단편화라고 주장합니다.

PlexRL 은 다음과 같은 방식으로 대규모 추론 및 에이전트 LLM 학습을 위한 실용적인 시스템 기반을 제공한다고 주장합니다:

• 제어와 실행의 분리: 연구자들이 프레임워크 특정 내부가 아닌 안정적인 실행 인터페이스를 대상으로 작성할 수 있게 하여 알고리즘적 유연성을 증진시킵니다.
• 전역 자원 회수: 값비싼 모델 마이그레이션이나 침습적인 프레임워크 수술 없이 작업별 유휴 간격을 전역적으로 스케줄링 가능한 기회로 변환합니다.
• 비용 효율성: 클러스터 수준 멀티플렉싱이 고급 추론 모델 학습의 경제적 장벽을 크게 낮출 수 있음을 입증하며, 알고리즘적 유연성을 유지하면서 GPU 시간 비용을 최대 37.58% 까지 절감합니다.

저자들은 향후 RL 시스템은 클러스터 가시적 실행과 중앙 집중식 상태 관리를 1 급 설계 고려사항으로 취급해야 하며, 점점 더 전문화되는 작업 국소 런타임의 한계를 넘어설 것이라고 결론지었습니다.