기술 요약: MARLAAS – 멀티 테넌트 비동기 강화학습 서비스

1. 문제 정의

검증 가능한 보상을 통한 강화학습 (RLVR) 은 도구 사용을 포함하는 다중 턴 에이전트 환경에서 대규모 언어 모델 (LLM) 의 추론 능력을 크게 향상시켰습니다. 그러나 이러한 모델의 미세 조정 (fine-tuning) 은 높은 계산 및 메모리 요구 사항으로 인해 비용이 매우 비싸 접근성이 제한적입니다.

이 논문은 현재 RLVR 학습 파이프라인에서 발생하는 두 가지 주요 비효율성을 식별합니다:

1. 파이프라인 비효율성 및 유휴 시간: RLVR 학습은 (1) 롤아웃 생성, (2) 환경 상호작용 (예: 도구 호출, API 호출), (3) 정책 학습이라는 세 가지 긴밀하게 결합된 단계를 포함합니다. 기존 동기식 시스템에서는 이러한 단계가 순차적으로 실행되어 상당한 유휴 시간을 초래합니다. 예를 들어, 롤아웃 워커는 새로운 정책을 기다리고, 가속기는 외부 환경 응답을 기다리며, 토큰 생성 중에는 학습 자원이 유휴 상태로 방치됩니다.
2. 멀티 테넌트 오버헤드: 멀티 테넌트 환경에서 기존 접근 방식은 작업마다 모델 인스턴스를 복제하거나 (막대한 메모리 비용 발생) 작업을 순차적으로 실행 (자원 미활용 초래) 합니다. 또한, 추론 복잡도와 환경 지연 시간이 다른 이질적인 작업들은 동기화 병목 현상을 만들어 더 빠른 작업이 느린 작업을 기다리게 하여 자원 버블을 악화시킵니다.

저자들은 RLVR 워크로드는 일반적으로 롤아웃에 구애받는 (rollout-bound) 특성을 가지며, 롤아웃 생성과 환경 상호작용이 실행 시간을 지배한다고 지적합니다 (학습 업데이트보다 10~100 배 더 길음). 이 특성은 에이전트 시나리오에서 특히 두드러집니다.

2. 방법론: MARLAAS

저자는 동일한 하드웨어에서 여러 작업을 공동 학습하면서 RLVR 단계를 중첩시켜 하드웨어 가속기 활용도를 극대화하도록 설계된 MARLAAS(Multi-tenant Asynchronous RL as a Service) 를 제안합니다. 이 시스템은 두 가지 핵심 원칙에 기반합니다:

A. 경량 어댑터를 공유하는 베이스 모델

MARLAAS 는 Multi-LoRA 아키텍처를 사용합니다. 각 테넌트마다 전체 모델 복사본을 인스턴스화하는 대신, 시스템은 모든 작업에 걸쳐 단일 고정 베이스 모델을 공유합니다. 각 작업은 경량인 저랭크 어댑테이션 (LoRA) 어댑터를 활용합니다. 이 접근 방식은 다음과 같은 장점이 있습니다:

• 작업별 메모리 오버헤드를 최소화합니다.
• 롤아웃의 작업 간 배치 (cross-task batching) 를 가능하게 하여 고정된 하드웨어 제약 내에서 여러 동시 작업을 처리할 수 있게 합니다.

B. 분리된 비동기 아키텍처

시스템은 세 가지 RLVR 단계 (롤아웃 생성, 환경 상호작용, 정책 학습) 를 독립적으로 스케줄링되는 단계로 분해합니다.

• 멀티 태스크 관리자: 버전 관리된 LoRA 파라미터, 옵티마이저 상태, 롤아웃 궤적을 위한 글로벌 FIFO 버퍼를 유지하는 중앙 집중식 컴포넌트입니다. 각 작업의 정책 버전을 추적하여 일관성을 보장합니다.
• 롤아웃 엔진: 각 활성 작업에 대해 최신 사용 가능한 정책 버전을 사용하여 궤적을 생성합니다. 롤아웃 단계 중 처리량을 극대화하기 위해 Multi-LoRA 배치를 활용합니다.
• 학습 엔진: 버퍼에서 궤적을 샘플링하여 정책을 업데이트합니다. 중요하게도, 학습 업데이트는 중앙 집중식 큐를 통해 순차적으로(한 번에 하나의 작업) 수행되는 반면, 롤아웃은 병렬로 발생합니다.

핵심 설계 통찰: 비대칭성

이전 비동기 시스템이 '구식성 (staleness)'을 도입하여 (이전 버전의 오프-폴리시 롤아웃을 사용하여 수렴성을 저하시킬 수 있음) MARLAAS 는 엄격한 작업별 정책 일관성을 유지합니다. 각 작업은 최신 커밋된 정책 버전에서 생성된 궤적만을 기반으로 학습합니다.

• 비동기성 원인: 시스템은 작업 내 구식성이 아닌 작업 간 단계 중첩 (cross-task phase overlap) 을 통해 비동기성을 달성합니다. 작업 A 가 학습 단계에 있는 동안 작업 B 는 롤아웃 또는 환경 상호작용 단계에 있을 수 있습니다.
• 자원 할당: 이 설계는 병목 현상인 롤아웃 처리량을 극대화하기 위해 Multi-LoRA 배치를 통해 자원을 의도적으로 할당하는 반면, 지연 시간을 최소화하고 빠른 단계 전환을 가능하게 하기 위해 학습 업데이트는 경량화되고 순차적으로 유지됩니다.

3. 주요 기여

논문은 네 가지 주요 기여를 제시합니다:

1. 시스템 설계: LoRA 어댑터를 통해 공유 자원을 사용하여 여러 작업을 효율적으로 학습할 수 있는 멀티 테넌트 RLVR 학습 시스템 (MARLAAS) 도입.
2. 비대칭성 식별: RLVR 워크로드에서 롤아웃 생성이 실행 시간을 지배하는 롤아웃 - 학습 비대칭성을 식별함. 이 논문은 이 병목 현상이 구식성 기반 방법과 직교하는 접근 방식인 작업 간 롤아웃 동시성을 통해 완화될 수 있음을 입증합니다.
3. 단계 인식 스케줄링: 롤아웃, 환경 상호작용, 학습을 분리하여 작업 간 간섭을 최소화하면서 독립적인 작업 진행을 가능하게 하는 비동기 스케줄링 시스템 설계.
4. 실증적 검증: MARLAAS 가 단일 작업 베이스라인과 비교하여 보상 성능을 유지하면서 가속기 활용도와 처리량을 향상시킨다는 것을 입증함.

4. 실험 결과

저자들은 Qwen 모델 (0.6B, 14B, 32B) 과 이질적인 워크로드 (GSM8K, AMC12, 위키백과 API 호출을 포함하는 에이전트 검색 작업) 를 사용하여 2 노드 Ascend 클러스터 (총 64 개 NPU) 에서 MARLAAS 를 평가했습니다.

성능 지표:

• 처리량: MARLAAS 는 베이스라인 대비 최대 5.7 배 높은 학습 처리량(시간당 단계 수) 을 달성했습니다.
• 활용도: 단일 분리 및 동기식 Multi-LoRA 베이스라인 대비 유휴 시간이 최대 45% 감소하여 가속기 활용도가 최대 4.3 배 향상되었습니다.
• 학습 시간: 멀티 태스크 환경 (최대 32 개 동시 작업) 에서 엔드투엔드 학습 시간이 85% 단축되었습니다.
• 확장성: 작업 동시성이 1 에서 32 로 증가함에 따라 시스템은 높은 활용도와 처리량을 유지한 반면, 동기식 및 단일 작업 베이스라인은 체감 수익 감소와 유휴 시간 증가를 보였습니다.

애블레이션 연구:

• 비동기 실행을 제거하면 처리량이 약 66% 감소하여 롤아웃과 학습을 분리하는 것이 효율성의 주된 동인임을 확인했습니다.
• Multi-LoRA 롤아웃을 비활성화하면 처리량이 추가로 약 13% 감소하여 하드웨어 활용을 위한 작업 간 동시성의 필요성을 강조했습니다.

사용자 측면 지연 시간:

• MARLAAS 는 이전 작업을 기다리지 않고 작업이 즉시 실행할 수 있으므로 순차적 베이스라인 대비 첫 번째 단계 도달 시간 (TTFS) 을 크게 단축했습니다.
• 비동기 실행은 격리된 실행 대비 단계별 지연 오버헤드를 약간 도입했지만, 멀티 테넌트 환경에서 전반적인 응답성을 크게 향상시켰습니다.

5. 중요성과 주장

이 논문은 MARLAAS 가 학습 성능을 희생하지 않으면서 현재 RLVR 시스템의 구조적 비효율성—특히 동기화 오버헤드와 중복 모델 복제—을 해결한다고 주장합니다.

• 구식성 대비 효율성: 저자들은 최근 연구들이 구식성이 수렴 품질을 저하시킬 수 있다고 지적하는 가운데, 정책 구식성을 도입하는 대신 자원 중첩과 메모리 공유를 통해 효율성을 개선한다고 강조합니다.
• 비용 효율성: 고밀도 멀티 테넌트 학습을 가능하게 함으로써 MARLAAS 는 비용 효율적인 "RL 학습 서비스 (RLTaaS)" 플랫폼으로 가는 실현 가능한 길을 제시하며, RLVR 을 더 넓은 범위의 연구자와 실무자에게 접근 가능하게 만듭니다.
• 시스템 수준 최적화: 이 연구는 정책 최적화 자체의 알고리즘적 변경이 아닌, 비동기 실행과 LoRA 공유와 같은 시스템 수준 스케줄링 및 자원 관리를 통해 RLVR 에서 상당한 이득을 얻을 수 있음을 강조합니다.

인정된 한계:
저자들은 현재 설계가 정책 업데이트를 직렬화하여 극단적인 동시성 하에서 병목 현상이 될 수 있음을 지적합니다. 또한, KV 캐시 용량은 긴 컨텍스트나 에이전트 작업이 많은 경우 근본적인 한계로 남아 있습니다. 향후 연구는 적응형 동시성 제어와 분산 학습 실행을 탐구할 것을 제안합니다.