기술 요약: JoyNexus – VLA 모델을 위한 서비스 지향적 멀티테넌트 사후 학습(Post-Training)

1. 문제 정의

Vision-Language-Action (VLA) 모델의 사후 학습은 다양한 로봇 구현체, 시뮬레이터 및 작업 목표에 기초 모델을 적응시키는 데 매우 중요합니다. 그러나 현재의 클라우드 컴퓨팅 패러다임은 VLA 학습에 있어 다음과 같은 상당한 비효율성에 직면해 있습니다:

• 인프라 부담: 기존 서비스는 일반적으로 단일 테넌트에게 독점적인 GPU/CPU 자원을 할당합니다(직접 대여 또는 배치 제출 방식). 이는 사용자로 하여금 이질적인 모델 환경과 시뮬레이터 세션을 포함하는 복잡한 인프라 의존성을 직접 관리하게 만듭니다.
• 자원 비효율성: VLA 모델은 종종 규모가 중간 정도이므로, 분산 설정에서 가속기 활용도가 낮습니다. 또한, 고정된 "카드 시간(card-hour)" 가격 책정 모델은 VLA 개발 과정에서 흔히 발생하는 짧고 반복적이거나 간헐적인 워크로드(예: 롤아웃, 데이터 로딩, 또는 환경 동기화 중 발생하는 GPU 유휴 상태)에 비효율적입니다.
• 특화된 추상화의 부데: 언어 모델 사후 학습을 위한 "Tinker 스타일"의 서비스 지향 시스템(예: OpenTinker, ProRL Agent)은 존재하지만, 시뮬레이터 세션, 이질적인 액션 스키마, 롤아웃 기록, 정책 버전 동기화와 같은 VLA 사후 학습의 특수한 요구사항을 해결하지 못합니다.

2. 방법론: JoyNexus 아키텍처

JoyNexus는 VLA 사후 학습을 통합된 멀티테넌트 서비스로 재정의합니다. 이는 학습 모델 서비스(Training Model Service), 추론 모델 서비스(Inference Model Service), 그리고 **환경 서비스(Environment Service)**를 분리하여, 제공자가 공유 인프라를 관리하는 동안 테넌트가 API를 통해 이들에 접근할 수 있도록 합니다.

2.1 핵심 설계 원칙

• 분해(Decomposition): StarVLA와 같은 모델의 "레고 스타일" 분해에서 영감을 얻은 JoyNexus는 비용이 많이 들고 재사용 가능한 공유 VLM 백본(메모리에 상주)과 테넌트별 액션 모듈(어댑터, 액션 헤드 또는 정책 접미사)을 분리합니다.
• 서비스 분리:
  • 학습 모델 서비스: 공유 베이스 모델과 테넌트별 학습 상태(옵티마이저, 정책 버전)를 유지합니다.
  • 추론 모델 서비스: 추론 요청을 처리하며, 테넌트 인덱스 기반의 서빙 상태를 유지하고 업데이트된 파라미터를 동기화합니다.
  • 환경 서비스: 인터랙티브 세션(시뮬레이터)과 오프라인 데이터셋을 관리하며, 온라인 상호작용과 오프라인 데이터 액세스를 모두 추상화합니다.
• 이중 큐 스케줄링(Dual-Queue Scheduling): 시스템은 **학습 큐(Training Queue)**와 **추론 큐(Inference Queue)**를 활용합니다. 이는 최적화 데이터 흐름과 지연 시간에 민감한 예측 요청을 분리하여, 지도 학습(SFT), 강화 학습(RL) 및 평가의 동시 스케줄링을 가능하게 합니다.

2.2 워크플로 오케스트레이션

JoyNexus는 사용자 의도를 백엔드 구성으로 컴파일하는 마스터 서비스를 통해 세 가지 주요 워크플로를 지원합니다.

1. 지도 학습 (SFT): 테넌트는 오프라인 데몬스트레이션 데이터셋을 제공합니다. 시스템은 배치를 샘플링하고, VLA 모델을 실행하며, 손실(loss)을 계산하고, 테넌트별 모듈을 업데이트합니다.
2. 강화 학습 (RL): 정책이 환경(환경 서비스를 통해)과 상호작용하여 롤아웃 기록을 생성하고 정책을 업데이트하는 폐쇄 루프(closed loop)입니다. 롤아웃 프로듀서와 액터(trainer)는 병렬 루프로 실행되며, 학습 큐를 통해서만 통신합니다.
3. 평가 (Evaluation): 특정 정책 버전을 로드하고, 환경 또는 데이터셋에 대해 추론을 실행하며, 파라미터를 업데이트하지 않고 메트릭을 기록하는 읽기 전용 프로세스입니다.

2.3 멀티테넌트 그룹 배칭 (Multi-Tenant Group Batching)

작고 산발적인 추론 요청의 비효율성을 해결하기 위해, JoyNexus는 이질적인 VLA 데이터 스키마를 위한 그룹 배칭을 도입합니다.

• 메커니즘: 서로 다른 테넌트로부터 온 호환 가능한 요청들을 공유 접두사 표현(VLAFeature)으로 정규화합니다. 그룹화된 샘플들에 대해 공유된 프리즈(frozen) 백본에 대한 단일 순전파(forward pass)를 실행합니다.
• 파티셔닝: 결과물인 피처(feature)들은 손실 계산, 역전파(backward pass) 및 옵티마이저 업데이트를 위해 다시 테넌트별 액션 모듈으로 분할됩니다.
• 스케줄링: 추론 스케줄러는 최대 대기 시간($T$)과 목표 배치 크기($B$)를 기준으로 요청을 누적한 후 추론을 트리거하여, 지연 시간에 민감한 요청을 무한정 차단하지 않으면서도 높은 활용도를 보장합니다.

2.4 시스템 견고성

• 결함 격리 (Fault Isolation): 전담 헬스 매니저(Health Manager)가 서비스를 모니터링합니다. 국소적인 실패 발생 시, 전체 워크로드를 재시작하거나 다른 테넌트에 영향을 주지 않고 특정 역할(예: 실패한 롤아웃 워커)만 인플레이스(in-place)로 재시작합니다.
• 탄력적 스케일링 (Elastic Scaling): 추론 및 학습 서비스는 독립적으로 확장할 수 있습니다. 롤아웃 엔진은 최적화 과정을 방해하지 않으면서 환경 상호작용 요구에 맞춰 비동기적으로 추가되거나 제거될 수 있습니다.

3. 주요 기여

1. 클라이언트-서버 서비스 추상화: 테넌트 전용 계산(액션 모듈, 옵티마이저)과 공유 인프라(베이스 모델, 환경)를 분리하여, 워크로드 격리를 유지하면서도 미세한 자원 스케줄링을 가능하게 하는 새로운 아키텍처를 제시했습니다.
2. 3요소 백엔드: 베이스 모델은 메모리에 상주하고 테넌트별 모듈은 격리된 슬롯에 마운트되는, SFT, RL 및 평가를 지원하는 통합 백엔드를 구축했습니다.
3. 이질적 스키마를 위한 그룹 배칭: 서로 다른 테넌트의 호환 가능한 데이터 스키마를 가진 샘플들에 대해 단일 공유 백본 순전파를 수행할 수 있는 파이프라인을 통해, 소규모 배치 워크로드의 처리량을 크게 개선했습니다.
4. 경험적 검증: 단일 테넌트 격리 실행 모델과 비교하여 자원 활용도를 높이고 총 GPU 시간을 단축함을 입증했습니다.

4. 실험 결과

저자들은 현실적인 임보디드(embodied) 시나리오에서 워크로드 시뮬레이션과 그룹 배칭 파이프라인을 통해 JoyNexus를 평가했습니다.

• 자원 효율성: 8-GPU 노드에서 3개의 RL 테넌트와 1개의 SFT 테넌트를 대상으로 한 시뮬레이션 결과, JoyNexus는 순차적 단일 테넌트 베이스라인 대비 총 GPU 시간을 28.3% 단축했습니다.
  • 학습 모델 서비스 활용도: 격리된 환경의 20.8%에서 멀티테넌트 환경의 41.3%로, 1.99배 향상되었습니다.
  • 추론 모델 서비스 활용도: 28.1%에서 37.5%로, 1.33배 향상되었습니다.
• 그룹 배칭 성능:
  • 2~8개의 테넌트와 다양한 로컬 배치 크기를 대상으로 한 실험에서, 테넌트 수가 증가하고 로컬 배치 크기가 작아질수록 그룹 배칭이 더욱 효과적임을 보여주었습니다.
  • StarVLA-GR00T (2B, 4B, 8B)와 같은 모델의 경우, 그룹 실행은 공유 베이스 모델의 순전파 비용을 분담함으로써 상당한 순전파 단계 가속(StarVLA-OFT의 경우 8개 테넌트 기준 최대 3.24배)을 제공했습니다.
• 학습 정확성: 손실 궤적 분석을 통해 그룹 실행이 개별 테넌트의 최적화 동작을 보존함을 확인했습니다. 서로 다른 데이터셋(LIBERO vs. CALVIN)과 별도의 액션 헤드 및 옵티마이저를 사용하는 테넌트들은 직렬 실행 베이스라인과 동일한 기대 손실 하강 패턴을 보였습니다.

5. 의의 및 주장

본 논문은 JoyNexus가 프로그래밍 가능한 멀티테넌트 VLA 사후 학습 서비스를 향한 중요한 진전임을 주장합니다. 주요 의의는 다음과 같습니다:

• 부담의 전이: 테넌트가 저수준 인프라 문제(자원 할당, 모델 상주, 동기화)에서 벗어나 알고리즘 개발에 집중할 수 있도록 합니다.
• 경제적 및 기술적 효율성: 공유 자원에 대한 교차 테넌트 스케줄링을 가능하게 함으로써, 간헐적인 VLA 워크로드에 대한 고정된 카드 시간 가격 책정의 비효율성을 해결하고 고성능 학습에 대한 접근성을 높입니다.
• 확장성: 서비스 지향적 설계를 통해, 이질적인 환경 및 데이터 요구사항으로 인해 함께 오케스트레이션하기 어려웠던 다양한 워크로드(SFT, RL, 평가)를 동시에 스케줄링할 수 있습니다.

저자들은 현재의 프로토타입이 이러한 추상화들을 기존 워크플로우(RLinf, StarVLA)에 기반하고 있으며, 향후 동적 자원 조정, 가격 책정 메커니즘, 그리고 사용자가 제공하는 코드 및 환경에 대한 안전한 확장 지점을 탐구할 것이라고 언급했습니다.