기술 요약: 로봇 공장을 위한 효율적인 시각-언어-행동(VLA) 관리 및 서빙

문제 정의

시각-언어-행동(VLA) 모델은 로봇이 환경을 인지하고, 작업에 대해 추론하며, 조작 동작을 실행할 수 있게 함으로써 물리적 AI를 위한 기초가 되고 있습니다. 그러나 VLA 추론은 본질적으로 지연 시간(latency)에 매우 민감합니다. 엄격한 서비스 수준 목표(SLO)를 충족하지 못하면 작업 실패, 안전하지 않은 주행 또는 조립 라인 중단으로 이어질 수 있습니다.

VLA 모델을 배포하는 데는 근본적인 충돌이 존재합니다:

1. 지연 시간 요구사항: 안전 및 작업 마감 기한을 준-수하기 위해서는 임베디드 온-로봇 GPU(예: Jetson AGX Thor)보다 훨씬 낮은 추론 지연 시간을 제공하는 고성능 GPU(예: RTX 6000 Pro, H100)가 필요합니다.
2. 하드웨어 제약: 고성능 GPU는 무게, 비용, 전력 및 열 제한으로 인해 로봇에 직접 통합될 수 없습니다. 임베디드 GPU를 이용한 온-로봇 추론 또한 배터리 수명을 급격히 단축시킵니다(최대 45%).
3. 기존 솔루션: 현재는 추론을 로컬 엣지 서버로 오프로딩하는 방식이 일반적입니다. 그러나 기존의 서빙 시스템은 이 시나리오에 적합하지 않습니다:
   • 처리량 vs. 지연 시간: 기존의 다단계 서빙 시스템(예: vLLM-Omni)은 수백 밀리초 동안 실행되는 단계들을 가진 대규모 모델과 처리량 최적화에 맞춰져 있습니다. 이러한 시스템은 인터 프로세스 통신(IPC) 및 버퍼 검사에 의존하는데, 이는 VLA 단계의 밀리초 단위 실행 시간에 비해 과도한 오버헤드를 발생시킵니다.
   • 자원 저활용: VLA 아키텍처는 두 개의 뚜렷한 단계, 즉 계산 집약적인 시각-언어 모델(VLM)과 메모리 집약적인 행동 디퓨전 트랜스포머(ADiT)로 구성됩니다. 이 단계들을 별도의 GPU로 분리하면, 특히 메모리 제한적인 ADiT 단계에서 상당한 컴퓨팅 자원이 저활용됩니다.
   • 단일 모델 중심: 현재 시스템은 일반적으로 단일 GPU 상에서 여러 VLA 모델(파인튜닝된 변체 포함)을 개별 요청의 SLO를 준수하면서 동시에 실행하는 것을 지원하지 않습니다.

방법론: Robion

저자들은 다중 로봇, 다중 모델 요청이 발생하는 다중 GPU 엣지 서버를 위해 설계되었으며, SLO를 엄격히 준수하는 최초의 VLA 서빙 및 관리 시스템인 Robion을 제안합니다. Robion은 **서빙 엔진(Serving Engine)**과 **관리 엔진(Management Engine)**으로 구성됩니다.

1. Robion 서빙 엔진

서빙 엔진은 세 가지 핵심 기술을 통해 GPU 활용도를 극대화하고 지연 시간을 최소화하는 데 집중합니다:

• 고정 배치 내 GPU 단계 분리 (Fixed-Batch Intra-GPU Stage Disaggregation):

  • 단계를 서로 다른 GPU나 프로세스로 분리하는 대신, Robion은 두 개의 비동기 CUDA 스트림을 사용하여 단일 GPU 내에서 VLM과 ADiT 단계를 분리합니다.
  • 연속 배치(continuous batching) 대신 **고정 크기 배치(fixed-size batching)**를 사용합니다. 요청은 단계 실행 시작 시점에만 수락됩니다. 이를 통해 vLLM-Omni와 같은 시스템에서 발견되는, VLA의 밀리초 단위 단계에는 너무 비싼 버퍼 검사 오버헤드를 제거합니다.
  • 반복되는 커널 실행에 대한 CPU 런치 오버헤드를 제거하기 위해 CUDA Graphs를 사용합니다.

• 락스텝(Lockstep) 기반의 가드형 및 동적 공간 SM 파티셔닝:

  • 계산 집약적인 VLM 단계가 GPU의 스트리밍 멀티프로세서(SM)를 포화시키는 동안 메모리 집약적인 ADiT 단계가 굶주리는(starvation) 현상을 방지하기 위해, Robion은 락스텝 실행을 강제합니다. 각 락스텝에서는 정확히 하나의 VLM 배치와 하나의 ADiT 배치가 동시에 실행됩니다.
  • 동적 SM 제한: 시스템은 VLM 스트림이 점유할 수 있는 SM 수를 제한하여, ADiT 스트림을 위해 충분한 SM이 남도록 보장합니다.
  • 프로파일링 보조 선택: 최적의 SM 분할은 함께 실행되는 단계들의 특정 배치 크기에 따라 달라지므로, Robion은 초기화 단계에서 오프라인 프로파일링을 수행합니다. 모든 2의 거듭제곱 배치 크기 조합에 대해 SM 제한을 전수 조사하고, 최적의 구성을 룩업 테이블에 저장합니다. 런타임 시 시스템은 선점(preemption) 없이 미리 계산된 제한 사항을 적용하여 실행 진척도가 손실되지 않도록 합니다.

• SLO 인식 듀얼 스트림 다중 모델 서빙:

  • Robion은 단일 GPU 상에서 여러 VLA 모델(파인튜닝된 변체 포함)에 대해 동일한 VLM 및 ADiT 스트림을 공유하는 **모델 공동 배치(model co-location)**를 지원합니다.
  • 최단 SLO 우선(Earliest-SLO-First, ESF) 스케줄링 정책을 구현합니다. 각 락스텝의 시작 시, 시스템은 각 모델 큐의 헤드 요청에 대한 남은 SLO 마감 시간까지의 시간을 계산하고, 남은 시간이 가장 적은 요청을 우선시합니다. 이를 통해 이종 로봇 군집 전반에 걸쳐 엄격한 SLO 준수를 보장합니다.

2. Robion 관리 엔진

관리 엔진은 다중 GPU 서버에서 모델의 배치와 로봇 트래픽의 분산을 처리합니다.

• 유연한 모델 배치: 프로그래머는 모델이 배치되는 방식을 구성할 수 있습니다: 하나의 GPU에 서로 다른 아키텍처를 공동 배치하거나, GPU에 모델을 복제하거나, GPU를 특정 모델 아키텍처 전용의 불연속적인 그룹으로 분할할 수 있습니다.
• 적응형 트래픽 컨트롤러:
  • 시스템은 로봇-대-GPU 할당을 정수 계획법(integer programming) 문제로 정식화합니다.
  • 목표: 특정 모델에 대한 요청을 단일 GPU에 집중시켜 모델별 배칭(batching)을 극대화하는 동시에, 각 GPU가 SLO를 위반하지 않고 감당할 수 있는 최대 로봇 부하를 준수합니다.
  • 제약 조건: 특정 모델에 할당된 총 로봇 수는 공장의 수요와 일치해야 하며, 임의의 GPU에 대한 정규화된 부하의 합은 1.0을 초과할 수 없습니다.
  • 이 접근 방식은 "균등 분할(even splitting)"이 초래하는 배치 효율 저하나, "단일 모델당 GPU 하나" 방식이 초래할 수 있는 과부하 문제를 피합니다.

주요 결과

저자들은 4개의 하드웨어 플랫폼(4x RTX 6000 Pro 및 4x H100)에서 4개의 VLA 모델($\pi_0$, SmolVLA, GR00T N1.5, Xiaomi-Robotics-0)을 대상으로 Robion을 평가하였으며, 이를 Monolithic 베이스라인 및 vLLM-Omni와 비교하였습니다.

• 단일 모델 성능:

  • Robion은 98%의 SLO 달성률을 유지하면서 vLLM-Omni보다 6.7배, Monolithic 시스템보다 1.5배 더 많은 로봇 부하를 처리합니다.
  • Robion을 실행하는 단일 고성능 GPU는 평균 20대의 로봇을 98% SLO 달성률로 서비스할 수 있으며, 이는 임베디드 GPU의 온-로봇 추론보다 우수하며, 모든 로봇에 고성능 SoC를 장착하는 것과 비교했을 때 상당한 비용 절감(약 6.8배)을 제공합니다.
  • "Guarded SM Partitioning" 기술만으로도 단순 단계 분리 대비 SLO 달성률을 크게 향상시켜, 동적 SM 제한의 필요성을 입증했습니다.

• 다중 모델 공동 배치:

  • 단일 GPU에 여러 모델(변체 및 서로 다른 아키텍처 포함)을 공동 배치할 때, Robion은 Monolithic 방식에 비해 **2.1배 낮은 SLO 미달착률(miss ratio)**을 달성했습니다.
  • vLLM-Omni는 이러한 다중 모델 시나리오에서 완전히 포화 상태(100% 미달착률)를 보였습니다.
  • ESF 큐 선택 정책은 Robust함을 입증하였으며, 특히 모델들의 SLO 마감 시간이 다를 때 Round-Robin 및 Largest-Queue-First 정책보다 우수한 성능을 보였습니다.

• 다중 GPU 확장성:

  • 4-GPU 서버에서 8개의 서로 다른 모델을 서비스하는 대규모 실험에서, Robion은 98% SLO 달성률 내에서 최대 64대의 로봇을 성공적으로 서비스했습니다.
  • Robion의 인트라-GPU(intra-GPU) 분리는 인터-GPU(inter-GPU) 분리 방식(VLM 또는 ADiT에 별도의 GPU를 할당하는 방식)보다 성능이 월등히 높았습니다. 후자는 메모리 제한적인 ADiT 단계에서 심각한 자원 저활용을 초고합니다.

• 클라우드 vs. 엣지:

  • 연구 결과, 네트워크 지연 시간으로 인해 클라우드 배포가 SLO 달성률을 크게 저하시키므로, 엣지 배포(WiFi 7 기반 로컬 서버)가 클라우드 배포보다 우월함을 확인했습니다.

의의 및 주장

본 논문은 다음을 수행한 최초의 연구라고 주장합니다:

1. 로봇 공장에서의 효율적인 VLA 서빙을 위한 구체적인 설계 고려 사항을 조사하여, 기존의 다단계 서빙 시스템과 VLA 추론의 밀리초 단위, 지연 시간 민감 특성 사이의 불일치를 강조했습니다.
2. 다중 GPU 엣지 서버에서 SLO 인식, 다중 모델 서빙을 가능하게 하는 Robion을 제안했습니다.

저자들은 Robion이 VLA 모델의 높은 계산 요구량과 로봇 공장의 엄격한 제약 사이의 간극을 메운다고 강조합니다. 고성능 GPU가 엄격한 지연 시간 보장과 함께 많은 로봇을 동시에 서비스할 수 있게 함으로써, Robion은 로컬 엣지 서버를 로봇 공장에 도입하는 것을 실질적이고 비용 효율적인 현실로 만듭니다. 이 시스템은 적절한 단계 분리, 동적 자원 파티셔닝, 지능형 트래픽 제어를 통해 단일 엣지 서버가 개별 로봇마다 고성능 컴퓨팅을 갖출 필요를 대체할 수 있음을 보여줍니다. 이는 대규모 물리적 AI 배포를 위한 진입 장벽을 크게 낮춥니다.