기술 요약: ROSA – 로봇 공장을 위한 로보틱스 파운데이션 모델 서빙 시스템

문제 정의

본 논문은 산업용 "로봇 공장"에 로보틱스 파운데이션 모델(RFM)을 배포하는 데 있어 결정적인 격차를 식별한다. RFM(예: 시각-언어-행동 모델)은 복잡한 작업을 수행할 수 있는 범용 로봇을 약속하지만, 기존의 서빙 시스템은 다음과 같은 두 가지 만연한 오해로 인해 공장 규모의 배포에 부적합하다.

1. 오해 1: 에지 전용 컴퓨팅(Edge-Only Computing): 현재의 패러다임은 RFM 서빙이 엄격히 에지 컴퓨팅 문제라고 가정하며, 각 로봇에 온보드 SoC(System-on-Chip)나 전용 근거리 GPU를 결합한다. 이 접근 방식은 모바일 로봇의 전력 및 열 설계 제한으로 인해 추론 성능이 저하되고 배터리 수명이 단축되는 한계가 있다. 또한, 일대일(one-to-one) 서빙은 로봇이 물리적 동작을 실행하거나 다음 추론 요청을 기다리는 동안 GPU가 유휴 상태로 머물게 함으로써 GPU 활용도를 저하시킨다.
2. 오해 2: 단일 모델 지연 시간 최소화(Single-Model Latency Minimization): 기존 시스템은 단일 행동 모델의 지연 시간을 최소화하는 데에만 최적화되어 있다. 그러나 신뢰할 수 있는 로봇 실행을 위해서는 멀티 모델 파이프라인(고수준 계획, 안전 점검, 작업 모니터링 포함)이 필요하다. 또한, 공장의 주요 목표는 개별 요청의 지연 시간을 줄이는 것이 아니라, 모든 모델 구성 요소에 대한 서비스 수준 목표(SLO)를 충족하면서 전체 공장 생산성(가중치 적용된 행동 처리량)을 극대화하는 것이어야 한다.

방법론: ROSA 아키텍처

저자들은 세 가지 핵심 원칙을 중심으로 설계된 서버 규모의 공유 GPU 풀 서빙 시스템인 ROSA(Robotics Oriented Serving Architecture)를 제안한다.

1. 공유 서버 규모 인프라

ROSA는 추론을 로봇으로부터 분리하여 계산 집약적인 작업을 중앙 집중식 데이터 센터급 GPU 클러스터(예: NVIDIA H200)로 오프로딩한다.

• 이점: 이를 통해 훨씬 더 강력한 하드웨어(예: 온보드 Jetson Thor 대비 29배 높은 메모리 대역폭)에 접근할 수 있고, 모바일 로봇의 온보드 전력 소비를 줄여 배터리 수명을 연장하며, 로봇 간 요청 배칭(batching)을 통해 하드웨어 활용도를 높일 수 있다.
• 로봇 측의 역할: 로봇은 고주파수 액추에이터 제어(100 Hz 이상) 및 로컬 안전 폴백(fallback)을 위한 경량 온보드 SoC를 유지하며, 서버는 무거운 RFM 추론을 처리한다.

2. 로보틱스 인지 프로그래밍 추상화

ROSA는 단순한 추론 요청을 넘어 로보틱스 파이프라인의 특정 요구 사항을 포착하는 선언적 프로그래밍 인터페이스를 도입한다.

• 멀티 모델 오케스트레이션: 작업은 다음과 같은 이종 모델들로 구성된 파이프라인으로 정의된다:
  • System 1: 저수준 행동 생성 (빠르고 반응적임).
  • System 2: 고수준 계획 및 추론 (느리고 숙고적임).
  • 안전 모델(Safety Models): 충돌 방지를 위한 주기적 점검.
  • 모니터 모델(Monitor Models): 작업 진행 상황 검증.
• 의존성 및 정책: 인터페이스는 의존성(예: System 1이 $N$번 호출될 때마다 System 2 호출), 호출 속도, 그리고 안전 위반 또는 SLO 미달 시의 명시적인 폴백 정책(예: 실행 중단, 재시도, 또는 인간의 개입으로 에스컬레이션)을 지정한다.

3. 공장 목표 중심 스케줄링

ROSA 스케줄러는 개별 지연 시간을 최소화하는 대신, 전체 플릿(fleet)의 가중치 적용된 로봇 행동 처리량을 최적화한다.

• 입력값: 스케줄러는 선언적 작업 구성(플릿 규모, 모델 구성, SLO)과 프로파일링 데이터(다양한 배치 크기 및 요청 속도에 따른 지연 시간 분포)를 입력으로 받는다.
• 최적화 전략:
  • 의무 모델(Obligation Models): 안전 및 모니터 모델은 고정된 호출 속도와 SLO를 충족하기 위해 필요한 최소한의 서버 풋프린트를 할당받는다.
  • 목표 결합 모델(Goal-Coupled Models): 행동 속도를 결정하는 System 1 및 System 2 모델은 총 행동 속도를 극대화하기 위해 남은 자원을 할당받는다.
  • 알고리즘: 시스템은 휴리스틱과 정수 선형 계획법(ILP)의 조합을 사용한다. 동질적 플릿의 경우, 최대 공유 행동 속도를 찾기 위해 이진 탐색을 수행한다. 이질적 플릿의 경우, 다차원 속도 벡터를 탐색하기 위해 적응형 프런티어 탐색(adaptive frontier search)을 사용한다.
• 런타임 적응: 시스템은 배치 보존형 입실 제어(placement-preserving admission control)와 GPU 장애 시 핫 스탠바이 페일오버(hot-standby failover)를 지원하여, 사소한 장애 발생 시 전체 시스템을 다시 스케줄링할 필요가 없도록 한다.

주요 기여

1. 오해의 식별: 본 논문은 RFM 서빙에 대한 기존의 "에지 전용" 및 "단일 지연 시간" 가정을 반박하며, 중앙 집중식 멀티 오브젝티브 접근 방식의 필요성을 주장한다.
2. ROSA 시스템 설계: 저자들은 선언적 작업 인터페이스와 공장 수준의 생산성을 극대화하는 스케줄러를 갖춘 모델 불가지론적(model-agnostic) 서빙 시스템을 설계하고 구현한다.
3. 포괄적 평가: 시스템은 실제 하드웨어(Franka Panda 로봇)와 대규모 합성 워크로드(8개의 NVIDIA H200 GPU를 사용하는 최대 64대의 가상 로봇) 모두에서 평가되었다.

결과

평가 결과, 기존 베이스라인과 비교하여 공장 생산성에서 상당한 개선을 입증했다:

• 전용 서비잉 대비: ROSA는 로봇당 하나의 GPU를 할당하거나 로봇당 모델당 하나의 GPU를 할당하는 시스템에 비해 공장 생산성을 최대 12.06배 향상시킨다. 전용 시스템은 확장이 어렵다. 예를 들어, "모델당 하나의 GPU" 베이스라인은 복잡한 4개 구성 요소 파이프라인을 위해 단 2대의 로봇만 지원할 수 있었던 반면, ROSA는 32대의 로봇을 지원했다.
• 공유 서버 베이스라인 대비: ROSA의 고급 스케줄링(정적 파티셔닝 또는 단순 배칭 사용)이 없는 공유 서버 시스템과 비교하더라도, ROSA는 SLO를 충족하는 행동 처리량을 최대 2.44배 향arian시킨다.
• SLO 준수: 높은 부하(64대의 로봇) 상황에서 공유 서버 베이스라인은 통제되지 않은 요청 속도와 큐잉으로 인해 SLO 충족 행동률이 0%로 급락했다. 반면 ROSA는 System 1 행동에 대해 **97.23%**의 SLO 충족률을 유지했다.
• 절제 연구(Ablation Studies): 성능 향상은 세 가지 요인에 기인한다:
  1. 요청 속도 제어: 폐루프(closed-loop) 지연 시간 제약 조건에 따라 요청 빈도를 제한함으로써 서버 과부하를 방지한다.
  2. 자원 할당: 정적 파티셔닝이 아닌 모델 구성 요소의 필요에 따라 GPU 자원을 동적으로 할당한다.
  3. 프로파일링 기반 배칭: 실시간 지연 시간-처리량 트레이드오프를 바탕으로 System 1 모델의 최적 배치 크기를 선택한다.

의의 및 주장

본 논문은 ROSA를 산업적 배포를 위한 효율적인 RFM 서빙을 향한 초기적이고 기초적인 노력으로 자리매김한다. 저자들은 특정 모델 아키텍처나 알고리즘은 빠르게 진화할 수 있지만, 세 가지 설계 원칙(공유 인프라, 로보틱스 인지 추상화, 공장 목표 중심 스케줄링)은 일반적이며 지속 가능하다고 주장한다.

이 연구는 RFM 추론을 공유 서버 풀로 이동시키고, 로컬 지연 시간이 아닌 글로벌 공장 처리량을 최적화하는 스케줄러에 의해 관리되는 것이 범용 로봇 플릿을 배포하기 위한 매우 효율적인 경로임을 입증한다. ROSာ는 대규모 파운데이션 모델의 계산 요구 사항과 산업용 로보틱스의 엄격한 신뢰성 및 안전 요구 사항 사이의 간극을 성공적으로 메운다.