How Fast Can I Run My VLA? Demystifying VLA Inference Performance with VLA-Perf

1. 문제 정의 (Problem)

시각 - 언어 - 행동 (Vision-Language-Action, VLA) 모델은 로봇이 물리적 환경을 지각하고 추론하여 행동을 생성하는 데 혁신적인 능력을 보여주었습니다. 그러나 실제 로봇에 VLA 를 배포할 때는 엄격한 실시간 추론 (Real-time Inference) 제약이 존재합니다.

• 현황: VLA 모델의 추론 성능은 모델 아키텍처 (크기, 구조, 비동기성 등) 와 추론 시스템 (하드웨어, 배치 위치, 네트워크) 의 방대한 조합 공간으로 인해 아직 체계적으로 이해되지 않았습니다.
• 핵심 질문: "실시간 추론을 지원하기 위해 향후 VLA 모델과 시스템을 어떻게 설계해야 하는가?"
• 목표: 10Hz(실시간에 근접) 에서 100Hz(고성능) 에 이르는 다양한 주파수 요구사항을 충족하는 최적의 모델 - 시스템 조합을 규명하는 것입니다.

2. 방법론 (Methodology)

이 논문은 실제 실험의 비용과 시간을 절감하기 위해 분석적 성능 모델링 (Analytical Performance Modeling) 접근법을 채택했습니다.

• VLA-Perf 도구 개발:
  • VLA 모델과 추론 시스템의 임의의 조합에 대해 최적의 추론 지연 시간 (Latency) 및 처리량 (Throughput) 을 예측하는 지붕선 모델 (Roofline Model) 기반의 분석 도구를 개발했습니다.
  • 입력 파라미터: 모델 구성 (비전 인코더, VLM 백본, 액션 전문가, 시퀀스 길이, 디노이징 스텝 등) 과 시스템 구성 (GPU 성능, 메모리 대역폭, 네트워크 대역폭/지연 등) 을 파라미터화합니다.
  • 지연 시간 계산: 모델 추론 지연과 데이터 이동 (로컬 또는 네트워크) 지연을 합산하여 전체 지연 시간을 모델링합니다.
    • $T_{total} = \sum T_{model} + \sum T_{data\_transfer}$
  • 검증: 기존 연구 (Ma et al., [29]) 의 π0 모델 및 RTX 4090 기반의 Triton 구현체와 비교하여 모델의 정확도 (Fidelity) 를 검증했습니다. 최적화된 시스템은 이론적 지붕선 성능의 **73.3% ~ 82.6%**를 달성함을 확인했습니다.

3. 주요 기여 및 연구 범위 (Key Contributions & Scope)

이 논문은 VLA 추론 성능에 대한 첫 번째 체계적인 연구를 수행하며, 다음과 같은 두 가지 관점에서 광범위한 시나리오를 분석했습니다.

1. 모델 설계 관점:
   • 모델 크기 확장 (Scaling) 의 영향
   • 장기 컨텍스트 (Long-context) 비디오 입력의 실현 가능성
   • 비동기 (Asynchronous) 추론 및 듀얼 시스템 (Dual-system) 파이프라인의 효과
   • 디노이징 스텝 수와 액션 청크 (Action Chunk) 크기의 영향
   • 오토레거시 (Autoregressive) vs 확산 (Diffusion) 기반 액션 생성 비교
2. 배포 (시스템) 관점:
   • 추론 위치: 온디바이스 (On-device), 엣지 서버, 클라우드 서버
   • 하드웨어 능력 (Jetson Thor, RTX 4090, A100/H100/B100 등) 과 네트워크 환경 (유선, WiFi, 4G/5G) 이 종단 간 지연에 미치는 영향

4. 주요 결과 및 인사이트 (Key Results & Takeaways)

저자들은 15 가지 핵심 인사이트를 도출했으며, 주요 내용은 다음과 같습니다.

A. 모델 설계 및 확장성

• 모델 크기: 지연 시간은 모델 크기에 비례하여 선형적으로 증가합니다. 데이터센터 GPU (B100 등) 는 π0 모델보다 30 배 큰 81B 파라미터 모델에서도 실시간 (9.6Hz) 추론이 가능하지만, 엣지/콘슈머 GPU 는 메모리 부족이나 성능 저하로 인해 큰 모델을 처리하기 어렵습니다.
• 장기 컨텍스트: 데이터센터 GPU 는 1,000 프레임의 과거 컨텍스트를 처리하며 실시간 추론이 가능하지만, 엣지/콘슈머 GPU 는 약 100 프레임으로 제한됩니다.
• 디노이징 스텝 vs 청크 크기: 디노이징 스텝 수는 지연 시간에 매우 큰 영향을 미치지만, 액션 청크 크기 (Action Chunk Size) 는 메모리 병목 현상 때문에 지연 시간에 거의 영향을 미치지 않습니다.
• 아키텍처 비교: 확산 기반 (Diffusion-based) 모델은 액션 청킹을 사용할 때 오토레거시 모델보다 1~2 차수 (orders of magnitude) 더 빠릅니다. 오토레거시 모델은 병렬 디코딩이 가능하거나 생성하는 액션 토큰 수가 매우 적을 때만 경쟁력이 있습니다.

B. 시스템 배포 및 네트워크

• 온디바이스 vs 서버: 대부분의 시나리오에서 **서버 측 추론 (Consumer GPU 포함)**이 온디바이스 추론 (Jetson Thor 등) 보다 성능이 우수합니다. 온디바이스 추론은 네트워크가 극도로 느린 경우 (4G 이하, 먼 클라우드) 에만 유리합니다.
• 디바이스 - 서버 협업: VLM 은 서버에서, 액션 전문가를 디바이스에서 실행하는 협업 방식은 KV 캐시 다운로드 지연으로 인해 대부분의 경우 온디바이스 단독 실행보다 느리며, 서버 단독 실행보다도 항상 느립니다.
• 비동기 추론: 서버 측 추론에서 로봇 실행과 추론을 비동기화하면, 특히 느린 무선 네트워크 (WiFi 7, 5G, 4G) 환경에서 처리량을 2.6 배 ~ 13.8 배까지 향상시킬 수 있습니다. (단, 지연 시간은 줄어들지 않음)
• 듀얼 시스템: 느린 VLM(System 2) 과 빠른 액션 모델 (System 1) 을 비동기로 실행하는 방식은 하드웨어와 네트워크 조건에 따라 성능 향상을 가져올 수 있으나, 네트워크 지연이 크면 효과가 감소합니다.

C. 목표 주파수 달성 (10Hz ~ 100Hz)

• 10Hz 달성: 최신 엣지 GPU (Jetson Thor) 나 엣지 서버 (RTX 4090 + 4G) 로도 π0 모델을 통해 달성 가능합니다.
• 100Hz 달성:
  • 온디바이스: 모델 크기 축소, 디노이징 스텝 감소, 양자화 등 모델 수준의 최적화가 필수적입니다.
  • 엣지/클라우드 서버: 강력한 데이터센터 GPU (B100) 와 고속 네트워크 (유선 또는 WiFi 7) 가 필요하며, 비동기 추론이 필수적입니다. 동기식 클라우드 추론은 네트워크 지연으로 인해 100Hz 달성이 어렵습니다.

5. 의의 및 결론 (Significance)

• 실용적 가이드라인 제공: VLA 모델 설계자와 시스템 엔지니어에게 실시간 성능을 달성하기 위한 구체적인 설계 결정 (모델 크기, 아키텍처 선택, 배포 전략) 에 대한 데이터 기반의 가이드라인을 제시합니다.
• 도구 공개: 연구에서 개발된 VLA-Perf를 오픈소스하여, 향후 다양한 VLA 모델과 시스템의 성능을 분석할 수 있는 기반을 마련했습니다.
• 미래 방향: 현재 연구는 조작 (Manipulation) 작업에 집중되어 있으나, 자율 주행, 4 족 로봇 등 다른 도메인으로 확장하고, 센서/구동 지연을 포함한 종합적인 로봇 시스템 성능 분석을 향후 과제로 남겼습니다.

이 논문은 VLA 의 추론 성능이 단순히 모델의 정확도뿐만 아니라 하드웨어, 네트워크, 아키텍처의 복합적인 상호작용에 의해 결정됨을 명확히 보여주며, 효율적인 로봇 시스템을 구축하기 위한 필수적인 통찰력을 제공합니다.