기술 요약: Jetson-PI

문제 정의

시각-언어-행동(VLA) 모델은 사전 학습된 시각-언어 모델(VLM)을 활용하고 로봇 시연 데이터셋에 미세 조정함으로써 구현된 태스크에서 탁월한 성능을 입증해 왔습니다. 그러나 이러한 모델을 저전력 온보드 장치(예: NVIDIA Jetson Orin)에 배포하는 데에는 두 가지 결정적인 장벽이 존재합니다:

1. 높은 추론 지연 시간: VLA 모델의 계산 복잡성으로 인해 상당한 추론 지연 시간(예: Jetson Orin에서 약 1.4초)이 발생하며, 이는 낮은 제어 빈도(약 0.7Hz)와 느린 반응 속도로 이어집니다.
2. 기존 비동기 추론의 한계: 비동기 추론(다음 추론과 행동 실행을 병렬화하는 방식)은 지연 시간을 숨길 수는 있지만, 에지 장치에서는 두 가지 구체적인 문제를 야기합니다:
   • 인지-실행 불일치: 액션 청크(action chunk)가 예측되어 실행될 즈음에는 환경이 예측에 사용된 입력 이미지에 비해 이미 변화해 있습니다. 이러한 불일치는 추론 시간이 길어질수록 심화되며, 예측 정확도를 떨어뜨립니다.
   • 긴 반응 시간: 로봇의 반응 속도는 여전히 VLA 추론 시간에 의해 제한됩니다. 또한, 기존의 비동기 방식은 안정성을 유지하기 위해 대개 긴 액션 청크를 필요로 하며, 이는 환경 변화에 대한 평균 반응 시간을 더욱 증가시킵니다.

고성능 GPU(예: RTX 4090)에 VLA 모델을 배포하는 것은 모바일 로보틱스 관점에서 심각한 전력 소비 문제(배터리 수명을 6.0배 감소시킴)와 서버로 실행할 경우의 네트워크 연결 필요성 때문에 실용적인 해결책이 될 수 없습니다.

방법론: Jetson-PI

저자들은 **예견 정렬 비동기 보정(Foresight-Aligned Asynchronous Correction)**을 통해 온보드 장치에서 효율적인 VLA 배포를 위한 프레임워크인 Jetson-PI를 제안합니다. 이 방법은 세 가지 핵심 구성 요소를 통해 식별된 과제들을 해결합니다:

1. 예견 정렬 비동기 보정 (Foresight-Aligned Asynchronous Correction)

인지-실행 불일치 문제를 해결하기 위해, 저자들은 경량화된 **미래 보정 모듈(Future Correction Module)**을 도입합니다.

• 메커니즘: 단순히 미래의 이미지나 로봇 상태만을 예측하는 대신, 이 모듈은 실행을 위해 확정된 행동(committed actions)을 조건으로 하여 시간 $t + \Delta$ (여기서 $\Delta$는 추론 지연 시간)에서의 미래 압축 VLM 표현(잠재 상태)을 예측합니다.
• 학습: 2단계 학습 파이프라인이 사용됩니다. 첫째, 행동 전문가(action expert)는 미래의 은닉 상태로부터 행동을 예측하도록 학습됩니다. 둘째, 보정 모듈은 현재 상태와 확정된 행동으로부터 이러한 미래 상태를 예측하고 신뢰도 추정치를 출력하도록 학습됩니다.
• 이점: 이를 통해 행동 전문가는 오래된 관측값이 아닌 미래의 환경 상태를 기반으로 행동을 예측할 수 있어, 예측을 실행 시점과 일치시킬 수 있습니다. 이 모듈은 매우 가볍습니다 (40M 파라미터, 전체 VLA 크기의 약 1%).

2. 신뢰도 기반 스케줄링 최적화 (Confidence-Based Scheduling Optimization)

반응 시간을 줄이기 위해, 저자들은 VLM과 행동 전문가 호출 사이의 균형을 맞추는 동적 스케줄링 전략을 제안합니다.

• 로직: 미래 보정 모듈이 스케줄러 역할을 합니다. 예측된 신뢰도가 임계값 $\theta$보다 높으면, 시스템은 무거운 VLM 추론을 건너뛰고 후속 액션 청크를 생성하기 위해 행동 전문가에만 의존합니다. 만약 신뢰도가 떨어지면(높은 불확실성 또는 상당한 환경 변화를 나타냄), VLM을 호출하여 KV 캐시와 은닉 상태를 업데이트합니다.
• 근거: 이는 VLM과 행동 전문가를 병렬로 실행하는 "나이브(naive)"한 접근 방식을 피하기 위함입니다. 저자들은 고성능 GPU에서는 VLM이 연산 집약적(compute-bound)인 것과 달리, 에지 하드웨어에서는 두 구성 요소 모두 대역폭 제한(bandwidth-bound)을 받기 때문에 병렬 실행이 비효로적임을 보여줍니다.

3. 시스템 레벨 가속 (System-Level Accelerations)

저자들은 에지 플랫폼의 VLA 특성에 맞춰 설계된 llama.cpp 기반의 추론 프레임워크를 구축했습니다:

• CUDA 그래프 재사용 (CUDA Graph Reuse): VLA 토큰 길이는 결정론적(고정된 이미지 해상도 및 짧은 지시문)이므로, CUDA 그래프를 한 번 구축하여 재사용함으로써 그래프 구축 오버헤드를 제거합니다.
• GPU 상주 중간 버퍼링 (GPU-Resident Intermediate Buffering): 구성 요소 간(ViT $\to$ LLM $\to$ Action Expert)의 중간 결과물을 GPU 메모리에 유지하여 CPU-GPU 통신 지연을 방지합니다.
• 플로우 매칭 언롤링 (Flow Matching Unrolling): 행동 전문가의 반복적인 디노이징(denoising) 단계를 단일 통합 계산 그래프로 언롤링하여 커널 런치 호출 횟수를 줄입니다.

주요 기여

1. 에지 특화 과제 식별: 본 논문은 표준 비동기 추론이 대역폭 경합과 로봇 상태만을 예측해서는 해결할 수 없는 인지-실행 불일치의 특수성 때문에 에지 장치에서 실패한다는 점을 강조합니다.
2. 예견 정렬 보정: 확정된 행동을 조건으로 미래의 VLM 잠재 표현을 예측하는 새로운 모듈을 제시하여, 행동 전문가가 미래의 환경 표현 위에서 작동할 수 있게 합니다.
3. 적응형 스케줄링: VLM 호출 빈도를 동적으로 조절하여 정확도를 희생하지 않으면서도 반응 시간을 크게 줄이는 신뢰도 기반 메커니즘을 제공합니다.
4. 에지 최적화 추론 엔진: 대역폭이 제한된 장치에서 처리량을 극대화하기 위해 그래프 재사용, 메모리 상주, 언롤링을 활용한 시스템 설계를 구현했습니다.

실험 결과

저자들은 LIBERO 벤치마크($\pi0.5$ 모델 사용)와 실제 로봇(PrimeBot X2-W)을 대상으로 Jetson-PI를 평가했습니다.

• 제어 빈도: NVIDIA Jetson Orin에서 Jetson-PI는 나이브한 PyTorch 추론 대비 8.66배, vla.cpp 대비 5.41배 향상된 제어 빈도를 달성했습니다.
• 성공률: LIBERO 벤치마크에서 Jetson-PI는 최신 비동기 방식인 VLASH보다 평균 성공률에서 14.8% 높은 성능을 보였습니다. VLASH와 RTC(Reinforced Trajectory Correction)는 추론 지연 시간($\Delta$)이 증가함에 따라 성능이 급격히 저하되는 반면, Jetson-PI는 높은 정확도를 유지합니다.
• 실제 환경 성능: 옷 접기 같은 복잡한 작업이 포함된 실제 실험에서, Jetson Orin 기반의 Jetson-PI는 RTX 4090 설정과 유사한 성능을 보였으며, 고성능 베이스라인과 비교했을 때 정확도 손실이 미미했습니다.
• 지연 시간 분석: 시스템 최적화(그래프 재사용, 버퍼링, 언롤링)를 통해 Jetson Orin에서의 총 반응 시간을 약 1.4초에서 약 0.16초로 단축했습니다.

의의 및 주장

본 논문은 Jetson-PI가 저전력, 배터리 구동 모바일 로봇에 대규모 VLA 모델을 배포하기 위한 실질적인 솔루션을 제공한다고 주장합니다. 에지 컴퓨팅의 특정 병목 현상인 대역폭 제약과 인지-실행 간의 시간적 간극을 해결함으로써, 이 방법은 고성능 GPU 클러스터의 전력 소모 없이도 고빈도, 고응답 로봇 제어를 가능하게 합니다. 저자들은 온보드 플랫폼이 근본적으로 GPU 클러스터에 비해 제한적이지만, Jetson-PI가 VLA의 응용 범위를 실험실 데모에서 실제 이동형 시나리오로 확장할 수 있는 유망한 경로임을 강조합니다.