기술 요약: Embodied.cpp

문제 정의

Vision-Language-Action (VLA) 모델과 World-Action Models (WAMs)를 아우르는 Embodied AI 모델의 실질적인 배포는 현재 파편화 문제로 인해 어려움을 겪고 있다. 기존 솔루션들은 모델별 Python 스택, 백엔드 가정, 그리고 각 로봇 패밀리마다 별도의 커스텀 "글루 코드(glue code)"에 의존하고 있어, 이질적인 에지 디바이스(예: Jetson, RK 기반 보드, x86 에지 박스)에서의 배포가 비효율적이고 비이동적이다.

또한, 기존의 범용 추론 런타임(예: llama.cpp, vLLM, ONNX Runtime)은 주로 균일한 토큰 인터페이스와 처리량 중심의 최적화를 목표로 하는 요청-응답형 서빙을 위해 설계되었다. 이러한 런타임들은 Embodied AI 배포에 요구되는 특유의 "런타임 계약(runtime contract)"을 충족하지 못한다. 해당 계약은 다음을 요구한다:

1. 다중 속도 실행(Multi-rate execution): 단일 폐쇄 루프 제어 주기 내에서 서로 다른 구성 요소(인식 인코더, 백본, 예측 브랜치, 액션 헤드)가 각기 다른 빈도로 동작해야 한다.
2. 지연 시간 우선 closed-loop 제어: 최적화 대상은 높은 처리량의 배치 프로세싱이 아니라, 이질적인 하드웨어 상에서 안정적이고 낮은 지연 시간 및 낮은 지터(jitter)를 갖는 배치-1(batch-1) 추론이다.
3. 확장 가능한 Embodied 인터페이스: 고정된 토큰 I/O를 넘어 커스텀 연산자, 이질적인 멀티모달 입력(이미지, 고유 수용 감각, 힘/촉각), 다양한 출력(액션 청크, 예측된 미래 등)을 지원해야 한다.

방법론: Embodied.cpp 아키텍처

저자들은 다양한 Embodied 모델의 실행을 통합하기 위해 설계된 휴대 가능한 C++ 추론 런타임인 Embodied.cpp를 제시한다. 이 시스템은 대표적인 VLA 및 WAM 모델에 대한 아키텍처 분석을 바탕으로 구축되었으며, 모델 간의 차이점은 소수의 플러그형 헤드와 예측 모듈로 국한된다는 공통 실행 경로를 식별하였다.

이 런타임은 이 공통 경로를 다음과 같은 5계층 아키텍처로 구성한다:

1. 입력 어댑터(Input Adapters): 타입이 지정된 embodied 인터페이스를 통해 온라인 센서 스트림과 오프라인 데이터셋 샘플(카메라, IMU, 힘/촉각 신호)을 흡수한다.
2. 시퀀스 빌더(Sequence Builders): 모델을 위한 입력 시퀀스를 구축한다.
3. 백본 실행(Backbone Execution): 핵심 트랜스포머 또는 백본 로직을 실행한다.
4. 헤드 플러그인(Head Plugins): 모델별 헤드(예: 액션 헤드, 예측 헤드, 월드 모델)를 처리한다.
5. 배포 어댑터(Deployment Adapters): 런타임 출력을 시뮬레이터(예: ManiSkill, Isaac Sim) 및 실제 로봇 소프트웨어 스택으로 연결한다.

핵심 설계 원칙

식별된 과제를 해결하기 위해 Embodled.cpp는 세 가지 설계 원칙을 준수한다:

• 모듈형 다중 속도 실행(Modular Multi-rate Execution): 명시적인 실행 단위와 공유 상태 풀(shared state pools)을 통해, 단일 동기 경로를 강제하지 않고도 구성 요소들이 서로 다른 갱신 빈도로 동작할 수 있도록 한다.
• 지연 시간 우선 융합 실행(Latency-First Fused Execution): 그래프 리플레이(graph replay), 버퍼 재사용, 연산자 퓨전(operator fusion), 그리고 이질적인 하드웨어(CPU, GPU, NPU) 상에서의 효율적인 소규모 배치 추론을 위한 백엔드별 디스패치를 통해 안정적인 제어 성능을 우선시한다.
• 확장 가능한 연산자 및 I/O 지원: 새로운 모델 패밀리와 커스텀 연산자를 런타임을 다시 빌드하지 않고도 수용할 수 있도록 타입이 지정된 인터페이스와 플러그형 헤드를 제공한다.

시스템에는 진화하는 아키텍처를 지원하기 위해 재사용 가능한 연산자와 모델별 커널을 포함하는 "Embodied AI 커널 창고(Kernel Warehouse)"가 포함되어 있다.

주요 기여

1. 아키텍처 분석: VLA 및 WAM 모델의 분류를 통해, 구조적 차이가 플러그형 모듈로 국한되는 공통 실행 경로를 밝혀내어 통합된 런타임 접근 방식을 가능하게 하였다.
2. 휴대 가능한 C++ 런타임: Embodied.cpp의 설계 및 구현을 통해, 위에서 설명한 5계층 아키텍처에 공통 실행 경로를 매핑하고 이질적인 에지 디바이스를 위한 백엔드 추상화를 제공한다.
3. 실증적 평가: 두 가지 VLA 모델과 예비 WAM 벤치마크에 대한 런타임 검증을 통해, 정확도를 유지하면서 효율성 향상을 입증하였다.

실험 결과

저자들은 두 가지 VLA 모델과 하나의 WAM 구성 요소에 대해 Embodied.cpp를 평가하였다:

• VLA 배포 (HY-VLA 및 pi0.5):

  • HY-VLA: RoboTwin 태스크(place_empty_cup)에 배포되어 100.0%의 작업 성공률을 달축성했다. 시스템은 더 큰 백본(Hunyuan-VL)과 복잡한 입력(3뷰, 비디오 히스토리)을 처리하며 735.9 ms의 분할 단계 지연 시간(amortized step latency)을 기록했다.
  • pi0.5: 더 가벼운 PaliGemma 백본을 사용하여 91.0%의 작업 성공률을 달성했다. 긴 액션 청크 전략 덕분에 더 낮은 분할 단계 지연 시간(56.85 ms)을 보여주었다.
  • 두 모델 모두 C++ 런타임을 통해 성공적으로 실행되었으며, 작업 동작을 유지하면서 피크 GPU 메모리(6.5–6.8 GiB)를 관리하였다.

• WAM 벤치마크 (LingBot-VA):

  • 로컬 에지 설정의 안정성 제약으로 인해, 저자들은 전체 폐쇄 루프 WAM 실행 대신 LingBot-VA 모델의 단일 트랜스포머 블록을 벤치마킹하였다.
  • 메모리 효율성: Q4_K 양자화를 사용한 C++ 구현은 블록 메모리를 **312.2 MiB (Python BF16)**에서 88.1 MiB로 감소시켰다.
  • 정확도: 양자화된 C++ 블록은 Python 베이스라인과 비교하여 평균 절대 오차(MAE) < $3.3 \times 10^{-2}$, 코사인 유사도 > $9.997 \times 10^{-1}$를 유지하며 높은 충실도를 보였다.
  • 지연 시간: C++ 경로는 단일 블록 계산에 대해 대등한 지연 시간(3.171 ms vs. 3.236 ms)을 달성하였다.

의의 및 주장

본 논문은 Embodied.cpp가 모델 구축과 신뢰할 수 있는 로봇 측 배포 사이의 결정적인 간극을 해결한다고 주장한다. 공통 실행 경로를 인프라로 취급하고 차이점이 있는 부분을 플러그인으로 처리함으로써, 이 런타임은 다음을 가능하게 한다:

• 휴대성: 단일 백엔드 추상화를 통해 이질적인 디바이스, 로봇, 시뮬레이터 전반에 걸친 배포가 가능하다.
• 효율성: (양자화를 통한) 상당한 메모리 감소와 폐쇄 루프 제어에 적합한 지연 시간 최적화 실행을 제공한다.
• 확장성: 완전한 소프트웨어 스택의 재구축 없이도 새로운 Embodied 모델 변체(VLA, WAM 및 미래의 아키텍처)를 수용할 수 있는 안정적이고 재사용 가능한 핵심 구조를 제공한다.

저자들은 Embodied.cpp를 일반적인 LLM 런타임의 대체재가 아니라, 처리량보다 상태 유지, 다중 속도, 저지연 제어를 우선시하는 Embodied AI의 독특한 "런타임 계약"을 위한 전문화된 솔루션으로 포지셔닝한다.