기술 요약: 비동기 추론 방법론에 대한 이해 (시각-언어-행동 모델용)

1. 문제 제기

시각 - 언어 - 행동 (VLA) 모델은 시각적 관찰과 언어 지시를 행동으로 매핑하여 범용 로봇 제어의 패러다임으로 등장했습니다. 현대의 VLA 정책은 종종 **액션 청킹 (action chunking)**을 사용하여, 추론 비용을 분산시키고 누적 오류를 줄이기 위해 단일 순전파 (forward pass) 에서 $H$개의 미래 행동 시퀀스를 예측합니다. 그러나 대규모 VLA 모델은 높은 추론 지연 시간 (수십~수백 밀리초) 으로 고통받고 있습니다.

동기식 실행에서 로봇은 추론 동안 정지하게 되어, 제어 주파수가 추론 속도로 제한되므로 빠른 반응이 필요한 작업에는 비실용적입니다. 단순 비동기식 실행은 추론과 실행을 분리하여 새로운 청크가 도착하면 이를 전환합니다. 그러나 이는 세 가지 실패 모드를 초래합니다:

1. 청크 경계 불연속성: 새로운 청크가 로봇에 이미 할당된 행동과 호환되지 않습니다.
2. 관찰 노후화: 새로운 청크가 $d$단계 이전의 관찰 (여기서 $d$는 제어 단계 단위 추론 지연) 을 기반으로 조건부 설정됩니다.
3. 개방 루프 열화: 할당된 행동은 청크의 수명 동안 환경 변화에 적응할 수 없습니다.

이러한 문제를 완화하기 위해 IT-RTC, TT-RTC, VLASH, A2C2라는 네 가지 방법이 제안되었으나, 이들은 서로 호환되지 않는 코드베이스와 다른 기본 정책 및 평가 프로토콜로 개발되어 직접적인 비교가 불가능했습니다.

2. 방법론

저자들은 네 가지 방법을 조화된 라이브러리, 데이터셋, 기본 정책 하에 통합하기 위해 두 가지 통합 코드베이스 (JAX/Flax 기반의 bt-kinetix와 PyTorch/LeRobot 기반의 bt-libero) 를 개발했습니다. 이들은 다음에서 이러한 방법들을 벤치마크했습니다:

• Kinetix: MLP-Mixer 정책 ($H \in \{16, 30\}$) 을 사용한 10 개의 동적 환경이 포함된 2D 연속 제어 스위트.
• LIBERO: SmolVLA ($H=50$) 를 사용한 7 자유도 (7-DoF) 조작 벤치마크.

평가에서는 실제 배포 시나리오 (로컬 GPU 에서 4G 를 통한 클라우드 추론까지) 를 시뮬레이션하기 위해 최대 20 개의 제어 단계까지 추론 지연 ($d$) 을 스윕했습니다.

비교된 네 가지 방법

1. IT-RTC (훈련 없이 가이드를 통한 추론 시간 잔차 보정): 흐름 매칭 (flow-matching) 가이드를 사용하는 훈련 없는 접근법입니다. 새로운 청크의 처음 $d$개 행동을 알려진 제약 조건으로 간주하고, 의사 역행 가이드 항 (pseudoinverse-guidance term) 을 사용하여 디노이징 과정에서 나머지 $H-d$개 행동을 '인페인팅 (inpainting)'합니다. 재훈련은 필요 없으나 디노이징 단계마다 역전파 (VJP) 가 발생하여 단계당 FLOPs 가 세 배가 됩니다.
2. TT-RTC (훈련 시간 지연 시뮬레이션을 통한 훈련 시간 잔차 보정): 정책이 행동 접두어에 조건부 설정되도록 훈련 과정을 수정합니다. 정책은 할당된 접두어가 주어졌을 때 노후화된 접미사 행동만 예측하도록 학습합니다. 훈련 시 마스크된 손실과 노이즈가 없는 ground-truth 접두어를 사용합니다. 이는 추론 오버헤드가 전혀 없으며 IT-RTC 를 대체할 수 있는 드롭인 (drop-in) 솔루션입니다.
3. VLASH (시각 - 언어 - 행동 상태 인식 조건부 설정): 알려진 이전 행동을 사용하여 실행 시 로봇의 미래 상태를 추정함으로써 관찰 노후화 문제를 해결합니다. 정책은 노후화된 관찰 대신 '롤링 포워드 (rolled-forward)'된 상태에 조건부 설정됩니다. 시간 오프셋 훈련 증강을 사용합니다.
4. A2C2 (보정 헤드를 통한 비동기 행동 보정): 개방 루프 열화를 대상으로 합니다. 각 제어 단계에서 실행되는 경량 보정 헤드를 훈련하여 기본 정책의 노후화된 행동에 잔차 조정 ($\Delta a$) 을 방출합니다. 헤드는 최신 관찰, 기본 정책 특징, 청크 내 시간 특징에 조건부 설정됩니다. 다른 방법들과 조합 가능합니다.

3. 주요 기여

1. 통합 코드베이스: 네 가지 방법을 조화된 의존성과 함께 통합하여 최초의 체계적인 비교를 가능하게 한 bt-kinetix 및 bt-libero의 생성.
2. 체계적인 벤치마킹: 다양한 청크 크기 ($H$) 와 지연 ($d$ 최대 20) 을 가진 두 가지 다른 벤치마크 (Kinetix 및 LIBERO) 에 대한 포괄적인 평가로, 엣지 서버, 클라우드 추론 등 실제 배포와 관련된 영역을 포괄.
3. 실용적 통찰: 훈련 비용, 추론 오버헤드, 분포 외 (OOD) 지연 일반화 간의 트레이드오프 분석.

4. 결과

Kinetix 결과 (MLP-Mixer, $H=16, 30$)

• 성능: A2C2는 거의 모든 지연에서 가장 높은 절대 해결률을 달성했으며, $d=8$까지 90% 이상의 해결률을 유지했습니다. TT-RTC는 가장 견고한 훈련 기반 방법이었으며, 다양한 $d_{max}$ 선택에서 안정성을 보이고 OOD 지연으로 잘 일반화되었습니다.
• IT-RTC: 낮은 지연에서는 경쟁력이 있었으나 긴 청크 ($H=30$) 와 높은 지연 ($d > 8$) 에서 급격히 저하되었으며, 접두어 - 접미사 비율이 증가함에 따라 선형 VJP 근사가 실패함을 시사합니다.
• VLASH: 미세 조정 지연 범위 $[0, d_{max}]$에 의해 지배되는 트레이드오프를 보였습니다. 더 넓은 $d_{max}$는 고지연 견고성을 향상시켰으나 저지연 정확도를 저하시켰습니다.
• TT-RTC vs VLASH: TT-RTC 는 $d_{max}$ 선택에 거의 영향을 받지 않았으나, VLASH 는 예상 배포 지연에 맞춰 $d_{max}$를 신중하게 조정해야 했습니다.

LIBERO 결과 (SmolVLA, $H=50$)

• 순위 변화: Kinetix 에 비해 고지연에서 순위가 반전되었습니다. A2C2는 고지연 ($d \ge 4$) 에서 가장 강력한 방법이 되어 다른 방법들보다 약 10 포인트의 마진을 유지했습니다.
• IT-RTC 및 TT-RTC: 접두어 - 접미사 비율이 증가함에 따라 (더 긴 청크 크기 $H=50$로 인해) 두 방법 모두 크게 저하되었습니다. IT-RTC 는 $d=8$을 넘어서면 거의 베이스라인 성능으로 붕괴되었습니다. TT-RTC 는 Kinetix 에서 안정적이었으나 LIBERO 에서 상당한 정확도 하락을 보였습니다.
• VLASH: 더 넓은 $d_{max}$ ($8, 16$) 를 가진 변형들은 지연 전반에 걸쳐 놀라울 정도로 안정적이었습니다. 참고: 저자들은 LIBERO 에서의 VLASH 결과가 상태/행동 차원 불일치로 인해 ground-truth 미래 상태 (특권 정보) 에 의존하며, 이는 배포 가능한 변형들의 상한선 역할을 한다고 강조합니다.
• 지연 시간: TT-RTC 는 단순 베이스라인의 월시 클락 (wall-clock) 지연 시간과 일치했습니다. IT-RTC 는 약 16% 의 지연 시간 증가를 초래했습니다. A2C2 의 잔차 헤드는 직렬 실행 시 약 1.8% 의 지연 시간을 추가했습니다.

비용 분석

• 추론 오버헤드: IT-RTC 는 순차적 디노이징 루프 FLOPs 를 세 배로 증가시킵니다. A2C2 는 실행 지평선 $s$(예: LIBERO 의 50 단계) 에 비례하여 오버헤드가 누적되므로, 대규모 모델에서는 청크당 IT-RTC 보다 비용이 더 많이 들지만, 고립된 상태에서는 잔차 헤드가 경량입니다.
• 훈련 비용: TT-RTC 는 소규모 미세 조정 (Kinetix 에서 기본 비용의 약 25%) 을 필요로 합니다. VLASH 와 A2C2 는 더 광범위한 훈련 또는 재훈련이 필요합니다.
• 손익분기점: LIBERO 에서 TT-RTC 의 일회성 훈련 비용이 IT-RTC 의 반복적 추론 오버헤드를 상회하는 손익분기점은 약 290 만 에피소드입니다.

5. 중요성 및 주장

이 논문은 어떤 단일 방법도 모든 설정에서 우세하지 않으며, 최적의 선택은 특정 배포 제약 조건 (청크 크기, 예상 지연, 재훈련 가능성) 에 달려 있다고 주장합니다:

• 재훈련이 불가능하고 지연이 낮은 경우: IT-RTC는 현명한 드롭인 솔루션입니다.
• 미세 조정이 가능하고 청크가 짧은 경우: TT-RTC는 제로 추론 오버헤드와 견고한 OOD 일반화를 제공하는 거의 무료에 가까운 해결책을 제공합니다.
• 긴 청크 VLA 설정 (예: SmolVLA) 의 경우: A2C2는 고지연에 대해 가장 신뢰할 수 있는 선택이며 자연스럽게 다른 방법들과 조합됩니다.
• VLASH: 정확한 포워드 상태 모델이 사용 가능하고 미세 조정 시 배포 지연 범위가 알려진 경우 강력한 선택지로 남습니다.

저자들은 체계적인 비교가 이러한 방법들 간의 트레이드오프를 명확히 하여 향후 VLA 설계 및 배포 전략에 정보를 제공한다고 결론지었습니다. 그들은 VLASH 의 LIBERO 에 대한 오라클 미래 상태 의존성과 고정 정수 지연 가정과 같은 한계를 명시적으로 지적하며, 실제 세계의 가변적 지연 조건은 TT-RTC 및 A2C2 와 같은 지연 인식 방법을 더욱 선호할 수 있음을 시사합니다.