Think at 5 Hz, Act at 20 Hz: Asynchronous Fast-Slow Vision-Language-Action Inference for Closed-Loop Driving

기술 요약: 폐쇄 루프 주행을 위한 비동기적 Fast-Slow 시각-언어-행동(VLA) 추론

문제 정의

대규모 시각-언어 모델(VLM)은 엔드 투 엔드 자율 주행에 지시 이행 및 장면 추론 능력을 도입했습니다. 그러나 이들의 높은 추론 지연 시간은 폐쇄 루프 주행에 필요한 제어 속도(일반적으로 20 Hz, 즉 50 ms 틱)와 근본적인 충돌을 일으킵니다. LMDrive와 같은 기존 에이전트는 이를 해결하기 위해 시뮬레이션 틱을 건너뛰는 방식을 사용합니다. 즉, 모델은 교차 틱마다 실행되며 그 사이에는 이전 명령을 재재생합니다. 이러한 "프레임 스킵(frame-skipping)" 방식은 차량이 가장 최근의 관측을 무시한 채 50~100 ms 동안 오래된 결정에 따라 행동하게 만듭니다. 저자들은 이것이 근본적인 한계라기보다 구조적 한계라고 주장합니다. 왜냐하면 지시 사항 이해와 시간적 집계는 느리게 변하는 반면, 현재 프레임을 궤적으로 매핑하는 작업은 빨라야 하기 때문입니다.

방법론

본 논문은 무거운 추론을 담당하는 VLM을 고주파 제어 루프로부터 분리하는 Fast-Slow 비동기 아키텍처를 제안합니다.

1. 시스템 분해:

   • Slow System (백본): 고정된 7B LLaMA 백본(LMDrive 기반)이 느린 시스템 역할을 합니다. 이는 낮은 빈도(예: 매 $K=4$ 틱마다)로 주행 지시 사항과 시각적 이력을 처리합니다. 결정적으로, 이 모델은 장면의 정적인 표현으로서 각 레이어의 키-값(KV) 캐시를 노출합니다. 백본은 증분적 순방향 패스(incremental forward pass)를 통해 이 캐시에 새로운 시각적 토큰을 추가하며, 특정 무효화 이벤트(지시 변경, 에피소드 종료 또는 윈도우 제한) 발생 시에만 캐시를 전체적으로 재구축합니다.
   • Fast System (액션 전문가): 경량화된 337M 파라미터 트랜스포머가 빠른 시스템 역할을 합니다. 이는 매 시뮬레이션 틱(20 Hz)마다 실행됩니다. 이 모델은 매 틱마다 백본의 캐시된 KV 상태에 대해 교차 주의(cross-attention)를 수행하면서, 현재 카메라 프레임과 에고 상태 토큰(이전 예측값 및 속도 포함)을 처리합니다. 이 모델은 단일 순방향 패스에서 5개의 웨이포인트를 회귀합니다. 백본은 전문가의 토큰에 주의를 기울이지 않으므로, 전문가가 실행되든 아니든 캐시는 동일하게 유지됩니다.

2. Staleness-Augmented Training (지연 보강 학습):
   배포 시 캐시는 현재 세계 상태보다 최대 $K$ 틱만큼 뒤처져 있으므로, 전문가는 지연된 컨텍스트 상에서 작동하는 법을 배워야 합니다. 저자들은 **무작위 지연(randomized staleness)**을 학습에 도입합니다. 각 샘플에 대해 무작위 지연 $\delta$를 적용하여, 전문가에게 보이는 백본 프리픽스(prefix)가 $j - \delta$ 프레임에서 끝나도록 마스킹합니다. 이를 통해 전문가는 오래된 장면 요약과 신선한 틱별 증거를 융합하도록 강제되며, 이는 비동기적 배포 현실과 학습 분포를 일치시킵니다.

3. 비동기 배포:
   에이전트는 백본 캐시를 가변 상태(mutable state)로 유지합니다. 매 $K$ 틱마다 느린 시스템이 캐시를 업데이트합니다. 매 틱마다 빠른 시스템은 기존 캐시와 현재 프레임을 읽어 제어를 생성합니다. 이를 통해 시스템은 히스토리 길이에 관계없이 매 틱마다 독립적인 비용으로 20 Hz의 신선한 제어를 발행할 수 있습니다.

주요 기여

1. 비동기적 Fast-Slow 추론 체계: VLM 백본을 캐시되고 증분적으로 업데이트되는 컨텍스트 제공자로 변환하고, 모든 틱별 연산을 경량 전문가로 이동시키는 새로운 아키텍처를 제시했습니다.
2. Staleness-Augmented Training: 비동기 배포에서 발생하는 캐시 지연을 명시적으로 시뮬레이션하여, 전문가가 오래된 컨텍스트를 보완할 수 있게 하는 학습 전략을 제안했습니다.
3. 측정된 지연 시간을 포함한 최초의 폐쇄 루프 평가: 지연 시간이 단순히 기록되는 데 그치는 오픈 루프 벤치마크를 넘어, 소비자용 하드웨어(RTX 3090 Ti)에서 전체 제어 속도를 달성하는 Fast-Slow VLA 패러다임을 최초로 입증했습니다.

실험 결과

CARLA(Town 05)의 LangAuto-Short 벤치마크에서 평가되었으며, 미학습 타운에 대한 제로샷 전이 성능도 확인했습니다:

• 경로 완수율(Route Completion): 프레임 스킵 베이스라인과 비교했을 때 경로 완수율을 37.0%에서 94.0%로 높였습니다.
• 주행 점수(Driving Score): 주행 점수가 28.8에서 32.9로 향상되었습니다.
• 요인별 절제 실험(Ablation):
  • 전문가 품질: 동일한 전문가를 베이스라인의 10 Hz(프레임 스킵) 속도로 실행했을 때 주행 점수가 34.0으로 향상되었으며, 이는 전문가 자체가 의사결정 품질을 개선함을 나타냅니다.
  • 제어 신선도(Control Freshness): 10 Hz에서 20 Hz(매 틱마다 신선한 제어)로 전환했을 때 경로 완수율이 82.1%에서 94.0%로 증가했고, 경로 이탈은 절반 이상 감소했으며, 신호 위반은 3분의 1로 줄었습니다.
• 지연 시간: 기존 방식(전체 재계산)은 스텝당 89~169 ms가 소요되어 50 ms 예산을 초과합니다. 제안된 방식은 히스토리 길이에 관계없이 틱당 32 ms의 일정한 비용(32.4 ms 모델 연산)을 유지하여 50 ms 예산 내에 안정적으로 들어옵니다.
• 오픈 루프 정확도: 전문가는 웨이포인트 L1 오차를 0.123(고정된 백본 헤드)에서 0.031로 줄였으며, 이는 거의 4배의 개선입니다.
• 제로샷 전이(Zero-Shot Transfer): Town 05에서만 학습되었음에도 불구하고, 전문가는 Town 01에서 84.3%, Town 02에서 94.4%의 완수율을 달성하여 베이스라인(각각 40.5%, 30.7%)을 크게 앞질렀습니다.
• 한계점: 학습 시 보지 못한 Town 03의 긴 경로에서 시스템은 85.4%의 경로를 완수했으나, 밀집된 교통 상황 및 장기적 위험 협상에 대한 학습 데이터 부족으로 인해 충돌 및 신호 위반과 같은 안전 문제가 발생했습니다.

의의 및 주장

본 논문은 VLM 기반 주행의 지연 문제이 아키텍처의 문제가 아닌 구조적 문제라고 주장합니다. 느리고 추론 집약적인 구성 요소와 빠르고 반응적인 구성 요소를 분리함으로써, 시스템은 다음을 달ato합니다:

• 신선한 제어: 대규모 모델의 추론 능력을 희생하지 않으면서 모든 시뮬레이션 틱에 반응할 수 있는 능력.
• 확장성: 틱당 비용이 히스토리 길이에 독립적이므로, 긴 호흡의 추론을 수행하면서도 추론 시간을 늘리지 않을 수 있습니다.
• 성능 향상: 더 나은 액션 전문가와 틱별 신선도의 결 combination은 프레임 스킵 베이스라인에 비해 경로 완수율과 안전성 지표(이탈 및 위반 감소)를 획기적으로 개선합니다.

저자들은 본 시스템이 시뮬레이션에서 상당한 개선을 보여주었지만, 여전히 짧은 경로에 대한 시뮬레이션 연구라는 점을 강조합니다. 또한, 장기적 위험 협상에서의 성공 여부는 아키텍처 자체가 아니라 학습 데이터에 의해 제한된다는 점을 명시하며, 본 시스템이 아직 실제 도로 배포를 위한 단계는 아니라고 경고합니다.