기술 요약: 느린 뇌, 빠른 플래너 (Slow Brain, Fast Planner)

문제 정의

학습 기반의 로컬 플래너(Local Planner)는 도시의 보도 내비게이션에서 다양하고 동적으로 실행 가능한 후보 궤적을 실시간(5–20 Hz)으로 생성하는 데 탁월한 성능을 보입니다. 그러나 이들은 여러 옵션이 기하학적으로 실행 가능해 보이는 상황에서 최적의 후보를 선택하는 궤적 점수 산정(Trajectory Scoring) 단계에서 어려움을 겪습니다. 이러한 플래너들은 높은 수준의 시맨틱 이해도가 부족하여, 교차로에서의 유효한 경로 구분, 보행자 주변의 사회적 규범 준수, 또는 지형 경계(예: 잔디와 보도 구분) 인식과 같은 모호한 상황에서 오류를 범하곤 합니다.

저자들은 이를 **"궤적 점수 산정의 격차(Trajectory Scoring Gap)"**라고 정량화합니다. 도전적인 실제 환경에서 플래너가 가장 높게 평가한 선택지는 동일한 후보 집합 내의 최적 후보에 비해 상당히 높은 평균 변위 오차(ADE)를 보일 수 있습니다 (예: 1.64 m 대 0.39 m ADE). 시각-언어 모델(VLM)은 이러한 격차를 메울 수 있는 필요한 시맨틱 추론 능력을 갖추고 있지만, 추론 지연 시간(1–3초)이 길다는 단점이 있습니다. VLM을 엔드 투 엔드 시각-언어-행동(VLA) 모델로 직접 통합하거나 오래된(stale) VLM 궤적을 실행하는 방식은 동적 장애물이 있는 상황에서 안전하지 않은 동작을 초래하거나, 시스템 구성 요소 간의 긴밀한 결합 및 광범위한 재학습을 요구하게 됩니다.

방법론

본 논문은 지연 시간에 탄력적인 퓨전 레이어(Fusion Layer)로 연결된, 느린 시맨틱 VLM과 빠른 반응형 플래너를 분리하는 하이브리드 아키텍처인 Slow Brain, Fast Planner를 제안합니다.

1. 시스템 아키텍처

• Fast Loop (Planner): 로컬 플래너(구체적으로 앵커 기반 모델인 S2E)가 5–20 Hz의 속도로 $K$개의 후보 궤적을 생성합니다. 이 후보들은 구조적으로 운동학적으로 실행 가능하며 충돌이 없는 상태입니다. 플래너는 각 궤적에 신뢰도 점수 $S_1(\tau_i)$를 할당합니다.
• Slow Loop (VLM): 기성 VLM(예: Gemini, GPT-5, Qwen)은 현재 카메라 이미지 위에 $K$개의 후보 궤적이 색상이 있는 폴리라인(polylines)으로 겹쳐진 시각적 쿼리를 전달받습니다. VLM은 선택된 인덱스 $k^*$와 추론 과정(reasoning trace)을 출력합니다. 이 과정은 약 $\Delta t \approx 1\text{--}2$초가 소요됩니다.
• Fusion Layer: 시스템은 VLM의 궤적을 직접 실행하는 대신, VLM의 시맨틱 의도를 플래너의 실시간 점수 산정에 융합합니다.

2. 주요 기술 구성 요소

• 훈련이 필요 없는 선택 (Training-Free Selection): VLM은 플래너의 후보 집합에서 인덱스를 선택하도록 제로샷(zero-shot) 프롬프팅됩니다. 이는 VLA 학습 데이터가 필요하지 않으며, 새로운 파운데이션 모델이 출시될 때마다 시스템이 이를 즉시 활용할 수 있게 합니다.
• 호라이즌 인식을 포함한 기하학적 유사도 (Geometric Similarity with Horizon Awareness): 시간 지연을 처리하기 위해, 시스템은 오래된 VLM 궤적을 현재 로봇 프레임으로 모션 보상(motion-compensation)합니다. 시스템은 "유령" 과거 구간을 무시하고, 남은 호라이즌(로봇이 아직 통과하지 않은 궤적 부분)에 대해서만 유사도를 계산합니다.
  $$\text{Sim}(\tau_i, \tau_{vlm}) = -\frac{1}{d_{scale}} \cdot \frac{1}{N_{use}} \sum_{n=1}^{N_{use}} \|\tau_i[n] - \hat{\tau}_{vlm}[n]\|^2$$
• 오래됨에 따른 감쇠 (Staleness Decay): 구식의 조언이 제어 루프를 지배하여 발생하는 문제를 방지하기 위해, VLM 선택의 영향력은 시간($\Delta t$)에 따라 지수적으로 감소합니다:
  $$w(\Delta t) = \exp\left(-\frac{\Delta t}{\tau_{decay}}\right)$$
• 퓨전 전략 (Fusion Strategies):
  • 점수 퓨전 (Score Fusion): 가중치가 적용된 유사도 항을 플래너의 점수에 더합니다: $S_{fused} = S_1 + \lambda \cdot w(\Delta t) \cdot \text{Sim}$.
  • 확률 퓨전 (Probability Fusion): 플래너 점수의 소프트맥스(softmax) 분포와 VLM 유사도의 분포를 혼합합니다. 이는 VLM의 영향력을 제한($\alpha \le 1$)하여 하이퍼파라미터 민감도에 대한 안정성을 높여줍니다.
• VLM 스트리밍 (VLM Streaming): 이전 응답을 기다리지 않고 고정된 주기(예: 1 Hz)로 쿼리를 제출합니다. 시스템은 가장 최신의 응답을 융합함으로써 제어 루프가 차단되지 않도록 보장합니다.

주요 기여

1. VLM 증강 내비게이션의 공식화: 저자들은 문제를 엔드 투 엔드 행동 생성이 아닌 플래너 후보에 대한 선택 문제로 정의했습니다. 이를 통해 기성 VLM을 훈련 없이 배포할 수 있게 했습니다.
2. 지연 시간에 탄력적인 퓨전: 오래된 VLM 선택을 고주파 제어 루프에서 사용 가능한 신호로 변환하는 점수 퓨전 및 확력 퓨전 메커니즘을 제안했습니다. 이를 통해 1~2초의 지연에도 불구하고 지속적인 로봇 이동이 가능합니다.
3. 실증적 검증: 캠퍼스 보도를 주행하는 모바일 로봇을 통해 시스템을 입증하였으며, VLM 증강이 플래너의 반응형 능력을 유지하면서도 인간의 개입을 줄임을 보여주었습니다.

결과

오프라인 궤적 선택

약 2,000개의 시맨틱하게 도전적인 실제 시나리오(교차로, 보행자 조우 등) 데이터셋에서:

• 어려운 시나리오 (Hard Scenarios): VLM 선택기는 플래너의 argmax(1.64 m) 대비 30% 감소한 ADE(1.16 m)를 달보하여, 오라클-최적(oracle-best) 후보(0.39 m)에 근접했습니다.
• 일상적 시나리오 (Routine Scenarios): 플래너의 학습된 점수 산정이 VLM보다 경쟁력이 있거나 우수하게 나타났으며, 이는 퓨전 방식의 필요성을 입증합니다.

시뮬레이션 (폐쇄 루프 지연)

플래너가 손상되고 VLM 지연이 제어된 시뮬레이터에서:

• 점수 퓨전은 최대 5초의 지연까지 80% 이상의 성공률을 유지했습니다.
• 확률 퓨전 또한 이와 유사한 성능(5초 지연 시 약 78%)을 보였습니다.
• "VLM Hold"(오래된 궤적을 계속 실행)와 같은 베이스라인은 2초 이상의 지연에서 성공률이 급격히 떨어졌습니다.

실제 환경 배포

1.5–3.0초의 네트워크 지연이 발생하는 4륜 배달 로봇에 배포했을 때:

• 안전성: 확률 퓨전과 스트리밍을 사용했을 때 인간의 개입은 100m당 0.87회로 나타났습니다. 이는 플래너 전용 베이스라인 대비 75%, 단순 "VLM Hold" 실행 대비 89% 감소한 수치입니다.
• 자율성: 시스템은 개입 없이 111.7 m의 가장 긴 자율 주행 구간을 달성했습니다.
• 질적 평가: 인간 관찰자들은 특히 지형 경계 및 보행자 양보와 관련된 엣지 케이스에서 로봇의 동작이 "혼란스러운" 것이 아니라 "의도적인" 것처럼 보인다고 평가했습니다.

의의 및 주장

본 논문은 VLM 증강 내비게이션의 주요 병목 현상이 궤적 생성 자체가 아니라, 문맥에 따른 올바른 궤적의 선택에 있다고 주장합니다. VLM을 직접적인 제어 도구가 아닌 시맨틱 편향(semantic bias)을 제공하는 "느린 뇌"로 취급함으로써, 시스템은 다음과 같은 "최선의 조합"을 달성합니다:

• 파운데이션 모델의 시맨틱 추론 능력을 활용하여 전통적인 플래너가 실패하는 엣지 케이스를 처리합니다.
• 일상적인 상황에서는 학습된 플래너의 반응형 안전성과 속도를 유지합니다.
• 훈련이 필요 없는(training-free) 방식으로, 제어 스택을 재학습하지 않고도 새로운 VLM을 즉시 배포할 수 있습니다.

저자들은 본 연구의 범위가 **겸손하다(modest)**는 점을 강조합니다: 이 방식은 플래너의 후보 집합에 의존하며(좋은 후보가 없다면 VLM도 도울 수 없음), VLM이 일상적인 시나리오에서 "과하게 생각(overthink)"할 수 있음을 인정하고, 이를 조절하기 위한 퓨전 메커니즘이 필요함을 명시합니다. 이 연구는 고수준의 시맨틱 이해가 실시간 성능과 안전성을 희생하지 않고도 저수준 제어 루프에 통합될 수 있음을 보여줍니다.