기술 요약: AnchorVLA

문제 정의

자율주행 계획(Planning)은 고수준의 내비게이션 의도, 교통 규칙, 동적 상호작용 및 언어 지시를 실행 가능한 연속적 궤적으로 변환하는 과정이 필요합니다. 시각-언어-행동(Vision-Language-Action, VLA) 모델은 롱테일 일반화, 상식적 추론, 설명 가능성을 향상시키기 위해 도입되었으나, 기존의 VLA 플래너는 고수준 언어 추론과 저수준 연속 궤적 실행 사이의 근본적인 추상화 간극(abstraction gap) 문제를 겪고 있습니다.

현재의 접근 방식은 일반적으로 두 가지 패러다임을 따르며, 두 방식 모두 한계가 있습니다:

1. 플래닝 헤드 기반 방식 (Planning-Head-Based Methods): VLM/LLM의 특징(feature)을 사용하여 독립적인 플래닝 헤드를 구동합니다. 이 방식은 빠른 연속 생성을 가능하게 하지만, 궤적 공간이 VLA 추론에 의해 약하게만 제약되어 있어 로컬 기동(maneuver)을 고수준 결정과 일관되게 정렬하기 어렵습니다.
2. 자기회귀 생성 방식 (Autoregressive Generation Methods): 궤적을 좌표 또는 웨이포인트 토큰으로 이산화하여 순차적으로 생성합니다. 이 방식은 LLM을 더 직접적으로 관여시키지만, 결과물인 액션 토큰의 정보 밀도가 낮습니다(단일 기하학적 점을 나타냄). 이는 긴 시퀀스, 이산화 오차 누적, 그리고 장면 문맥과의 약한 의미론적 대응성으로 이어져, 이산적 추상화에 대한 LLM의 강점을 충분히 활용하지 못하게 만듭니다.

방법론: AnchorVLA

저자들은 계층적 결정-앵커 기반(Decision-Anchored) VLA 계획 프레임워크인 AnchorVLA를 제안합니다. 핵심 아이디어는 액션 표현을 저수준 좌표 토큰에서 고수준의 **궤적 패턴 앵커(trajectory-pattern anchors)**로 격상시키는 것입니다. 이 앵커들은 고수준 VLA 추론과 저수준 연속 궤적 실행 사이의 명시적인 인터페이스 역할을 합니다.

프레임워크는 두 가지 주요 구성 요소로 이루어져 있습니다:

1. 결정-as-앵커 표현 (Decision-as-Anchor Representation, DAAR)

DAAR은 고수준 VLA 추론을 압축된 궤적 패턴 앵커 공간으로 매핑합니다. 저수준 좌표 토큰을 자기회귀적으로 생성하는 대신, 모델은 앵커로 표현되는 행동 수준의 주행 결정(예: 차선 유지, 브레이킹, 양보, 회전)을 예측합니다.

• 코드북 구축 (Codebook Construction): 훈련 궤적을 클러스터링하여 궤적 패턴 코드북 $\mathcal{A} = \{a_k\}_{k=1}^K$를 구축합니다. 각 앵커 $a_k$는 완전한 로컬 모션 패턴을 나타냅니다.
• 소프트 타겟 감독 (Soft Target Supervision): 정답(Ground-truth) 궤적을 앵커 공간으로 매핑합니다. 하드 라벨 대신, 궤적 패턴 공간에서의 국부적 연속성을 보존하기 위해 가장 가까운 앵커들에 대해 소프트 타겟 분포를 구축합니다.
• 모델링 변형 (Modeling Variants): 논문은 DAAR을 두 가지 방법으로 구현합니다:
  • 쿼리 기반 모델링 (Query-Based Modeling): 입력 시퀀스에 추가된 학습 가능한 쿼리를 사용하여 MLP 헤드를 통해 앵커를 분류합니다.
  • 자기회귀 모델링 (Autoregressive Modeling): 앵커에 대응하는 특수 토큰을 LLM 어휘(vocabulary)에 도입합니다. 이를 통해 LLM이 고유의 다음 토큰 예측 인터페이스를 사용하여 앵커를 예측할 수 있게 하며, 앵커 선택을 행동 수준의 토큰 예측으로 취급합니다.

2. 결정-앵커 기반 잔차 흐름 (Decision-Anchored Residual Flow, DARF)

행동 수준의 앵커가 선택되면, 최종 실행 가능한 궤적은 미세한 연속 정밀도를 가지고 생성되어야 합니다. DARF는 이 생성을 **앵커가 정의한 잔차 공간(anchor-defined residual space)**에서 모델링합니다.

• 잔차 공식화 (Residual Formulation): 최종 궤적 $\tau$는 $\tau = a_k + r_k$로 표현됩니다. 여기서 $a_k$는 선택된 앵커이고 $r_k$는 연속적인 잔차입니다.
• 플로우 매칭 (Flow Matching): 여러 가능한 교정치를 평균내는 결정론적 회귀와 달리, DARF는 선택된 앵커의 행동 공간 내에서 연속적 잔차의 다중 모드(multi-modal) 분포를 모델링하기 위해 플로우 매칭을 사용합니다. 이는 미세한 실행(예: 주변 에이전트에 따른 차선 변경의 미세한 변화)의 불확실성과 다양성을 포착합니다.
• 훈련 및 추론 (Training & Inference): 모델은 잔차 경로에 대한 속도장(velocity field)을 예측하도록 훈련됩니다. 추론 단계에서는 예측된 신뢰도 점수에 따라 상위 $M$개의 예측된 앵커에 대한 후보 궤적들을 생성하고 최종 출력을 선택합니다.

주요 기여

1. 계층적 프레임워크: 궤적 패턴 앵커를 명시적인 결정 인터페이스로 정립하여, 고수준 VLA 추론과 연속 궤적 실행을 연결하는 AnchorVLA를 제안합니다.
2. 새로운 표현법: 고수준 추론을 압축된 앵커 공간으로 매핑하는 DAAR과, 선택된 앵커 정의 공간 내에서 다중 모드 연속 정교화를 생성하는 DARF를 도입합니다.
3. 최첨단 성능 (SOTA): 궤적 패턴 앵커를 행동 수준의 결정 인터페이스로 사용하는 것이 추론 효율성을 희생하지 않으면서도 폐루프(closed-loop) 신뢰성과 의미론적-액션 정렬을 개선함을 입증했습니다.

실험 결과

이 방법은 CARLA 기반의 Bench2Drive 폐루프 벤치마크에서 평가되었습니다.

• 주요 지표: AnchorVLA는 비교된 모든 방법 중 가장 높은 **성공률(SR) 77.28%**와 주행 점수(DS) 89.92를 달연했습니다.
  • LinkVLA(강력한 자기회귀 베이스라인)와 비교했을 때, AnchorVLA는 경쟁력 있는 DS(89.92 vs 91.01)를 유지하면서 SR을 74.55%에서 77.28%로 향상시켰습니다.
  • BridgeDrive와 비교했을 때, DS(87.99 $\to$ 89.92)와 SR(74.99 $\to$ 77.28) 모두를 개선했습니다.
• 다중 능력 평가: 다양한 능력(합류, 추월, 브레이크, 양보, 교통 표지판)에 대해 우수한 평균 점수(74.22%)를 기록했으며, 특히 추월(Overtake) 점수(81.11%)에서 최고치를 달성했습니다.
• 절제 연구 (Ablation Studies):
  • 모델링: 자기회귀 앵커 모델링이 쿼리 기반 모델링 및 명시적 앵커 결정이 없는 변형보다 우수한 성능을 보였으며, 이는 LLM 토큰 공간 내에서 고수준 결정을 모델링하는 것의 이점을 확인시켜 줍니다.
  • 플로우 매칭: DARF(앵커 정의 잔차 플로우)가 결정론적 잔차 회귀 및 전체 궤적 플로우 매칭보다 우수한 성능을 보였습니다. 이는 압축된 앵커 정의 공간 내에서 잔차를 모델링하는 것이 제한된 단계 생성에 더 효과적임을 시사합니다.
  • 지연 시간 (Latency): 전체 궤적 시퀀스를 생성하는 대신 압축된 앵커 공간으로 자기회귀 생성을 제한함으로써, AnchorVLA는 추가 지연 시간을 크게 줄였습니다 (전체 궤적 자기회귀 베이스라인의 361ms 대비 64ms).

의의

본 논문은 궤적 패턴 앵커가 언어 수준의 추론과 연속 궤적 계획을 연결하는 효과적인 인터페이스 역할을 한다고 주장합니다. 정보 밀도가 낮은 긴 좌표 시퀀스를 자기회귀적으로 생성하는 대신, 압축되고 의미론적으로 유의미한 앵커를 바탕으로 추론함으로써, AnchorVLA는 LLM의 의사결정 강점을 보존하는 동시에 추론 효율성, 의미론적-액션 정렬, 그리고 연속 생성의 유연성을 향상시킵니다. 실험 결과는 이러한 계층적 접근 방식이 폐루프 자율주행을 위한 더 신뢰할 수 있는 행동 수준의 가이드를 제공함을 검증합니다.