Addressing the Waypoint-Action Gap in End-to-End Autonomous Driving via Vehicle Motion Models

기술 요약: 차량 운동 모델을 통한 엔드 투 엔드 자율 주행의 웨이포인트-액션 간극 해결

1. 문제 정의

현재 엔드 투 엔드 자율 주행(E2E-AD) 시스템은 출력 방식에 따라 두 가지 패러다임으로 양분되어 있다: 미래 궤적을 예측하는 **웨이포인트 기반 모델(waypoint-based models)**과 저수준 제어값(스로틀, 조향, 브레이크)을 직접 출력하는 **액션 기반 모델(action-based models)**이다. 액션 기반 정책은 고정밀 GPS에 대한 의존도를 낮추고 연결성이 불량한 농촌 지역에 더 적합하다는 장점이 있지만, 연구 커뮤니티는 점차 웨이포인트 기반 접근 방식을 선호하는 추세다.

이러한 변화는 "웨이포인트-액션 간극(Waypoint–Action gap)"을 야기했다. 대부분의 현대적 벤치마크(예: NAVSIM, Bench2Drive)와 학습 파이프라인은 오직 웨이포인트 출력을 위해 설계되었다. 결과적으로, 액션 기반 정책은 비표준 인터페이스(예: 제어 공간의 이산화)를 도입하지 않고서는 이러한 프레임워크 내에서 직접 학습하거나 평가할 수 없다. 이러한 불균형은 액션 기반 방법론의 공정한 비교와 발전을 저해한다. 본 논문은 기존의 평가 프로토콜을 수정하지 않고도 액션 기반 아키텍처를 학습 및 평가할 수 있게 함으로써 이 간극을 메우고자 한다.

2. 방법론

저자들은 액션과 웨이포인트 표현 사이의 분석적 가교 역할을 하는 미분 가능한 차량 모델 프레임워크를 제안한다. 핵심 메커니즘은 예측된 액션 시퀀스를 그에 상응하는 에고 프레임(ego-frame) 웨이포인트 궤적으로 전개하는 **리프팅 연산자(lifting operator, $F_\phi$)**이다. 이를 통해 시스템은 웨이포인트 공간의 손실 함수를 사용하여 액션 기반 정책을 감독할 수 있다.

주요 구성 요소:

• 리프팅 연산자 ($F_\phi$): 이 연산자는 저수준 액션 시퀀스($a_t$)와 초기 차량 상태($s_t$)를 입력받아 일련의 웨이포인트 시퀀스($w_t$)를 생성한다. 이는 세 가지 모듈형 미분 가능 컴포넌트로 분해된다:
  1. 제어 활성화 ($\psi_\phi$): 가공되지 않은 네트워크 출력을 유계된 물리적 제어값으로 매핑한다 (예: 스로틀 및 조향에 sigmoid/tanh 사용).
  2. 다이내믹스 롤아웃 ($f_\phi$): 차량 역학을 사용하여 시간의 흐름에 따라 운동학적 상태를 전방으로 전파한다.
  3. 포즈 투영 ($h$): 전체 상태 벡터로부터 평면 위치 $(x, y)$를 추출한다.
• 모델 인스턴스화: 프레임워크는 두 가지 특정 차량 모델로 구현된다:
  • 운동학적 자전거 모델 (Kinematic Bicycle Model, KBM): 비홀로노믹 제약 조건을 포착하는 단일 트랙 모델이며, Euler 또는 Runge-Kutta (RK4) 방법을 통해 통합된다.
  • 연속 곡률 경로 플래너 (Continuous Curvature Path Planner, CCPP): 직선-원형 경로의 조향 불연속성을 피하기 위해 클로소이드 호(clothoid arcs)를 사용하여 매끄러운 궤적을 생성하는 모델이다.
  • MLP 베이스라인: 물리 기반 모델과 비교하기 위한 데이터 기반 리프팅 연산자로 다층 퍼셉트론(MLP)이 사용된다.
• 학습 파이프라인: 정책 네트워크($N_\theta$)는 관측값과 명령으로부터 액션을 예측한다. 이 액션들은 미분 가능한 리프팅 연산자를 통과하여 예측된 웨이포인트를 생성한다. 예측된 웨이포인트와 실제(ground-truth) 웨이포인트 사이의 가중 L1 손실이 계산된다. 그래디언트는 리프팅 연산자를 통해 역전파되어 정책 파라미터를 업데이트하는 반면, 차량 모델 파라미터는 고정된 상태를 유지한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

1. 액션 정책을 위한 웨이포인트 기반 학습 목적 함수: 저자들은 액션 정책을 프레임워크에 결합하고 웨이포인트 공간의 손실로 감독하는 것이 표준 액션 공간 목적 함수보다 더 안정적인 평가, 더 높은 폐루프(closed-loop) 성능, 그리고 주행 결과와의 더 강력한 상관관계를 결과로 낸다는 것을 입증했다.
2. 미분 가능하고 결정론적인 프레임워크: 본 연구는 저수준 액션을 웨이포인트로 리프팅하기 위해 특별히 설계된, 최초의 결정론적이고 미분 가능한 차량 역학 프레임워크를 소개하며, 이를 통해 액션 기반 모델의 벤치마크 활용을 가능하게 한다.
3. 패러다임 간의 통합된 비교: KBM과 CCPP를 통해 프레임워크를 구현함으로써, 저자들은 기존의 웨이포인트 프로토콜을 변경하지 않고도 액션 기반 및 웨이포인트 기반 정책을 동일한 웨이포인트 프로토콜 하에서 학습하고 평가할 수 있도록 하였다.

4. 실험 결과

프레임워크는 네 가지 도전적인 벤치마크(NAVSIM navtest, NAVSIM navhard, Bench2Drive, CARLA 기반 프로토콜)에서 평가되었다.

• NAVISM navhard (반응형): 이 접근 방식은 비전 전용 모델들 중 **최고 수준의 성능(SOTA)**을 달이트했다. 구체적으로, CCPP 리프팅 연산자와 결합된 MILE 모델은 29.5의 EPDMS(Extended Predictive Driver Model Score)를 기록하며 가장 강력한 비전 전용 베이스라인인 Latent TransFuser를 능가했다.
• NAVSIM navtest (비반응형): 프레임워크는 액션 기반 정책이 웨이포인트 기반 베이스라인과 대등하거나 근접하게 따라잡을 수 있게 했다. KBM과 결 함께한 CIL++는 83.3의 PDMS(Planning Discrepancy Metric Score)를 달성하였으며, 이는 최첨단 웨이포인트 전용 모델인 LAW의 1.5% 이내 수준이다.
• Bench2Drive (폐루프): 프레임워크는 폐루프 성능을 크게 향상시켰다. CIL++ 베이스라인의 경우, CCPP를 사용했을 때 주행 점수(Driving Score, DS)가 최대 61.1%(43.6에서 66.9로) 향상되었고, 경로 완수율(Route Completion, RC)은 30% 이상 개선되었다.
• 학습 안정성: RK4 적분(특히 CCPP와 함께 사용 시)은 Euler 적분에 비해 학습 다이내믹스의 분산을 크게 줄여, 더욱 견고한 모델 선택을 가능하게 했다.
• 상관관계 연구: 논문은 프레임워크(KBM/CCPF)에 의해 생성된 웨이포인트 수준의 오차가 원시 액션 공간 오차보다 폐루프 성공률과 더 강한 상관관계를 가진다는 것을 발견했다. 이는 궤적 수준의 감독이 실제 환경의 성능을 나타내는 더 나은 대리 지표임을 시사한다.

5. 의의 및 주장

본 논문은 제안된 프레임워크가 웨이포인트 기반과 액션 기반 자율 주행 사이의 방법론적 격차를 효과적으로 해소한다고 주장한다. 액션 기반 정책을 지배적인 웨이포인트 중심 벤치마크 생태계 내에서 학습하고 평가할 수 있게 함으로써, 본 연구는 제어 기반 접근 방식의 발전과 비교를 가로막는 중요한 장벽을 제거한다.

저자들은 이 방법이 기존 벤치마크 프로토콜을 수정할 필요가 없다는 점을 강조하며, 이는 액션 기반 정책을 적응시키기 위한 일반적인 메커니즘임을 밝힌다. 또한, 프레임워크가 평면 운동($R^2$)을 가정하고 뱅킹(banking)이나 서스펜션과 같은 3D 효과를 무시한다는 점을 언급하면서도, 물리적 차량 모델을 활용하여 엔드 투 엔드 학습의 안정성과 성능을 성공적으로 개선했다고 밝혔다. 이 연구는 미분 가능한 리프팅을 통해 운동학적 구조를 통합하는 것이, 특히 오차가 시간에 따라 누적되는 반응형 환경에서 유익하다는 점을 시사한다.