기술 요약: 자율주행을 위한 테스트 시점 궤적 최적화 (TOAD)

1. 문제 정의

엔드 투 엔드(E2E) 자율주행 플래너는 일반적으로 "생성 및 선택(generate-and-select)" 패러로다임을 따릅니다. 즉, 유한한 후보 궤적 집합(사전 계산된 어휘집으로부터 생성되었거나 실시간으로 생성된 것)을 생성하고, 학습된 스코어러(scorer)를 사용하여 이들을 순위 매긴 후 가장 높은 점수를 받은 옵션을 반환합니다.

저자들은 이 파이프라인에서 결정적인 병목 현상을 식별했습니다. 바로 스코어러가 생성 이후에만 적용되며, 후보 집합 자체에는 영향을 미칠 수 없다는 점입니다. 만약 초기 제안된 집합이 부적절하다면(예: 모든 후보가 안전하지 않거나 비효ền적인 경우), 플래너는 스코어러의 품질과 관계없이 "나쁜 집합 중 최선"을 반환할 수밖에 없습니다. 기존 방식들은 스코어러를 고정된 집합에 대한 단순한 순위 매기기 메커니즘으로 취급하며, 더 나은 궤적을 능동적으로 탐색하기 위한 목적 함수로 사용할 기회를 놓치고 있습니다.

또한, 본 논문은 기존의 많은 스코어러가 가진 숨겨진 약점을 강조합니다. 고정된 어휘집(vocabulary)을 평가하도록 학습된 스코어러들은 학습 분포를 벗어난 궤적에 대해 일반화하는 데 실패하는 경경향이 있습니다. 이를 탐색을 위한 보상 함수로 사용할 경우, 스코어러가 새로운 자유 디코딩 궤적에 대해 부정확하기 때문에 "보상 해킹(reward hacking)"이나 성능 저하를 초0 유발할 수 있습니다.

2. 방법론: TOAD

저자들은 TOAD(Test-time Optimization for Autonomous Driving)를 제안합니다. 이는 고정된 E2E 스코어러를 학습된 보상 함수로 재정의하고, 추론 시점에 궤적 공간에 대한 탐색을 수행하는 플러그 앤 플레이(plug-and-play) 절차입니다.

핵심 알고리즘: 교차 엔트로피 방법 (Cross-Entropy Method, CEM)

TOAD는 고정된 베이스 플래너를 CEM 기반의 추론 루프로 감쌉니다:

1. 웜 스타트(Warm-Start) 및 신뢰 영역(Trust Region): 탐색은 베이스 플래너가 선택한 궤적($\tau_{base}$)과 그 후보 집합을 사용하여 초기화됩니다. 이는 탐색 범위를 플래너의 제안 주변의 "신뢰 영역" 내로 제한하여, 스코어러가 신뢰할 수 있는 분포 내에서 탐색이 이루어지도록 보장합니다.
2. 제어 공간 탐색 (Control Space Search): 포즈 공간에서 직접 샘플링하는 대신(이는 동역학적으로 불가능한 궤적을 생성함), TOAD는 제어 공간에서 샘플링합니다. 역운동학 바이시클 모델(inverse kinematic bicycle model)을 사용하여 궤적을 종방향 가속도($a_t$)와 요 레이트($\omega_t$)의 시퀀스로 매핑합니다. 이를 통해 샘采样된 모든 궤적이 매끄럽고 운동학적으로 실행 가능하도록 보장합니다.
3. 목적 함수: CEM은 다음과 같은 합성 목적 함수 $J(u)$를 최대화합니다:
   $$J(u) = S(\text{BM}(u, v_0); o, g) - \lambda_a C_{anchor}(u) - \lambda_c C_{comf}(u)$$
   • $S$ (Scorer): 고정된 플래너로부터 얻은 학습된 보상입니다.
   • $C_{anchor}$: 신뢰 영역을 유지하기 위해 베이스 플래너의 앵커 궤적으로부터의 편차에 페널티를 주는 정규화 항입니다.
   • $C_{comf}$: 학습된 스코어러가 거칠게 추정할 수 있는 부분을 보완하기 위해 가속도, 저크(jerk) 등에 페널티를 주는 폐쇄형(closed-form) 컴포트 정규화 항입니다.
4. 반복적 정교화 (Iterative Refinement): 각 반복마다 가우시안 분포에서 $M$개의 제어 시퀀스를 샘플링하고, 이를 궤적으로 전개(rollout)한 뒤 점수를 매깁니다. 그 후 상위 $E$개의 "엘리트(elite)" 시퀀스를 사용하여 가우시안 파라미터($\mu, \sigma$)를 다시 적합(refit)시킵니다.
5. 최종 선택: $K$번의 반복 후, 수렴된 평균에 의해 유도된 궤적을 원래의 베이스 제안과 비교합니다. 최종 점수(컴포트 페널티 포함)가 더 높은 것을 선택합니다.

핵심 설계 선택: 스코어러

모든 스코어러가 TOAD에 적합한 것은 아니라는 점이 중요한 발견입니다.

• 고정 어휘집 스코어러 (Fixed-Vocabulary Scorers): 사전 계산된 궤적을 순위 매기는 데만 학습된 스코어러(예: Hydra-MDP, GTRS)는 탐색을 위한 보상으로 사용될 때 실패합니다. 이들은 특정 어휘집을 벗어난 궤적에 대해 성능이 급격히 저하됩니다.
• 분리된 스코어러 (Disentangled Scorers): TOAD는 자유롭게 디코딩된 궤적을 평가하도록 학습된 스코어러(예: DrivoR의 스코어러)를 필요로 합니다. 이러한 스코어러는 제안 분포 밖에서도 정확도를 유지하므로, CEM 루프를 위한 유효한 보상 함수가 됩니다.

3. 주요 기여

1. 스코어러의 재정의: 저자들은 E2E 궤적 스코어러를 단순히 고정된 집합에 대한 순위 도구가 아니라, 최적의 궤적 탐색을 가이드할 수 있는 학습된 보상 함수로 바라볼 것을 제안합니다.
2. TOAD 프레임워크: 기존 베이스 플래너를 재학습 없이 그대로 사용할 수 있는 테스트 시점 탐색 알고리즘입니다. CEM을 사용하여 제어 공간에서 궤적을 최적화하며, 베이스 플래너의 제안으로부터 웜 스타트를 수행합니다.
3. 스코어러의 한계 식별: 본 연구는 표준적인 순위 평가 방식이 스코어러의 일반화 능력을 드러내지 못한다는 점을 폭로합니다. TOAD는 성공적인 테스트 시점 최적화를 위해서는 제안된 궤적 너머로 일반화할 수 있는 스로러가 필요하며, 이는 고정 어휘집 방식에는 결여된 특성임을 입증합니다.
4. 플러그 앤 플레이 성능: TOAD는 여러 벤치마크에서 다양한 베이스 플래너(어휘집 기반 및 온더플라이 생성기 모두 포함)의 성능을 무시할 만한 계산 오버헤드와 모델 업데이트 없이 개선합니다.

4. 실험 결과

본 방법론은 NAVSIM-v1, NAVSIM-v2, 그리고 폐루프(closed-loop) 시뮬레이터인 HUGSIM에서 평가되었습니다.

• NAVISM-v2 (새로운 SOTA 달성):

  • DrivoR에 TOAD를 적용했을 때 56.3 EPDMS를 달성하였으며, 이는 특권 정보(privileged information)를 사용하는 PDM-Closed 베이스라인(56.6)에 거의 근접하는 새로운 SOTA 결과입니다.
  • 모든 플래너에서 유의미한 성능 향상이 관찰되었습니다. 예를 들어, iPad는 +43.6%(34.7에서 49.8 EPDMS로) 향상되었고, DrivoR은 +3.1% 향상되었습니다.
  • 탐색은 약한 플래너와 강한 플래너 사이의 성능 격차를 효과적으로 좁혔으며, 특히 약한 플래너에서 더 큰 이득을 보였습니다.

• NAVSIM-v1:

  • 일관된 개선이 확인되었으며, DrivoR + TOAD는 94.7 PDMS에 도달하여 인간 운전자 베이스라인(94.8)에 단 0.1점 차이로 근접했습니다.

• HUGSIM (폐루프):

  • TOAD는 사실적인 장면에서 안전 지표(충돌 없음, 주행 가능 영역, 충돌 시간 등)와 컴포트(comfort)를 개선했습니다.
  • 경로 완수율(Route Completion, RC)은 때때로 감소하였으나(더 신중한 주행을 의미), 전반적인 드라이빙 스코어(HDS)는 특히 nuScenes와 KITTI360에서 향상되었습니다.

• Ablation Studies (소거 실험):

  • 탐색 vs. 재순위 매기기 (Search vs. Re-ranking): 베이스 플래너의 제안을 스코어러로 단순히 재순위 매기는 것은 일관되지 않은 결과(때로는 성능 저하)를 낳았습니다. 이득은 원래의 집합 외부에서 새로운 궤적을 찾아내는 탐색 과정에서 구체적으로 발생했습니다.
  • 스코어러의 필요성: 일반화되지 않는 스코어러(예: GTRS)를 보상으로 사용하면 베이스라인보다 성능이 떨어졌으며, 이는 일반화되는 스코어러의 필요성을 확인시켜 줍니다.
  • 제어 공간 (Control Space): 제어 공간에서의 최적화가 궤적 공간에서의 직접 샘플링보다 우수한 성능을 보였습니다.

• 계산 비용:

  • 오버헤드는 매우 적습니다. 탐색은 반복 횟수 $K$에 따라 샘플당 1.9 ms에서 20.4 ms만을 추가합니다.
  • 스코어러가 베이스 플래너의 일부인 경우(인식 백본을 공유하는 경우), 비용은 거의 무료에 가깝습니다. 외부 스코어러를 사용하는 경우, 비용은 중복되는 인식 백본(~100 ms)에 의해 결정되지만, 탐색 자체는 여전히 가볍습니다.

5. 의의 및 주장

본 논문은 현재 E2E 플래닝의 주요 병목 현상이 스코어러가 아니라 **후보 집합(candidate set)**에 있다고 주장합니다. 스코어러를 최적화 가능한 보상 함수로 취급함으로써, TOAD는 기존 플래너가 접근할 수 없었던 성능을 끌어올립니다.

저자들은 TOAD가 재학습이 필요 없는 간결하고 플러그 앤 플레이 방식의 개선책임을 강조합니다. TOAD의 성공은 일반화되는 스코어러의 가용성에 달려 있습니다. 이 연구는 미래의 플래너 설계 방향을 제시합니다: 궤적 생성기와 분리되어 자유롭게 디코딩된 궤적을 평가하도록 학습된 스코어러를 구축하는 것입니다. 이를 통해 강력한 테스트 시점 탐색을 "공짜로" 제공받을 수 있으며, 생성 네트워크의 구조적 변경 없이도 안전성과 편안함을 크게 높일 수 있습니다.

결론적으로, 현재 TOAD는 베이스 플래너에 의존하여 초기화를 수행하지만, 충분히 정확하고 일반화되는 스코어러가 있다면 향에는 베이스 생성기 없이 탐색만으로 구동될 수 있으며, 이는 베이스 생성기 자체를 제거할 수 있는 가능성을 시사합니다. 다만, 이는 스코어러 용량 확장에 의존하는 향후 과제로 남아 있습니다.