기술 요약: TerraTransfer

문제 정의

엔드 투 엔드(end-to-end) 자율 주행은 최첨단 성능을 달 achievement 했으나, 비용이 많이 드는 다단계 학습 레시피에 의존하고 있습니다. 표준적인 접근 방식은 대규모 로그 기반 인간 주행 데이터에 대한 대규모 모방 사전 학습(imitation pretraining)을 거친 후, 다양한 미세 조정 단계(지도 적응, 오픈 루프 RL 또는 클로즈 루프 RL)를 따릅니다. 이 워크플로우는 다음과 같은 병목 현상을 겪습니다:

1. 데이터 비용: 수백만 개의 주행 프레임과 수십만 시간의 멀티 카메라 로그를 수집하고 라벨링하는 작업.
2. 컴퓨팅 비용: 이미지 기반의 클로즈 루프 강화 학습(RL)은 매 단계마다 사실적인 렌더링과 무거운 비전 백본(backbone)의 순전파(forward pass)를 요구하므로 상당한 계산 부담을 초래합니다.
3. 분포 차이(Distributional Gaps): 모방 학습은 전문가 시연(expert demonstrations)의 품질에 제한되며, 로그 데이터에는 존재하지 않는 희귀하고 안전에 치명적인 상태(충돌, 충돌 직전 상황 등)를 처리하는 데 어려움을 겪습니다.

벡터화된 시뮬레이터에서의 셀프 플레이(self-play)는 인간 데이터 없이도 자연스러운 주행 행동과 희귀 이벤트를 생성할 수 있는 더 저렴한 대안을 제공하지만, 이러한 정책들은 원시 센서 입력 대신 벡터화된 장면 상태(경계 상자, 운동학적 정보 등)를 소비하므로 실제 환경에 배포하기에는 부적합합니다.

방법론

저자들은 "운전하는 법 배우기"와 "보는 법 배우기"를 분리하여, 어떤 단계에서도 전문가의 시연을 필요로 하지 않는 TerraTransfer라는 2단계 패러다임을 제안합니다.

1단계: 셀프 플레이 사전 학습 (운전하는 법 배우기)

플래닝 정책($\pi_\theta$)은 벡터화된 주행 시뮬레이터인 TerraZero에서 멀티 에이전트 셀프 플레이를 통해 아무것도 없는 상태($tabula\ rasa$)로부터 처음부터 학습됩니다.

• 아키텍처: 정책은 장면 내의 모든 에이전트를 제어하기 위해 단일 파라미터 세트를 사용합니다. 이는 DeepSets 인코더와 공유 MLP를 사용하여 에고 상태(ego state), 도로 요소, 파트너 에이전트를 처리합니다.
• 학습: 정책은 목표 도달, 충돌 회피, 승차감 등 가중치가 부여된 주행 품질 항들로 구성된 보상 함수를 통해 PPO(Proximal Policy Optimization)를 통해 최적화됩니다.
• 도메인 랜덤화(Domain Randomization): 운전자 선호도가 에피소드마다 랜덤하게 설정되어 에고 관측값의 일부로 노출되며, 이를 통해 정책은 연속적인 주행 스타일을 학습할 수 있습니다.
• 결과: 이는 벡터 상태에서는 견고하게 주행하지만 이미지를 처리할 수는 없는 "교사(teacher)" 정책을 생성합니다.

2단계: 비전 정렬 (보는 법 배우기)

동결된 교사 정책은 로그된 인간의 궤적을 전혀 참조하지 않고 "학생(student)" 비전 정책을 감독하는 데 사용됩니다.

• 아키텍처: 학생 모델은 교사의 동결된 에고 인코더, 공유 MLP 및 액터 헤드(actor head)를 상속받습니다. 교사의 집합형 인코더(도로 및 파트너용)는 선형 어댑터가 포함된 사전 학습된 DINOv3 백본 기반의 이미지 조건부 인코더로 대체됩니다.
• 감독 신호: 학생은 (이미지, 장면 상태) 쌍으로 구성된 데이터셋으로 학습됩니다. 타겟은 교사의 액션 분포와 그에 대응하는 벡터 상태로부터 유도된 특징 표현(feature representations)입니다.
• 손실 함수(Loss Functions):
  1. 액션 정렬(Action Alignment): 학생의 액션 분포와 교사의 분포 사이의 KL 발산(KL divergence)을 최소화합니다.
  2. 구조적 정렬(Structural Alignment): 새로운 **배치 관계적 저차원 구조 손실(batch-relational low-rank structural loss)**을 사용합니다. 경험적 분석 결과 교사의 특징(features)은 저차원(low-rank)이며 중복성이 높습니다. 절대적인 특징 좌표를 맞추는 대신, 학생은 주성분 저차원 부분 공간(principal low-rank subspace) 내에서 교사 특징의 관계적 기하학(relational geometry) (쌍별 장면 유사성)을 재현하도록 학습됩니다. 이는 학생이 분산이 낮은 방향의 노이즈까지 맞추려고 강요되는 것을 방지합니다.

주요 기여

1. 시연이 필요 없는 레시피: 감독을 위해 로그된 인간의 궤적이 전혀 필요 없는 엔드 투 엔드 주행 프레임워크입니다. 이는 오직 셀프 플레이를 통한 주행 능력 습득과 (이미지, 상태) 쌍 데이터를 통한 정렬에만 의존합니다.
2. 분리된 학습: 주행 정책 학습(벡터 공간)과 인지 학습(이미지 공간)의 분리를 통해, 하나의 셀프 플레이 교사를 다양한 비전 프런트엔드 및 센서 스택에 재사용할 수 있게 합니다.
3. 배치 관계적 저차원 구조 손실: 교사 특징이 매우 중복적이라는 경험적 발견에 착안하여, 저차원 부분 공간 내의 관계적 구조를 일치시킴으로써 비전 특징을 벡터 특징과 정렬하는 방법을 제시합니다.
4. 클로즈 루프 성능: 결과적으로 생성된 정책은 사실적인 3D 가우시안 스플래팅(Gaussian splatting) 벤치마크에서 경쟁력 있는 결과를 보여주며, 대규모 전문가 데이터셋으로 학습된 기존의 엔드 투 엔드 방식들을 능가하거나 대등한 성능을 달성합니다.

실험 결과

이 방법은 nuScenes 시나리오에서 파생된 사실적인 클로즈 루프 벤치마크인 HUGSim에서 평가되었으며, 집계된 HD-Score를 사용했습니다.

• 베이스라인 대비 성능: TerraTransfer 정책은 집계 HD-Score 0.490을 달성하여, 가장 우수한 모방 학습 베이스라인(LTF, 0.360)과 가장 강력한 기존 ECO 변형 모델(0.452)을 능가했습니다. 또한 특권적인 벡터 상태(privileged vector state)로 작동하는 자체 셀프 플레이 교사(0.520)의 성능에 근접했습니다.
• 데이터 효율성: 정렬 단계에서는 nuPlan 데이터셋으로부터 약 183만 개의 쌍 데이터 프레임(약 51시간 분량)만을 필요로 했습니다. 이는 ECO 베이스라인이 미세 조정을 위해 사용한 데이터의 약 40% 수준이지만, TerraTransfer는 ECO보다 뛰어난 성능을 보였습니다.
• 교차 데이터셋 일반화: 정책을 nuPlan 데이터로 정렬했음에도 불구하고 nuScenes 유래 시나리오에서 평가했을 때 높은 일반화 성능을 보였으며, 이는 분포 내 궤적 레이블 없이도 가능함을 입증했습니다.
• 한계점: 논문은 현재 방식이 경계 상자(bounding boxes) 기반으로 학습되어 미세한 시각적 단서(예: 브레이크 등)를 놓칠 수 있고, 보행자/자전거 탑승자에 대한 노출이 제한적이며, 신호등 교차로에 대한 완전한 지원이 부족하다고 언급했습니다.

의의 및 주장

본 논문은 TerraTransfer가 엔드 투 엔드 자율 주행을 위한 매우 효과적이고 데이터 효율적인 경로를 제공한다고 주장합니다. "운전하는 법 배우기"의 비용을 시뮬레이션 내의 확장 가능한 일회성 셀프 플레이 단계로 전환함으로써, 이 접근 방식은 값비싸고 정제된 전문가 시연에 대한 의존성을 제거합니다. 결과적으로 이 정책은 견고하고 자연스러운 주행 능력이 벡터 기반 셀프 플레이에서 원시 이미지 인지로 전이될 수 있음을 보여주며, 기존의 모방 학습 파이프라인에 비해 훨씬 적은 데이터와 계산 요구량으로 최첨단 클로즈 루프 성능을 달성할 수 있음을 증명합니다.