기술 요약: DrivoR – 레지스터를 통한 주행 (Driving on Registers)

문제 정의

엔드 투 엔드(E2E) 자율주행은 로우 센서 데이터에서 직접 주행 결정으로 매핑하는 것을 목표로 하며, 이를 통해 라벨링 비용을 줄이고 중간 단계의 모듈형 어노테이션을 피하고자 한다. 궤적 제안(trajectory-proposal) 방식은 여러 후보 경로를 생성하고 그중 최적의 경로를 선택함으로써 강력한 성능을 보여왔으나, 심각한 계산 병목 현상에 직면해 있다. 현재의 최첨단 접근 방식들은 종종 수천 개의 토큰을 출력하는 무거운 백본(예: 대규모 Vision Transformer 또는 CNN)에 의존한다. 이러한 토큰들을 수백 개의 궤적 후보를 위해 처리하는 것은 해상도와 센서 수에 따라 비효적으로 확장되는 계산 부담을 초래한다. 또한, 기존 솔루션들은 모든 카메라 입력을 동일하게 유익한 것으로 취급하고 경직된 해상도 요구 사항을 강제하는 균일한 특징 풀링(uniform feature pooling)에 의존하는 경우가 많아, 잠재적으로 중요한 계획 컨텍스트를 버릴 위험이 있다.

방법론: DrivoR 아키텍처

저자들은 E2E 플래닝을 위해 설계된 단순하고 효율적인 순수 트랜스포머 아키텍처인 DrivoR을 제안한다. 이 시스템은 복잡한 중간 표현(예: Bird's Eye View 투영)이나 대규모 사전 계산된 궤적 사전(dictionary)을 사용하지 않는다. 대신, 다음과 같은 3단계 트랜스포머 파이프라인을 활용한다:

1. 카메라 인지형 레지스터를 갖춘 인지 인코더 (Perception Encoder with Camera-Aware Registers)

핵심 혁신은 균일한 풀링 대신 카메라 인지형 레지스터 토큰을 사용하는 인지 인코더에 있다.

• 메커니즘: 각 $N$개의 입력 카메라에 대해, 모델은 고정된 $R$개의 학습 가능한 레지스터 토큰을 도입한다. 이들은 표준 패치 토큰과 결합되어 사전 학습된 Vision Transformer(구체적으로 DINOv2 ViT-S) 백본에 입력된다.
• 압축: ViT는 고차원 시각적 특징을 카메라당 $R$개의 레지스터로 압축한다. 출력은 $N \times R$개의 "장면 토큰(scene tokens)"이라는 컴팩트한 집합이 된다.
• 장점: 이 접근 방식은 다운스트림 프로세싱을 위한 시퀀스 길이를 획기적으로 줄이는 동시에(수천 개의 토큰에서 수십 개로), 계획에 유의미한 컨텍스트를 보존한다. 레지스터는 카메라별로 구분되어 있어, 모델이 전방, 측면, 후방 뷰를 구별할 수 있게 한다.
• 학습: 백본은 저차원 적응(Low-Rank Adaptation, LoRA)을 사용하여 미세 조정되며, 이를 통해 파라미터 수를 낮게 유지하면서 시각-레지스터 압축을 효율적으로 학습한다.

2. 궤적 디코더 (Trajectory Decoder)

궤적 디코더는 표준 트랜스포머 디코더 아키텍처를 사용하여 후보 경로를 생성한다.

• 입력: 학습 가능한 궤적 쿼리(trajectory queries)를 입력으로 받으며, 여기에는 에고 상태 정보(포즈, 속도, 가속도, 명령)가 증강되어 포함된다.
• 어텐션: 쿼리는 크로스 어텐션(cross-attention)을 통해 압축된 "장면 토큰"에 어텐션을 수행한다.
• 출력: 디코더는 에고 에이전트의 로컬 좌표계 내에서의 $(x, y, \theta)$ 포즈 시퀀스로 표현되는 일련의 후보 궤적을 생성한다.
• 손실 함수: 학습에는 Winner-Takes-All (WTA) 또는 minimum-over-$N$ (MoN) 손실을 사용하여, 지면 참값(ground truth)에 가장 가까운 예측 궤적만을 감독함으로써 제안 집합의 다양성을 장려한다.

3. 분리된 스코어링 디코더 (Scoring Decoder - Disentangled)

별도의 스코어링 모듈이 생성된 궤적의 품질을 평가한다.

• 분리(Disentanglement): 결정적으로, 디코딩된 궤적은 새로운 특징 공간으로 재임베딩되며, 스코어링 디코더로 들어가기 전에 그래디언트 그래프에서 분리(detach)된다. 이는 훈련 중에 궤적 생성 과정이 스코어러의 즉각적인 품질에 의해 영향을 받는 것을 방지하여, 생성과 평가 사이의 분리를 강제한다.
• 하위 점수(Sub-scores): 단일 스칼라 점수 대신, 모델은 예측 드라이버 모델 점수(PDMS) 구성 요소(예: 안전성, 편안함, 효율성, 진행도)에 대응하는 6개의 해석 가능한 하위 점수를 예측한다.
• 행동 조건화: 추론 시, 이 하위 점수들은 서로 다른 $\lambda$ 가중치에 의해 다르게 가중치가 부여될 수 있으며, 이를 통해 모델을 재학습시키지 않고도 주행 행동을 조절할 수 있다(예: 진행도보다 안전성을 우선시하도록 설정).

주요 기여

1. 단순한 트랜스포머 아키텍처: 중간 BEV 표현이나 대규모 궤적 사전 없이도 작동하는 순수 트랜스포머 기반 E2E 플래너를 제공한다.
2. 레지스터 기반 토큰 압축: E2E 플래닝을 위해 ViT 레지스터 토큰을 시각적 특징 압축용으로 재용도화한 최초의 연구이다. 이는 계산 부하를 수 차례 감소시키면서도 핵심적인 컨텍스트를 유지하는 컴팩트한 장면 표현을 달성한다.
3. 분리된 스코어링: 궤적 생성과 스코어링을 분리하여 해석 가능한 하위 점수 학습을 가능하게 하고, 추론 시 행동 조건부 주행 정책을 가능하게 하는 모듈형 설계를 제시한다.

실험 결과

DrivoR은 세 가지 주요 벤치마크인 NAVSIM-v1, NAVSIM-v2, 그리고 포토리얼리스틱 폐쇄 루프 벤치마크인 HUGSIM에서 평가되었다.

• NAVISM-v1: DrivoR은 모든 기존 카메라 전용 방식들을 능가하며, (trainval 데이터를 사용하여) 93.7의 PDMS를 달성하였고, 추가적인 합성 데이터를 사용했을 때는 94.0을 기록하여 인간 수준(94.8)에 근접했다. 이는 RAP 및 UniAD와 같은 강력한 베이스라인들을 크게 앞서는 성과이다.
• NAVSIM-v2: 도전적인 navhard-two-stage 분할에서, DrivoR은 54.6의 새로운 SOTA EPDMS를 달성하며 GTRS 및 ZTRS와 같은 모델들을 넘어섰다. 특히, 경쟁 모델들과 비교했을 때 훨씬 작은 백본(ViT-S)과 적은 파라미터 수(약 40M)로 이를 달성했다는 점이 주목할 만하다.
• HUGSIM: NAVSIM-v1만으로 학습된 DrivoR을 사용한 제로샷(zero-shot) 폐쇄 루프 HUGSIM 평가에서, DrivoR은 보고된 베이스라인 중 가장 높은 Road Completion(49.8%)과 HD-Score(35.7)를 기록하며 포토리얼리스틱 3D 환경에 대한 강력한 일반화 능력을 입증했다.
• 효율성: 레지스터 기반 압축은 ViT-L 베이스라인과 비교했을 때 3배 향상된 처리량(A100 GPU 기준 포워드 패스당 110ms vs 400ms)과 3배 적은 GFLOPS 및 피크 메모리 사용량을 보여주어, 실시간 배포 가능성을 높였다.

의의 및 주장

본 논문은 순수 트랜스포머 아키텍처가 타겟팅된 토큰 압축(레지스터를 통한)과 결려질 때, 정확하고 효율적이며 적응 가능한 엔드 투 엔드 주행에 충분하다는 점을 시사한다. 저자들은 다음을 강조한다:

• 균일한 풀링은 최적이 아니다; 카메라 인지형 레지스터를 통해 모델은 어떤 뷰가 가장 유익한지(예: 계획을 위한 전방 카메라, 특정 안전 확인을 위한 후방 카메라)를 학습할 수 있다.
• 스코어링을 생성으로부터 분리하는 것은 성능을 향상시키고 제어 가능한 주행 행동을 가능하게 한다.
• 높은 성능을 달ming 데에는 거대한 궤적 사전이나 복잡한 중간 3D 표현이 반드시 필요하지 않다. 단순하고 잘 구조화된 트랜스포머 파이프라인이 더 복잡한 시스템과 대등하거나 이를 능가하는 성능을 내면서도 훨씬 더 효율적일 수 있다.

이 연구는 실시간 자율주행 시스템을 위한 경량화된 레지스터 기반 압축 전략으로의 전환을 제안하며, 압축이 학습되고 컨텍스트를 인지할 수 있다면 "적은 것이 더 많은 것(less is more)"임을 입증한다.