기술 요약: 엔드-투-엔드 주행을 위한 씬 토큰 병목 현상 해결을 위한 뉴럴 토큰 재구성 (Neural Token Reconstruction)

1. 문제 정의

최근의 인지 불필요(perception-free) 엔드-투-엔드(E2E) 자율주행 방법론들은 조밀한 이미지 패치 토큰을 압축된 형태의 "씬 토큰(scene tokens)" 세트로 압축함으로써 명시적인 인지 출력(예: 검출, 세그멘테이션)을 우회합니다. 이 토큰들은 비전 백본과 궤적 플래너 사이의 유일한 시각적 인터페이스 역할을 합니다.

본 연구에서 식별된 핵심 한계는 이러한 씬 토큰이 학습 과정에서 오직 플래닝 목적 함수(궤적 생성 및 스코어링)로부터만 감독(supervision)을 받는다는 점입니다. 이는 압축 과정에서 보존되는 미세한 시각적 정보에 대해 매우 약한 제약만을 제공합니다. 결과적으로, 학습된 씬 토큰은 공간적 어텐션 패턴이 고도로 중첩되는 **중복된 표현(redundant representations)**을 갖게 되며, 견고한 플래닝에 필요한 다양하고 정보가 풍부한 시각적 증거를 보존하는 데 실패합니다. 이 문제는 명시적인 감독이 없을 때 어그리게이션 토큰(aggregation tokens)이 게으른 인코딩(lazy encoding)으로 흐르는 것으로 알려진 비전 트랜스포머(Vision Transformer)의 실패 사례와 유사합니다.

본 연구가 다루는 근본적인 질문은 다음과 같습니다: 어떻게 하면 컴팩트한 씬 토큰이 명시적인 인지 감독 없이도 플래닝에 유효한 시각적 정보를 보존할 수 있는가?

2. 방법론: 뉴럴 토큰 재구성 (Neural Token Reconstruction, NTR)

저자들은 씬 토큰 병목 구간을 학습 중에 직접 감독하기 위해 설계된 자기 증류(self-distillation) 프레임워크인 **뉴럴 토큰 재구성(NTR)**을 제안합니다. 이 프레임워크는 추론 시점에 플래너 아키텍처를 수정하거나 명시적인 인지 헤드를 도입하지 않고 작동합니다.

핵심 메커니즘

NTR은 마스킹된 패치 수준의 잠재 특징(latent features)을 재구성하도록 씬 토큰이 유일한 메모리 역할을 하도록 강제하는 **마스크드 잠재 재구성 목적 함수(masked latent reconstruction objective)**를 도입합니다.

1. 자기 증류 설정:
   • 온라인 인코더(Online Encoder): 마스킹된 이미지를 처리하여 씬 토큰과 마스킹된 패치 특징을 생성합니다.
   • EMA 티처(EMA Teacher): 클린 이미지를 처리하여 스톱 그래디언트(stop-gradient) 잠재 타겟($Z_{v,*}$)을 제공하는 온라인 인코더의 지수 이동 평균(Exponential Moving Average) 복사본입니다.
2. 재구성 과정:
   • 경량 디코더는 티처의 잠재 특징을 특정 마스킹된 위치에서 재구성하려고 시도합니다.
   • 결정적으로, 디코더는 오직 컴팩트한 씬 토큰($\tilde{S}_{v,m}$)에만 크로스 어텐션(cross-attention)을 수행하며, 온라인의 조밀한 패치 출력에는 접근할 수 없습니다.
   • 이러한 아키텍처적 제약은 재구성 그래디언트가 반드시 씬 토큰 병목을 통해서만 전달되도록 보장하며, 이를 통해 토큰이 재구성 손실을 충족시키기 위해 더 풍부하고 덜 중복된 시각적 증거를 인코딩하도록 강제합니다.

시맨틱 가이드 할당 (Semantic-Guided Allocation)

재구성의 효율성과 관련성을 높이기 위해, NTR은 파운데이션 모델 세그멘테이션(예: SAM3)에서 유도된 **시맨틱 사전 지식(semantic priors)**을 활용합니다.

• 균등한 무작위 마스킹 대신, 재구성 타겟을 구조화되고 안전에 중요한 주행 영역(에이전트, 주행 가능 영역, 교통 제어 요소)에 할당합니다.
• 이러한 사전 지식은 학습 시에는 약한 편향(bias)으로 작용하지만, 추론 시에는 완전히 제거되어 배포된 플래너에 추가적인 계산 오버헤드를 발생시키지 않습니다.

학습 목적 함수

전체 손실 함수는 기존의 플래닝 손실($L_{plan}$)과 재구성 손실($L_{rec}$)을 결합합니다:
$$L = L_{plan} + \lambda_{rec}L_{rec}$$
여기서 $L_{rec}$는 선택된 패치 위치에서의 재구성된 잠재 특징과 스톱 그래디언트 티처 타겟 사이의 $L_1$ 거리로 계산됩니다.

3. 주요 기여

1. 병목 현상 식별: 본 논문은 인지 불필요(perception-free) E2E 주행에서 씬 토큰 압축 인터페이스가 중요한 표현 학습 과제임을 식별하였으며, 여기서 토큰이 직접적인 감독의 부재로 인해 중복된 특징으로 붕괴될 수 있음을 밝혀냈습니다.
2. NTR 프레임워크: 마스크드 잠재 재구성을 사용하여 컴팩트한 플래닝 병목을 직접 감독함으로써, 더 풍부하고 상보적인 시각적 증거를 유지하도록 독려하는 자기 증류 프레임워크를 제안합니다.
3. 오버헤드 없는 시맨틱 사전 지식: 파운데이션 모델의 어노테이션을 사용하여 재구성 타겟을 구조화된 주행 요소로 편향시키는 방법을 도입하였으며, 이는 명시적인 인지 헤드나 추론 시 비용 없이 감독의 품질을 개선합니다.
4. 실증적 검증: NTR이 플래닝 성능을 향상시키는 동시에 토큰 중복을 줄이고 씬 토큰 표현의 유효 랭크(effective rank)를 증가시킨다는 것을 입증했습니다.

4. 실험 결과

저자들은 세 개의 공개 벤치마크와 하나의 대규모 프라이빗 데이터셋에서 NTR을 평가했습니다.

• Waymo Open Dataset (E2E Track):
  • 앙상블을 통해 SOTA 수준의 RFS(Rater Feedback Score) 8.0461을 달절성했습니다 (단일 모델의 경우 7.9982).
  • 기존 방법론(예: RAP, Poutine, IRL-VLA)보다 인간 평가 점수와 궤적 정확도(ADE) 모두에서 우수한 성능을 보였습니다.
• NavSim V1 & V2:
  • navtest 분할에서 94.1 PDMS 및 90.9 EPDMS를 달성하여, DrivoR 및 RAP와 같은 이전의 SOTA 방법들을 능가했습니다.
• 토큰 진단 (Token Diagnostics):
  • 쌍별 코사인 유사도(pairwise cosine similarity) 및 유효 랭크 분석을 통해, NTR이 플래닝 전용 베이스라인에 비해 토큰 중복을 유의미하게 줄이고 씬 토큰 메모리의 유효 차원을 증가시킨다는 것을 보여주었습니다.
• 실제 환경 배포:
  • 대규모 프라이빗 주행 데이터셋에서 검증되었으며, 실제 차량 플래닝 스택에 통합되어 실질적인 적용 가능성과 확장성을 입증했습니다.

5. 의의 및 주장

본 논문은 NTR이 인지 불필요 플래닝에서의 근본적인 표현 학습 격차를 해결한다고 주장합니다. 재구성을 통해 병목 구간을 직접 감독함으로써, 이 방법은 컴팩트한 씬 토큰이 더 풍부하고 덜 중복된 시각적 표현을 학습하도록 강제합니다.

저자들이 강조하는 핵심 사항은 다음과 같습니다:

• 학습 시에만 적용: 재구성 디코더, EMA 티처, 시맨틱 사전 지식과 같은 모든 보조 구성 요소는 추론 시에 제거되므로, 배포된 플래너는 변경되지 않습니다.
• 상보적 성격: NTR은 비전 백본 자체가 아닌 압축 병목에 집중하므로, MAE나 JEPA와 같은 백본 수준의 사전 학습 방법과 상보적인 관계를 가집니다.
• 성능 대 효율성: 이 접근 방식은 추론 시의 계산량이나 아키텍처의 복잡성을 증가시키지 않으면서도 최첨단(SOTA) 플래닝 성능을 달성합니다.

저자들은 마스크드 잠재 재구성을 통한 직접적인 병목 감독이 컴팩트한 시각적 표현의 품질을 개선하는 데 있어 실행 가능하고 효과적인 전략이라고 결론짓습니다.