기술 요약: TPS-Drive

문제 정의

시각 - 언어 모델 (VLM) 은 자율 주행에 대한 강력한 의미 추론 능력을 제공하지만, 고수준 추론과 정밀한 3 차원 공간 예측 사이의 간극을 연결하는 데 어려움을 겪습니다. 기존 표현 전략은 다음과 같은 치명적인 트레이드오프에 직면해 있습니다:

1. 텍스트 정렬 방법: 이러한 방법은 연속적인 공간 상태를 이산적 기호 (예: 자연어 설명 또는 평탄화된 좌표) 로 평탄화합니다. 표준 토크나이저와 호환된다는 장점이 있지만, 이 이산화는 물리적 공간의 기하학적 구조를 훼손하여 "공간 환각"을 유발하고 모델이 연속적인 에이전트 상태를 포착하는 능력을 제한합니다.
2. 밀집 시각 방법: 이러한 방법은 공간 위상 (예: 밀집 그리드 또는 점유 맵) 을 보존하지만, 중복된 배경 질감과 정적 장면으로 인해 표준 토크나이저를 압도합니다. 재구성 유도 벡터 양자화 (VQ) 에 의해 주도되는 이러한 방법들은 제한된 코드북 용량을 중요한 동적 에이전트 대신 정적 배경에 불균형적으로 할당하여, 의미 추론을 방해하는 "표현 간섭"을 초래합니다.

핵심적인 과제는 기하학적 왜곡이나 정보 중복에 휘둘리지 않으면서 의미 추론과 정밀한 예측을 연결하는 표현을 설계하는 것입니다.

방법론: TPS-Drive

TPS-Drive 는 작업 유도 표현 정제를 중심으로 한 프레임워크를 도입하여 VLM 이 "정제된 공간에서 사고"할 수 있도록 합니다. 이 아키텍처는 주행 과정을 장면 이해, 미래 예측, 행동 생성이라는 세 가지 연속적인 단계로 분해합니다.

1. 에이전트 중심 토크나이저 (표현 정제)

핵심 혁신은 정제된 조망 (Bird's-Eye-View, BEV) 어휘를 구성하는 에이전트 중심 토크나이저입니다.

• 작업 유도 벡터 양자화: 전역 재구성을 최적화하는 표준 VQ-VAE 와 달리, 이 토크나이저는 **동결된 3 차원 탐지 헤드 (CenterPoint)**에 의해 감독됩니다. 이 감독은 제한된 코드북 용량을 만연한 정적 배경에서 중요한 동적 에이전트로 명시적으로 재할당합니다.
• 주요 및 잔여 계층: 토크나이저는 탐지 손실 (히트맵 및 3 차원 바운딩 박스) 에 의해 감독되는 에이전트의 핵심 구조적 패턴을 포착하기 위해 주요 코드북 ($V_1$) 을 사용합니다. 양자화 과정에서 손실된 정밀한 위치 뉘앙스를 복구하기 위해 $L-1$개의 잔여 코드북이 계층적으로 추가되어 잔여 오차를 인코딩합니다.
• 결과: 이 과정은 공간적 중복을 격리하여 동적 에이전트에만 초점을 맞춘 증류된 토큰 시퀀스를 산출함으로써, 효과적으로 표현 간섭을 방지합니다.

2. 분리된 추론 파이프라인

프레임워크는 세 가지 명확한 단계를 통해 입력을 처리합니다:

• 장면 이해: 시각 - 언어 백본은 장면 설명과 물리적 규칙 (예: 제동 능력) 을 포괄하는 통합된 구조화된 표현 ($s_t$) 을 추출합니다. 이는 사전 정의된 어휘를 통해 생성되며 대규모 언어 모델 (Qwen3.5-27B) 의 주석에 의해 감독됩니다.
• 미래 예측: 현재 컨텍스트와 $s_t$를 조건으로 하여, 모델은 이산화된 정제된 공간에서 미래 세계 토큰 ($z_{t+\Delta t}$) 을 예측합니다. 주요 토큰에는 자기회귀 방식을 사용하고 잔여 토큰에는 병렬 분류 헤드를 사용합니다.
• 행동 생성: 조건부 확산 플래너는 예측된 미래 상태와 구조화된 장면 컨텍스트를 기반으로 연속적인 자차 궤적 ($\tau$) 을 생성합니다.

3. 점진적 3 단계 학습

모델은 특정 학습 패러다임을 통해 최적화됩니다:

1. 토크나이저 사전 학습: 작업 유도 감독을 통해 주요 인코더, 코드북, 디코더를 학습한 후 잔여 코드북을 학습합니다.
2. 지도 미세 조정 (SFT): 시각 - 언어 백본을 미세 조정하여 장면 이해, 미래 예측, 행동 생성을 공동으로 마스터하도록 합니다.
3. 보상 유도 정제: 순수 모방 학습을 넘어서기 위해 정책은 엔드 - 투 - 엔드 그룹 상대 최적화를 거칩니다. 확률적 롤아웃은 기하학적 오차와 운동 부드러움에 기반한 오프라인 보점으로 점수를 매겨, 세계 모델링과 확산 플래너를 안전 지향적 목표와 정렬되도록 정제합니다.

주요 기여

1. 에이전트 중심 토크나이저: 동결된 3 차원 탐지 헤드에 의해 감독되는 새로운 토크나이저로, 작업 유도 표현 정제를 달성하여 공간적 중복을 명시적으로 격리함으로써 VLM 이 정제된 공간에서 추론할 수 있도록 합니다.
2. 분리된 프레임워크 (TPS-Drive): 장면 이해, 미래 예측, 행동 생성을 분리하고 보상 유도 정제를 특징으로 하는 3 단계 학습 패러다임으로 최적화된 시스템입니다.
3. 성능 기록: 이 프레임워크는 엄격한 벤치마크에서 새로운 안전 기록을 수립하면서도 높은 공간 예측 정확도를 유지합니다.

실험 결과

nuScenes, NAVSIMv1, NAVSIMv2에서 광범위한 실험이 수행되었습니다.

• 오픈 - 루프 계획 (nuScenes): TPS-Drive 는 ST-P3 프로토콜 하에서 자차 상태를 포함한 충돌률 (CR) **0.10%**의 기록적 저점을 달성하여, OmniDrive (0.94%) 와 OccWorld (0.32%) 와 같은 선도적인 VLM 기반 방법을 크게 능가했습니다. 또한 우세한 에이전트 중심 공간 예측을 보여주어 34.60% NDS와 24.03% mAP를 달성했으며, WoTE 와 BEVWorld 와 같은 세계 모델을 능가했습니다.
• 클로즈드 - 루프 계획 (NAVSIMv1 및 v2):
  • NAVSIMv1에서 TPS-Drive 는 89.7의 예측 드라이버 모델 점수 (PDMS) 를 달성하여 Recogdrive (89.6) 와 AutoVLA (89.1) 를 능가했습니다.
  • 더 엄격한 NAVSIMv2에서는 86.7의 확장 PDMS (EPDMS) 를 달성하여 새로운 안전 기록을 수립하고, HydraMDP++ (85.6) 와 동시 VLA 방법과 같은 전문가 수준 플래너를 능가했습니다.
• 어블레이션 연구: 결과는 작업 유도 토크나이징이 표준 재구성 유도 토크나이징에 비해 예측 정확도 (NDS) 에서 +12.72% 의 절대적 증가를 제공했음을 확인시켰습니다. 보상 유도 정제는 EPDMS 를 84.1 에서 86.7 로 추가로 향상시키고 오픈 - 루프 충돌률을 0.19% 로 감소시켰습니다.

중요성 및 주장

이 논문은 TPS-Drive 가 표현 정제를 통해 의미 추론과 연속적 제어를 분리함으로써 기존 VLM 기반 주행 시스템의 근본적인 한계를 성공적으로 해결했다고 주장합니다. 전역 재구성에서 작업 유도 정제로의 전환을 통해, 이 프레임워크는 고수준 의미 추론과 안전하고 정밀한 궤적 생성 사이의 간극을 효과적으로 연결합니다.

저자들은 안전에 중요한 의미를 원시 시각 데이터에서 격리하는 것이 시각 - 언어 - 행동 (VLA) 모델에서 효과적인 추론의 기초라고 강조합니다. 결과는 정제된 기하학적 표현이 오픈 - 루프 및 클로즈드 - 루프 상호작용 환경 모두에서 새로운 안전 기준을 수립할 수 있음을 검증합니다.

한계점: 저자들은 동결된 탐지 헤드에 의존하는 것이 표현 잠재력을 제한하며, 분리된 다단계 아키텍처가 현재 실시간 추론 속도를 제한한다고 인정합니다. 향후 작업으로는 엔드 - 투 - 엔드 미분 가능한 공간 정제 및 하드웨어 최적화를 탐구할 것을 제안합니다.