기술 요약: SparseWorld

문제 정의

종단 간 자율주행을 위한 기존 세계 모델은 일반적으로 밀집된 장면 표현(예: 전체 시각적 관찰 예측 또는 밀집된 조망점 (Bird's-Eye-View) 점유 맵)에 의존합니다. 이러한 접근법은 효과적이지만 높은 계산 비용을 초래하고 중복 정보를 생성하여, 실제 자원 제약이 있는 응용 프로그램에서의 배포를 방해합니다. 또한, 인간 운전자는 전체 장면의 외관보다는 중요 요소(주요 교통 참여자 및 도로 구조물)의 미래 상태에 자연스럽게 초점을 맞춥니다. 현재 방법론들은 이러한 인스턴스 중심의 효율성을 활용하지 못하여, 밀집 생성의 오버헤드 없이 장면의 중요한 레이아웃만 예측하여 계획을 강화하는 경량 세계 모델에 대한 필요성이 대두되었습니다.

방법론

SparseWorld는 인스턴스 수준의 미래 예측 및 운동 계획 정제를 위해 설계된 경량, 비전 중심 세계 모델입니다. 이는 인스턴스 인식 종단 간 주행 프레임워크 (SparseDrive 및 VAD 등) 에 원활하게 통합되며, 세 단계의 순차적 과정을 통해 작동합니다:

1. Sparse Dreamer 를 통한 미래 예측

핵심 구성 요소인 **Sparse Dreamer(SPD)**는 자기회귀 롤아웃을 수행하여 희소 표현으로 미래 맵 요소 및 주변 에이전트를 예측합니다.

• 인스턴스 메모리 큐 (IMQ): 과거 및 예측된 미래 인스턴스의 캐시를 유지합니다.
• 전역 인스턴스 정렬 (GIA): 자기 운동 보상 및 고유 속도 조정을 사용하여 현재 앵커를 대략적인 미래 위치로 투영하여 좌표 변환 오차를 완화합니다.
• SparseWorld 디코더: 과거 인스턴스와 현재 행동 조건 (속도, 궤적, 조향) 을 입력받는 자기회귀 트랜스포머입니다. 이는 다음을 활용합니다:
  • 시간적 교차 어텐션: 운동 계획 제안에서 파생된 시간적 및 상대적 위치 임베딩을 주입하여 공간 인식을 강화합니다.
  • 행동 조건부 교차 어텐션: 행동 조건을 (푸리에 임베딩을 통해) 인코딩하여 미래 시나리오의 제어 가능한 생성을 가능하게 합니다.
• 미래 운동 계획기 (FMP): 예측된 미래 인스턴스를 사용하여 미래 행동 조건을 추론하여 자기회귀 루프를 닫습니다.

2. 운동 계획 정제

예측된 미래 인스턴스는 기준선의 운동 예측 및 궤적 계획을 정제하는 데 사용됩니다.

• 운동 예측: 운동 예측기는 (과거 인스턴스뿐만 아니라) 미래 인스턴스 특징을 사용하여 공간 - 시간적 맥락을 집계하여 더 정확하고 다양한 운동 패턴을 생성합니다.
• 궤적 계획: 자차량 (ego vehicle) 의 특징은 미래 인스턴스 특징과 상호작용하여 강화됩니다.
  • 안전 중요 손실 (SCL): 훈련 중, 새로운 손실 함수가 에이전트 기하학 (크기, 방향) 과 미래 궤적을 명시적으로 모델링하여 모델을 저위험 경로로 유도합니다.
  • 적응형 궤적 선택 (ATS): 추론 중, 시스템은 세 가지 후보 궤적 (기준선, 미래 생성, SCL 정제) 을 평가합니다. 충돌 감지 및 안전 중요 손실을 기반으로 가장 안전한 옵션을 선택하고 안전을 보장하기 위해 조정 벡터를 적용합니다.

주요 기여

1. SparseWorld 프레임워크: 밀집된 장면이 아닌 희소 미래 인스턴스 (에이전트 및 맵 레이아웃) 를 예측하는 경량, 비전 중심 세계 모델을 도입하여 효율성을 크게 향상시켰습니다.
2. 운동 계획 정제: 미래 예측을 활용하여 운동 예측 및 궤적 계획 모두를 정제하는 새로운 전략입니다. 여기에는 훈련을 위한 안전 중요 손실과 실시간 안전 보장을 위한 적응형 궤적 선택 모듈이 포함됩니다.
3. Sparse Dreamer 아키텍처: 미래 장면 진화를 정확하게 예측하기 위해 전역 인스턴스 정렬 및 결합된 시간적 및 공간적 어텐션 메커니즘을 갖춘 SparseWorld 디코더를 특징으로 하는 전용 모듈입니다.

실험 결과

저자들은 nuScenes데이터셋 (오픈 루프 지표를 위해) 과 Bench2Drive벤치마크 (클로즈드 루프 지표를 위해) 에서 SparseWorld 를 평가했습니다.

• 인스턴스 예측: SparseWorld 는 미래 인스턴스 예측에서 최첨단 성능을 달성합니다. nuScenes 에서 2 초 시간 범위 내에서 기준선 3D 검출 성능의 **82.8%**와 온라인 매핑 성능의 **86.4%**를 유지하며, "복사 및 붙여넣기 (Copy & Paste)"및 "투영 (Projection)"기준선을 크게 능가합니다.
• 운동 예측: SparseDrive(SparseWorld-S) 와 통합될 때, 이 방법은 종단 간 예측 정확도 (EPA) 0.488을 달성하고 실패율 (MR) 을 0.128로 줄입니다. VAD-Tiny(SparseWorld-V) 와 함께 EPA 는 0.619로 향상되고 MR 은 0.113입니다.
• 오픈 루프 계획: SparseWorld-S 는 nuScenes 에서 **0.05%**의 충돌률을 달성하여 SparseDrive 기준선 대비 37.5% 감소를 보이며 새로운 최첨단 성능을 기록합니다.
• 클로즈드 루프 계획: Bench2Drive 에서 SparseWorld-S 는 주행 점수 (DS) 48.95를 달성하여 SparseDrive 기준선 대비 9.9% 향상을 보였고, 성공률은 9.1% 개선되었습니다.
• 효율성: SparseWorld 는 밀집 세계 모델보다 훨씬 효율적입니다. 점유 맵 또는 이미지 기반 생성기가 수백 밀리초와 기가바이트의 메모리를 사용하는 반면, SparseWorld 는 4GB의 메모리만 사용하여 70ms 내에 4 프레임 인스턴스 수준 장면을 생성합니다.

중요성 및 주장

이 논문은 SparseWorld가 세계 모델의 이론적 이점과 실제 자율주행의 실용적 제약 사이의 간극을 성공적으로 메웠다고 주장합니다. 밀집된 표현에서 희소 장면 표현으로 전환함으로써, 이 모델은 중요한 요소에 대한 인간의 인지적 초점을 모방하여 계산 오버헤드를 줄이면서도 안전성을 강화합니다.

저자들은 인스턴스 중심 접근법이 밀집 표현보다 효율적일 뿐만 아니라 하류 계획에 더 효과적이라고 주장합니다. 미래 인스턴스 예측의 통합을 통해 계획 모듈은 더 높은 충실도로 "앞을 내다볼" 수 있게 되어, 더 안전하고 견고하며 충돌 가능성이 적은 궤적을 생성합니다. 이 연구는 경량 세계 모델이 기존 종단 간 자율주행 시스템의 성능을 크게 향상시킬 수 있는 강력한 플러그인 모듈로 기능할 수 있음을 보여줍니다.