DriveMamba: Task-Centric Scalable State Space Model for Efficient End-to-End Autonomous Driving

이 논문은 기존 엔드투엔드 자율주행 시스템의 정보 손실과 계산 비효율성을 해결하기 위해, 선형 복잡도의 Mamba 아키텍처를 활용하여 동적 작업 관계 모델링과 장기 시간적 융합을 단일 단계로 통합한 'DriveMamba'를 제안하고, nuScenes 및 Bench2Drive 데이터셋에서 뛰어난 성능과 효율성을 입증했습니다.

핵심

🚗 1. 기존 기술의 문제점: "너무 많은 서류 작업과 지루한 줄서기"

기존의 자율주행 시스템 (예: UniAD 같은 것들) 은 마치 엄격한 관료제 기관처럼 작동합니다.

1. 순서대로 처리: 먼저 '주변을 봄 (인식)' → 그다음 '차들이 어떻게 움직일지 예측' → 마지막으로 '어떻게 운전할지 결정 (계획)' 순서로 일처리를 합니다.
2. 문제점:
   • 정보 손실: 한 단계에서 실수하면 다음 단계로 그 실수가 그대로 전달되어 누적됩니다. (예: "저 차가 멈췄나?"를 잘못 판단하면, 그다음에 "그 차를 피해야지"라는 결정도 틀리게 됩니다.)
   • 비효율: 모든 정보를 한 번에 다 처리하려다 보니 컴퓨터가 너무 많은 일을 해야 해서 속도가 느리고, 긴 시간 동안의 상황을 기억하기 어렵습니다.

🧠 2. DriveMamba 의 혁신: "유연한 팀워크와 빠른 메모리"

DriveMamba 는 이 문제를 해결하기 위해 **Mamba(맘바)**라는 새로운 인공지능 구조를 도입했습니다. 이를 스마트한 교통 지휘관에 비유해 볼까요?

🐍 비유 1: "구불구불한 뱀의 움직임 (Mamba)"

기존 기술 (Transformer) 은 모든 정보를 한 번에 다 보려고 해서 컴퓨터 메모리를 너무 많이 먹습니다. 반면, DriveMamba 는 뱀처럼 길고 유연하게 움직이는 방식을 사용합니다.

• 장점: 긴 시간 동안의 도로 상황 (과거 10 초, 20 초) 을 기억하면서도 컴퓨터 메모리를 거의 쓰지 않습니다. 마치 기억력 좋은 운전자가 과거의 교통 체증을 잊지 않고, 현재 상황도 빠르게 처리하는 것과 같습니다.

🎯 비유 2: "작업 중심 (Task-Centric) 의 유연한 팀"

기존 방식은 "인식 → 예측 → 계획"이라는 고정된 줄을 따랐다면, DriveMamba 는 모든 부서가 서로 대화하는 열린 회의실과 같습니다.

• 동적 관계: "차량 인식" 팀과 "운전 계획" 팀이 서로 실시간으로 정보를 주고받습니다. "저기 차가 갑자기 튀어나왔어!"라고 인식 팀이 말하면, 계획 팀은 즉시 "급정거!"라고 반응합니다.
• 결과: 정보 손실이 없고, 상황에 훨씬 민첩하게 대응합니다.

🗺️ 비유 3: "운전자의 시선을 따른 스캔 (Trajectory-Guided Scan)"

이 기술의 가장 큰 특징은 운전자 (내 차) 의 시선을 중요하게 여긴다는 점입니다.

• 기존 방식: 카메라로 찍힌 모든 사물을 똑같은 중요도로 다 봅니다. (비효율적)
• DriveMamba 방식: **"앞으로 갈 길 (경로)"**에 있는 물체만 집중적으로 봅니다.
  • 예시: 차가 앞으로 갈 때, 내 차의 진로에 있는 차는 "중요한 사람"으로, 옆에 지나가는 차는 "일시적인 사람"으로 구분해서 처리합니다.
  • 이를 '로컬 투 글로벌 (Local-to-Global)' 스캔이라고 하는데, 마치 등산할 때 발아래 길 (로컬) 을 먼저 확인하고, 그다음 전체 산세 (글로벌) 를 보는 것처럼 자연스러운 순서로 정보를 처리합니다.

🚀 3. 실제 성과: "더 빠르고, 더 안전하며, 더 똑똑한"

논문에서 실험한 결과 (nuScenes, Bench2Drive 데이터셋) 를 보면:

• 속도: 기존 기술보다 약 10 배 더 빠릅니다. (초당 17.9 프레임 처리)
• 안전: 사고율 (Collision Rate) 이 현저히 줄었습니다.
• 확장성: 컴퓨터 성능이 좋은 차에 넣으면 더 큰 모델로 쉽게 업그레이드할 수 있습니다.

💡 요약: 왜 이것이 중요한가요?

DriveMamba 는 자율주행 자동차에게 **"복잡한 서류 작업 없이, 운전자의 시선에 맞춰 유연하게 생각하고 빠르게 행동하는 능력"**을赋予了 것입니다.

• 기존: "일단 다 보고, 다 생각한 뒤, 결정하자" (느리고 실수 많음)
• DriveMamba: "앞길에 집중해서, 필요한 것만 빠르게 보고, 즉시 행동하자" (빠르고 안전함)

이 기술이 상용화되면, 자율주행차가 더 저렴하고 빠른 컴퓨터에서도 사람처럼 자연스럽고 안전하게 운전할 수 있게 될 것입니다. 마치 숙련된 택시 기사가 복잡한 도로 상황에서도 여유 있게 운전하는 것과 같은 효과를 기대할 수 있습니다.

기술 요약

DriveMamba: 효율적인 엔드 - 투 - 엔드 자율주행을 위한 태스크 중심 확장 가능 상태 공간 모델

1. 연구 배경 및 문제 정의 (Problem)

최근 엔드 - 투 - 엔드 자율주행 (E2E-AD) 연구는 UniAD 와 같은 모듈형 설계를 통합된 프레임워크로 결합하여 공동 최적화를 수행하는 추세입니다. 그러나 기존 방법론들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 순차적 패러다임의 한계: 기존 대부분의 방법 (UniAD, VAD 등) 은 '감지 (Perception) - 예측 (Prediction) - 계획 (Planning)'의 순차적 단계를 따릅니다. 이는 모듈 간 정보 손실과 누적 오차를 유발하며, 다양한 모듈 및 센서 간의 유연한 관계 모델링을 제한합니다.
• 밀집 BEV 특징의 비효율성: 많은 방법이 밀집된 비전 (Bird's Eye View, BEV) 특징을 생성하여 장면 표현을 학습합니다. 이는 계산 비용이 매우 높고, 특히 장거리 감지 및 장기 시간적 모델링에 비효율적입니다.
• 확장성 및 효율성 부족: Transformer 기반의 어텐션 메커니즘은 입력 길이에 대해 이차적 (Quadratic) 복잡도를 가지므로, 고해상도 이미지나 긴 시퀀스 데이터를 처리할 때 메모리 소모와 연산 시간이 급증하여 확장성이 제한됩니다. 또한, 이미지 백본의 훈련 부족 문제도 존재합니다.

2. 제안 방법론 (Methodology)

저자들은 DriveMamba를 제안했습니다. 이는 태스크 중심 (Task-Centric) 패러다임을 기반으로 하며, 단일 단계의 통합 Mamba 디코더를 통해 동적 태스크 관계 모델링, 암시적 뷰 대응 학습, 장기 시간적 융합을 효율적으로 수행합니다.

2.1 핵심 아키텍처

• 스파스 토큰화 (Sparse Tokenization):
  • 밀집 BEV 특징을 생성하는 대신, 다중 뷰 이미지와 태스크 쿼리를 사전에 토큰 레벨의 스파스 표현으로 변환합니다.
  • 이미지 토큰: 센서 이미지를 추출하여 토큰화합니다.
  • 태스크 토큰: 에이전트 (Agent), 지도 (Map), 자차 (Ego) 의 세 가지 쿼리를 사전 정의하여 태스크별 정보를 추출합니다.
  • 위치 인코딩: 공간 (BEV 내 위치), 시간 (프레임 인덱스), 태스크 유형을 구분하기 위한 위치 임베딩 (PE) 을 토큰에 추가합니다.
• 통합 Mamba 디코더 (Unified Mamba Decoder):
  • Transformer 대신 **선형 복잡도 (Linear Complexity)**를 가진 **Mamba (SSM, State Space Model)**를 기반으로 한 디코더를 사용합니다.
  • 이 디코더는 View Correspondence Learning (센서 토큰과 태스크 토큰 간의 대응), Task Relation Modeling (태스크 간의 동적 관계), Long-term Temporal Fusion (과거 정보의 통합) 을 병렬로 수행합니다.
  • FIFO 메모리 큐: 과거의 태스크 쿼리를 저장하여 장기 시간적 모델링을 수행하며, BEV 특징을 저장하는 기존 방식보다 메모리 효율이 뛰어납니다.

2.2 하이브리드 시공간 스캔 전략 (Hybrid Spatiotemporal Scan)

Mamba 블록을 2D/3D 시각 작업에 적용하기 위해, 다양한 태스크에 적합한 이중 방향 (Bidirectional) 스캔 방식을 설계했습니다.

• 수평/수직 우선 (Horizontal/Vertical-First): 뷰 대응 학습 (View Correspondence) 을 위해 공간적 국소성을 보존합니다.
• 자차 중심 Local-to-Global (Ego-Centric L2G): 자차의 관점에서 나선형으로 스캔하여 공간적 국소성을 유지합니다.
• 궤적 중심 Local-to-Global (Trajectory-Centric L2G): 가장 중요한 혁신 중 하나로, 자차의 미래 궤적 (Waypoints) 을 기반으로 주변 객체와의 상대적 거리를 계산하여 스캔 순서를 동적으로 조정합니다. 이는 자차 계획 (Ego-planning) 에 있어 자연스러운 상호작용 순서를 반영하여 효율성을 극대화합니다.

2.3 엔드 - 투 - 엔드 학습

• 단일 단계 학습 전략을 채택하여 모든 태스크 (감지, 매핑, 운동 예측, 계획) 를 동시에 최적화합니다.
• 반복적 최적화 (Iterative Optimization) 와 잔차 학습 (Residual Learning) 을 통해 각 디코더 블록의 출력을 점진적으로 정제합니다.

3. 주요 기여 (Key Contributions)

1. DriveMamba 패러다임 제안: 밀집 BEV 특징 생성 없이, 스파스 토큰과 통합 Mamba 디코더를 사용하여 효율적이고 확장 가능한 E2E-AD 프레임워크를 제시했습니다.
2. 하이브리드 시공간 스캔 설계: 궤적 기반의 "Local-to-Global" 및 "Spatial-to-Temporal" 양방향 스캔을 통해 태스크 간 의존성을 포착하고, 자차 계획에 최적화된 시공간 국소성을 보존했습니다.
3. 선형 복잡도와 확장성: Transformer 의 이차적 복잡도 문제를 해결하여, 고해상도 입력과 긴 시퀀스 처리 시 메모리 사용량을 획기적으로 줄이고 처리 속도를 향상시켰습니다.

4. 실험 결과 (Results)

nuScenes (오픈 루프) 및 Bench2Drive (클로즈드 루프) 데이터셋에서 광범위한 실험을 수행했습니다.

• 성능 (Performance):
  • nuScenes: DriveMamba-Tiny 모델은 UniAD 및 VAD 대비 평균 L2 오차를 42.1% 및 38.9% 감소시켰으며, 충돌률은 11.8% 및 31.8% 감소했습니다.
  • Bench2Drive (클로즈드 루프): DriveMamba-Tiny 는 53.54 의 Driving Score 를 기록하여, DriveTransformer-Small 보다 6.07 포인트 높고, DriveTransformer-Large 보다 적은 파라미터로 더 높은 효율성을 보였습니다.
• 효율성 (Efficiency):
  • 추론 속도: DriveMamba-Tiny 는 17.9 FPS를 달성하여 기존 방법들보다 10 배 이상 빠릅니다.
  • 메모리: 고해상도 입력 시 GPU 메모리 사용량이 68.8% 감소했고, 처리 속도는 3.2 배 향상되었습니다.
• 확장성 (Scalability): 디코더 레이어를 단순히 쌓는 것만으로도 성능이 선형적으로 향상되는 것을 확인했으며, 다양한 모델 사이즈 (Tiny, Small, Base, Large) 에서 일관된 성능 우위를 보였습니다.

5. 의의 및 결론 (Significance)

DriveMamba 는 엔드 - 투 - 엔드 자율주행 분야에서 Transformer 중심의 패러다임에서 Mamba 기반의 상태 공간 모델 (SSM) 로의 전환을 주도하는 중요한 연구입니다.

• 효율성과 정확성의 동시 달성: 기존 방법들이 겪던 계산 비용과 메모리 병목 현상을 해결하면서도, 오히려 더 높은 주행 안전성과 효율성을 달성했습니다.
• 실용적 가치: 낮은 지연 시간 (Latency) 과 높은 FPS 로 인해 실제 차량의 컴퓨팅 리소스 제한 내에서 실시간으로 배포 가능한 솔루션을 제공합니다.
• 미래 지향적 아키텍처: 태스크 간의 동적 관계를 학습하고 장기적인 시간적 맥락을 효율적으로 처리할 수 있는 확장 가능한 아키텍처를 제시함으로써, 대규모 자율주행 모델 개발의 새로운 방향성을 제시했습니다.

요약하자면, DriveMamba 는 스파스 표현, 통합 Mamba 디코더, 궤적 기반 스캔 전략을 결합하여 기존 E2E-AD 시스템의 한계를 극복하고, 효율성과 성능 모두에서 새로운 기준을 제시한 획기적인 연구입니다.