Senna-2: Aligning VLM and End-to-End Driving Policy for Consistent Decision Making and Planning

이 논문은 VLM 의 고수준 의사결정과 E2E 의 저수준 계획 간의 일관성을 확보하기 위해 3 단계 학습 방식을 제안한 Senna-2 를 통해 주행 안전성과 의사결정 일관성을 크게 향상시켰음을 보여줍니다.

핵심

🚗 시나-2 (Senna-2): 자율주행차의 '두뇌'와 '손발'이 완벽하게 통하는 방법

이 논문은 자율주행차가 길을 갈 때, **"어디로 가야 한다"는 고차원적인 판단 (VLM)**과 **"실제로 핸들을 어떻게 돌리고 속도를 조절할지"는 구체적인 행동 (E2E)**이 서로 맞지 않아 생기는 문제를 해결한 기술에 대해 설명합니다.

마치 자율주행차에 '명상하는 철학자'와 '실전 운전사'를 동시에 태운 것과 같은 이야기입니다.

---

1. 문제: 철학자와 운전사의 오해 🤔🚗

기존의 자율주행 기술에는 큰 모순이 있었습니다.

• 철학자 (VLM, 시각 - 언어 모델): "앞에 차가 많으니 천천히 가자."라고 논리적으로 판단합니다.
• 운전사 (E2E, 엔드투엔드 계획): 하지만 철학자의 말을 제대로 듣지 못하고, **"가속해!"**라고 외치며 차를 질주시킵니다.

이처럼 판단과 행동이 일치하지 않으면 (Consistency Gap), 차는 엉뚱한 방향으로 가거나, 위험한 상황에서 멈추지 못해 사고가 날 수 있습니다. 마치 "왼쪽으로 가라"고 말했는데 차는 오른쪽으로 돌진하는 상황과 같습니다.

2. 해결책: 시나 -2 (Senna-2) 의 등장 🌟

저자들은 이 문제를 해결하기 위해 세 단계 훈련 과정을 거쳐 철학자와 운전사가 완벽하게 호흡을 맞추는 시스템을 만들었습니다.

🏫 1 단계: 기초 교육 (Driving Pre-Training)

• 상황: 철학자와 운전사를 따로따로 가르칩니다.
• 비유: 철학자는 "운전 이론"을 배우고, 운전사는 "실제 핸들 조작"을 익힙니다. 이때 **통역사 (Decision Adapter)**가 철학자의 복잡한 말을 운전사가 이해할 수 있는 간단한 신호 (예: "가속", "감속") 로 바꿔주는 역할을 배웁니다.

🤝 2 단계: 오픈 루프 조율 (Open-Loop Alignment)

• 상황: 두 사람이 함께 연습을 시작하지만, 실제 도로가 아닌 가상의 시뮬레이션에서 합니다.
• 비유: 철학자가 "감속해!"라고 말하면, 운전사가 실제로 차를 늦추는지 확인합니다.
  • 일치하면: "좋아! 우리 팀워크가 훌륭해!"라고 칭찬하며 그 행동을 강화합니다.
  • 불일치하면: "아니야, 네가 잘못했어. 다시 해봐!"라고 바로잡아줍니다.
  • 이 과정을 통해 두 시스템이 서로의 의도를 정확히 파악하도록 훈련합니다.

🎮 3 단계: 클로즈드 루프 실전 훈련 (Closed-Loop Alignment with HRL)

• 상황: 이제 **실제 도로와 똑같은 3D 가상 현실 (3DGS)**에서 위험한 상황을 겪으며 훈련합니다.
• 비유: 마치 게임 속 시뮬레이션에서 위험한 상황을 반복해서 겪으며 배우는 것입니다.
  • 안전 보상: 차가 너무 빨리 가거나 사고 위험이 있으면 "감점!"을 줍니다.
  • 효율 보상: 너무 느리게 가면 "감점!"을 줍니다.
  • 하향식 학습: 먼저 운전사 (하위 계획) 가 안전하고 효율적으로 운전하는 법을 배우고, 그 결과가 철학자 (고위 판단) 에게 전달되어 철학자의 판단도 더 정확해지도록 합니다.

3. 결과: 얼마나 좋아졌을까? 📈

이 시스템을 적용한 시나 -2는 놀라운 성과를 거두었습니다.

• 의사결정과 행동의 일치도 19.3% 향상: 철학자와 운전사가 거의 같은 생각을 하게 되었습니다.
• 사고율 30.6% 감소: 실제 도로 (가상 환경) 에서 차가 스스로 사고를 내는 경우가 크게 줄었습니다.
• 명확한 속도 조절: "가속해"라고 하면 확실히 가속하고, "멈춰"라고 하면 확실히 멈춥니다. (기존 기술은 가속과 감속의 경계가 모호했는데, 시나 -2 는 뚜렷하게 구분합니다.)

4. 핵심 요약: 왜 중요한가? 🌈

기존의 자율주행차는 **"무엇을 해야 할지 (판단)"**와 **"어떻게 할지 (행동)"**가 따로 놀아 위험할 수 있었습니다. 하지만 시나 -2는 이 두 가지를 하나의 팀으로 묶어주었습니다.

• 철학자 (VLM): "왜 그렇게 운전해야 하는지" 설명할 수 있는 해석 가능한 두뇌가 됩니다.
• 운전사 (E2E): 철학자의 지시를 정확히 따르는 신뢰할 수 있는 손발이 됩니다.

결론적으로, 시나 -2 는 자율주행차가 단순히 코드를 실행하는 기계가 아니라, 사람처럼 생각하고 행동하며 안전을 최우선으로 하는 진정한 파트너가 되도록 만든 혁신적인 기술입니다.

한 줄 평: "철학자와 운전사가 서로의 마음을 완벽하게 이해하게 되어, 더 안전하고 똑똑한 자율주행이 가능해졌습니다!"

기술 요약

1. 문제 정의 (Problem)

자율주행 시스템의 신뢰성을 높이기 위해 고수준의 의사결정 (High-level Decision) 이 저수준의 궤적 계획 (Low-level Planning) 을 안내하는 것이 필수적입니다. 최근 비전 - 언어 모델 (VLM) 은 상황 이해 및 인과 추론 능력이 뛰어나 End-to-End (E2E) 주행 정책과 결합되어 고수준 추론을 보완하고 있습니다.

하지만 기존 방법론들은 VLM 의 고수준 의사결정과 E2E 의 저수준 계획 간의 '일관성 (Consistency)' 부족이라는 근본적인 문제를 간과하고 있습니다.

• 불일치 현상: VLM 이 "감속" 또는 "우회전"을 결정했음에도 불구하고, 생성된 궤적은 그 의도와 맞지 않는 방향이나 속도로 주행할 수 있습니다.
• 결과: 이러한 불일치는 시스템의 탑다운 (Top-down) 안내 능력을 약화시키고, 해석 가능성 (Interpretability) 을 떨어뜨리며, 결국 비최적 또는 위험한 주행 행동을 초래합니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 Senna-2를 제안했습니다. 이는 VLM 과 E2E 주행 정책을 명시적으로 정렬하여 일관된 의사결정과 계획을 보장하는 통합 시스템입니다. 핵심은 일관성 지향 3 단계 학습 패러다임에 있습니다.

A. 아키텍처 (Dual-System Architecture)

1. VLM 모듈: 고수준 주행 의사결정 (속도 제어: 가속/감속/유지/정지, 방향 제어: 직진/좌회전/우회전/차선 변경 등) 을 생성합니다. (Qwen2.5-VL-3B 기반)
2. 의사결정 어댑터 (Decision Adapter): VLM 이 생성한 고수준 결정을 E2E 모델이 이해할 수 있는 임베딩 형태로 변환합니다.
   • VLM 토큰: VLM 의 추론 맥락을 보존.
   • 의사결정 토큰 (Decision Tokens): 학습 가능한 카테고리 임베딩 (속도 및 방향) 을 통해 명시적인 의사결정 의도를 전달.
   • 이 두 가지가 융합되어 E2E 플랜너에 조건 (Condition) 으로 주입됩니다.
3. E2E 주행 정책: 멀티뷰 이미지 시퀀스에서 시공간 특징을 추출하고, VLM 조건을 통합하여 확산 (Diffusion) 기반의 플랜너를 통해 최종 궤적을 생성합니다.

B. 3 단계 학습 전략 (Training Paradigm)

1. 1 단계: 주행 사전 학습 (Driving Pre-Training)
   • 대규모 주행 데이터로 VLM 과 E2E 정책을 개별적으로 학습하여 기초적인 의사결정 및 계획 능력을 습득합니다.
   • 어댑터는 E2E 손실 함수만 사용하여 최적화되며, VLM 의 의사결정 능력을 해치지 않도록 고정 (Freeze) 됩니다.
2. 2 단계: 오픈루프 정렬 (Open-Loop Alignment)
   • VLM 의 결정과 E2E 가 생성한 궤적 간의 **운동학적 불일치 (Kinematic Discrepancy)**를 분석합니다.
   • 불일치 샘플: 전문가 궤적과 결정 라벨을 사용하여 명시적인 감독 (Supervision) 을 통해 오차를 수정합니다.
   • 일치 샘플: 외부 감독을 생략하고 모델의 예측을 '암묵적 전문가 신호'로 간주하여 자기 강화 (Self-reinforcement) 를 수행합니다.
3. 3 단계: HRL 을 통한 클로즈드루프 정렬 (Closed-Loop Alignment with HRL)
   • 3DGS (3D Gaussian Splatting) 환경에서 온라인 계층적 강화학습 (HRL) 을 수행합니다.
   • 하위 수준 (플랜너): 안전성 (충돌 위험 시간, TTC) 과 효율성 (속도) 을 고려한 복합 보상 함수로 최적화합니다.
   • 상위 수준 (VLM): 하위 수준 플랜너가 최적화된 궤적을 바탕으로 고수준 결정이 일치하도록 VLM 분포를 조정합니다 (Bottom-up 최적화).

3. 주요 기여 (Key Contributions)

1. Senna-2 제안: 고수준 의사결정과 저수준 계획 간의 일관성을 보장하는 통합 VLM-E2E 주행 정책.
2. 3 단계 학습 프레임워크: 대규모 사전 학습, 오픈루프 정렬, HRL 기반 클로즈드루프 정렬을 통해 두 시스템 간의 정렬을 점진적으로 강화하는 새로운 학습 패러다임 제시.
3. 성능 입증: 대규모 주행 벤치마크에서 일관성, 계획 정확도, 클로즈드루프 강건성을 획기적으로 개선함을 실험을 통해 입증.

4. 실험 결과 (Results)

Senna-2 는 오픈루프 및 클로즈드루프 설정 모두에서 기존 최첨단 (SOTA) 방법론 (Senna, VAD, TransFuser 등) 을 능가했습니다.

• 의사결정 - 계획 일관성:
  • Senna 대비 평균 F1 점수가 19.3% 향상되었습니다.
  • 속도 및 방향 제어에 대한 분포가 명확하게 분리되어, VLM 의 의도가 계획에 정확히 반영됨을 보여줍니다.
• 오픈루프 성능:
  • 최종 변위 오차 (FDE) 가 5.7% 감소하여 계획 정확도가 향상되었습니다.
  • 충돌률 (CR) 또한 개선되었습니다.
• 클로즈드루프 성능 (3DGS 환경):
  • 과실 충돌률 (AF-CR) 이 30.6% 감소하여 주행 안전성이 크게 향상되었습니다.
  • 기존 RL 기반 베이스라인 (RAD 등) 보다 우수한 성능을 보여주며, 단순한 강화학습이 아닌 '정렬 전략'의 효과를 입증했습니다.
• NAVSIM v2 벤치마크:
  • EPDMS (End-to-End Planning Decision Metric Score) 에서 86.6점을 기록하여 기존 최상위 모델보다 1.1 포인트 높은 성능을 보였습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 자율주행 시스템에서 VLM 의 강력한 추론 능력과 E2E 의 정밀한 계획 능력을 결합하면서도, 두 시스템 간의 '불일치'를 해결함으로써 **안전성과 해석 가능성 (Interpretability)**을 동시에 확보했습니다.
  • 고수준 의사결정이 저수준 행동에 명확하게 반영됨으로써, 복잡한 상황에서도 인간과 정렬된 (Human-aligned) 신뢰할 수 있는 자율주행 시스템을 구현하는 길을 열었습니다.
• 한계:
  • 현재 VLM 은 온보드 엣지 장치에서 실시간 (10Hz) 추론이 불가능합니다.
  • VLM 과 E2E 정책이 비동기적으로 작동하며, 메모리 뱅크를 통해 VLM 특징을 캐싱하여 상호작용합니다. 완전한 동기화를 위해서는 추가적인 하드웨어 최적화가 필요합니다.

결론적으로, Senna-2 는 자율주행의 '사고 (Reasoning)'와 '행동 (Action)' 간의 간극을 메우는 중요한 진전으로, 더 안전하고 설명 가능한 자율주행 기술의 발전에 기여합니다.