Safe and Stylized Trajectory Planning for Autonomous Driving via Diffusion Model

이 논문은 안전성과 주행 스타일을 실시간으로 조화시키는 확산 모델 기반의 'SDD Planner'를 제안하며, 다양한 벤치마크와 실차 실험을 통해 기존 최첨단 방법론보다 우수한 성능과 실용성을 입증했습니다.

핵심

이 논문은 자율주행차가 "안전하게" 운전하면서도 "운전자의 성향에 맞춰" 운전할 수 있도록 해주는 새로운 기술, **'SDD 플래너'**를 소개합니다.

기존의 자율주행 기술은 "위험하면 무조건 멈추거나 천천히 가는 것"에 집중했다면, 이 기술은 **"누가 운전하느냐에 따라 스타일을 바꿔주는 똑똑한 운전 비서"**라고 생각하시면 됩니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "운전 스타일"을 아는 AI

자율주행차도 사람처럼 성향이 다릅니다. 어떤 사람은 **겁쟁이 (보수형)**처럼 안전을 최우선으로 하고, 어떤 사람은 **파워 드라이버 (공격형)**처럼 빠르게 가고 싶어 합니다.

기존 기술은 "안전"과 "스타일"을 동시에 만족시키기 힘들었습니다. 마치 무조건 안전모를 쓴 채로 스키를 타는 것처럼, 너무 조심스러워서 재미가 없거나, 반대로 너무 빠르다 보니 위험해질 수 있었죠.

이 논문이 제안한 SDD 플래너는 **"확산 모델 (Diffusion Model)"**이라는 기술을 사용합니다. 이걸 비유하자면 **"점점 선명해지는 사진"**을 찍는 과정과 같습니다.

• 처음엔 흐릿한 잡음 (안개) 속에서 길을 찾다가,
• 시간이 지날수록 안개가 걷히며 안전한 길과 운전자가 원하는 스타일이 동시에 선명해지는 것입니다.

2. 두 가지 핵심 기능 (비유로 설명)

① "거리 감지 안경" (Multi-Source Style-Aware Encoder)

이 시스템은 차가 주변을 볼 때, 모든 차를 똑같이 보는 게 아니라 상황에 따라 시선을 조절합니다.

• 비유: 마치 스마트 안경을 쓴 것 같습니다.
  • 바로 앞의 차가 급하게 다가오면 안경이 **"빨간색"**으로 변해 "위험! 집중해!"라고 알려줍니다.
  • 멀리 있는 차는 **"회색"**으로 처리해 "그냥 지나가면 돼"라고 무시합니다.
  • 특히 **운전자의 성향 (공격적/보수적)**에 따라 이 안경의 초점이 달라집니다. 공격적인 운전자를 위해 가까운 차를 더 민감하게 감지하고, 보수적인 운전자를 위해 더 넓은 범위를 안전하게 감시합니다.

② "스마트 내비게이션" (Style-Guided Dynamic Trajectory Generator)

이 부분은 차가 길을 그리는 실시간 코치 역할을 합니다.

• 비유: 운전 중인 택시 기사와 손님의 대화라고 상상해 보세요.
  • 초반 (안개 속): "일단 사고 안 나게 길만 찾아!" (안전 우선)
  • 중반: "손님, 지금 차가 많으니까 조금만 더 천천히 가요." (상황에 따른 안전)
  • 후반: "손님, 이제 길이 트였으니 원하시는 대로 빠르게 가볼까요?" (스타일 반영)
  • 이 코치는 시간이 지날수록 안전을 먼저 확보한 뒤, 운전자가 원하는 속도나 과감함을 점진적으로 적용합니다.

3. 실제 성능: "누구보다 잘하는 운전사"

이 기술은 실제 시험 (NuPlan, StyleDrive) 에서 기존 최고의 기술들보다 훨씬 좋은 결과를 냈습니다.

• 안전성: 사고가 날 확률이 가장 낮았습니다.
• 스타일: "공격적으로 가고 싶다"고 설정하면 과속하지 않으면서도 빠르게, "조심스럽게 가고 싶다"고 하면 여유 있게 운전했습니다.
• 실제 적용: 이 기술을 실제 자동차 (NVIDIA Orin 칩셋 탑재) 에 심어봤을 때, 0.1 초 (93ms) 만에 길을 계산해 낼 정도로 빠르다고 합니다. 사람이 깜빡할 사이에 길을 찾아내는 셈이죠.

4. 결론: "나만의 맞춤형 운전 비서"

이 논문의 핵심은 **"안전은 기본이고, 그 위에 당신의 운전 스타일을 입혀라"**는 것입니다.

• 기존 기술: "무조건 안전하게만 가자." (너무 지루함)
• 새로운 기술 (SDD): "당신이 원하면 과감하게, 당신이 두려워하면 조용하게, 하지만 절대 사고는 나지 않게."

마치 운전자의 성격을 완벽하게 이해하는 AI 조수가 차를 몰아주는 것과 같습니다. 앞으로 우리가 타는 자율주행차는 단순히 '이동 수단'을 넘어, 우리 개개인의 취향을 존중하는 '맞춤형 이동 공간'이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

자율주행 시스템에서 복잡한 실제 환경 하에 **안전성 (Safety)**과 **개인화된 주행 스타일 (Stylized Driving)**을 동시에 만족시키는 궤적 계획 (Trajectory Planning) 은 여전히 주요한 과제입니다.

• 기존 방법의 한계:
  • 규칙 기반 (Rule-based): 안전성은 보장되지만, 수동으로 설계된 규칙에 의존하여 비정형 환경이나 다양한 사용자 선호도 (공격적, 보수적 등) 에 적응하기 어렵습니다.
  • 학습 기반 (Learning-based): 유연성이 높지만, 안전성과 선호도 간의 균형을 고정된 가중치로만 조절하거나, 안전성을 희생하며 스타일만 모방하는 경우가 많습니다.
  • 확산 모델 (Diffusion Model) 의 현재 상태: 최근 각광받고 있으나, 대부분 안전 제약과 스타일 선호도 간의 동적 조화 (Dynamic Reconciliation) 가 부족하고, 다양한 위험 수준에 실시간으로 적응하지 못합니다.
• 핵심 목표: 안전성과 사용자 선호도 (공격적, 일반, 보수적) 를 실시간으로 동적으로 조율하며, 물리적으로 실행 가능하고 안전한 궤적을 생성하는 프레임워크 개발.

2. 제안 방법론: SDD Planner (Stylish Diffusion Drive Planner)

이 논문은 확산 모델 (Diffusion Model) 을 기반으로 한 SDD Planner를 제안합니다. 이 프레임워크는 크게 두 가지 핵심 모듈로 구성됩니다.

가. 다중 소스 스타일 인식 인코더 (Multi-Source Style-Aware Encoder)

• 기능: 자율주행 차량의 상태, 동적 교통 참여자 (다른 차량, 보행자), 정적 지도 정보, 그리고 명시적인 **주행 스타일 토큰 (Style Token)**을 통합합니다.
• 거리 민감형 어텐션 (Distance-Sensitive Attention):
  • 기존 어텐션 메커니즘에 **유클리드 거리 기반 편향 (Bias)**을 도입하여 학습 가능한 감쇠 계수 ($\kappa$) 를 사용합니다.
  • 가까운 차량이나 장애물에 더 높은 가중치를 부여하여, 확산 과정 (Denoising) 에서 안전에 치명적인 요소를 우선적으로 인식하도록 합니다.
  • 시간적 (Temporal) 과 공간적 (Spatial) 어텐션을 융합하여 $z_{style}$이라는 고차원 특징 벡터를 생성하며, 이는 확산 디코더의 조건부 입력으로 작용합니다.

나. 스타일 유도 동적 궤적 생성기 (Style-Guided Dynamic Trajectory Generator)

• 적응형 확산 역과정 (Adaptive Reverse Diffusion):
  • 확산 모델의 스코어 함수 (Score Function) 에 **에너지 기반 가이드 (Energy Guidance)**를 적용합니다.
  • 동적 가중치 조절: 확산 시간 단계 ($t$) 에 따라 안전성 (충돌 회피) 과 스타일 (속도 준수) 의 가이드 가중치를 동적으로 변경합니다.
    • 초기 단계 ($t$가 큼): 강한 안전 가이드로 궤적의 전역적 실행 가능성 확보.
    • 후기 단계 ($t$가 작음): 스타일 및 편안함 가이드를 강화하여 사용자 선호도 반영.
• 에너지 함수:
  • 충돌 회피 에너지: 차량과 장애물 간의 거리에 따라 지수적으로 증가하는 페널티 적용.
  • 속도 준수 에너지: 설정된 스타일 (예: 공격적 스타일 = 제한 속도 초과) 에 따른 속도 편차 최소화.
• 후처리 및 선택: 생성된 다중 궤적 후보군에 대해 운동학 제약과 안전성을 검증한 후, 비용 함수 (충돌, 속도, 편안함) 를 최소화하는 최적 궤적을 선택합니다.

3. 주요 기여 (Key Contributions)

1. SDD Planner 제안: 안전성, 편안함, 주행 스타일 간의 동적 균형을 달성하는 최초의 확산 기반 사용자 중심 궤적 계획 프레임워크.
2. 거리 민감형 어텐션 메커니즘: 학습 가능한 감쇠 계수를 통해 동적 에이전트와 환경 맥락을 정밀하게 융합하여, 이질적인 안전 및 스타일 선호도를 수용.
3. 적응형 안전 - 스타일 가이드: 확산 역과정 중 시간 단계에 따라 우선순위를 실시간으로 조정하는 동적 가이드 전략 개발.
4. 실제 차량 배포 검증: NVIDIA Orin 플랫폼에서 모델 증류 (Distillation) 및 DDIM 고속 샘플링을 적용하여 약 93ms 의 엔드 - 투 - 엔드 지연 시간을 달성, 실시간 실행 가능성 입증.

4. 실험 결과 (Results)

• StyleDrive 벤치마크:
  • 가장 강력한 베이스라인 (PLUTO 등) 대비 SM-PDMS 점수 (스타일 조정 예측 드라이버 모델 점수) 를 3.9% 향상 (최종 점수 84.23).
  • 안전성 (NC, DAC) 과 효율성 (EP), 편안함 (Comf) 모두에서 최상위 성능 기록.
• NuPlan 벤치마크 (Test14, Test14-hard):
  • Test14-hard: 80.32 점으로 1 위 (PLUTO 80.12 점 상회).
  • Test14: 91.76 점으로 1 위 (PLUTO 91.29 점 상회).
  • 충돌 횟수 감소 및 TTC(충돌까지 시간) 향상 등 안전 관련 지표에서 기존 최첨단 방법론을 압도.
• 애블레이션 연구 (Ablation Study):
  • 학습 가능한 거리 민감형 어텐션과 동적 가이드 전략이 안전성과 궤적 품질 향상에 결정적임을 확인.
  • 고정된 가중치나 어텐션 메커니즘을 사용할 경우 성능이 크게 저하됨.
• 실제 차량 배포:
  • NVIDIA Orin 플랫폼에서 10~11Hz 주기로 궤적 생성 가능.
  • 공격적, 보수적 등 다양한 스타일 시나리오에서 안전하고 매끄러운 주행 행동 구현.

5. 의의 및 결론 (Significance)

이 논문은 자율주행의 궤적 계획 분야에서 안전성과 개인화된 스타일 간의 상충 관계 (Trade-off) 를 해결하는 새로운 패러다임을 제시합니다.

• 기술적 의의: 확산 모델의 생성 능력을 활용하면서도, 고정된 규칙이나 단순한 학습이 아닌 동적 가이드 메커니즘을 통해 실시간 위험 상황에 적응하고 사용자 선호도를 반영할 수 있음을 입증했습니다.
• 실용적 의의: 모델 경량화 및 고속 샘플링 기법을 통해 고사양 하드웨어 (NVIDIA Orin) 에서도 실시간으로 실행 가능한 수준 (93ms) 으로 최적화되어, 실제 상용 자율주행 시스템 배포에 대한 타당성을 높였습니다.
• 미래 전망: 향후 LLM(대형 언어 모델) 과의 결합을 통해 더 풍부한 의미적 사전 지식 (Semantic Priors) 을 반영하고, 다양한 도시 환경으로의 일반화 성능을 높이는 방향으로 연구가 확장될 것으로 기대됩니다.