Uncertainty-Aware Diffusion Model for Multimodal Highway Trajectory Prediction via DDIM Sampling

Each language version is independently generated for its own context, not a direct translation.

🚗 자율주행차의 "미래 예지 능력"을 업그레이드하다

자율주행차가 길을 달릴 때 가장 어려운 점은 **"앞으로 5 초 뒤, 차가 어디로 갈지"**를 정확히 예측하는 것입니다. 특히 다른 차들이 어떻게 움직일지, 운전자들이 갑자기 차선을 바꿀지, 혹은 멈출지 알 수 없기 때문에 예측은 매우 어렵습니다.

기존 기술은 이 불확실성을 잘 처리하지 못하거나, 예측을 너무 느리게 해서 실시간으로 사용하기 힘들었습니다. 이 논문은 cVMDx라는 새로운 시스템을 제안하며, 이 문제를 해결했습니다.

1. 과거의 문제: "한 번에 하나만"과 "너무 느린 계산"

기존 시스템 (cVMD) 은 미래를 예측할 때 두 가지 큰 약점이 있었습니다.

단일 시나리오: "앞으로 차가 왼쪽으로 갈 것이다"라고 하나의 답만 내놓았습니다. 하지만 현실에서는 "왼쪽으로 갈 수도 있고, 직진할 수도 있고, 멈출 수도 있다"는 여러 가능성이 공존합니다.
느린 속도: 미래를 예측하려면 수천 번의 계산을 반복해야 해서, 차가 달리는 동안 답이 나오기 전에 이미 사고가 날 수도 있었습니다. (마치 비가 올지 말지 예측하기 위해 100 번이나 우산을 들고 하늘을 쳐다보는 것과 같습니다.)

2. cVMDx 의 해결책: "다양한 가능성"과 "스피드"

이 새로운 시스템은 세 가지 마법 같은 기술을 적용했습니다.

① DDIM 샘플링: "고속도로 톨게이트"처럼 빠르게
기존 방식은 미래를 예측할 때 한 걸음씩 천천히 걸어가야 했습니다. 하지만 이 연구는 DDIM이라는 기술을 도입했습니다.

비유: 과거에는 1000 개의 계단을 하나하나 내려가야 했지만, 이제는 엘리베이터를 타고 몇 번 만에 바닥에 도착하는 것과 같습니다.
효과: 예측 속도가 100 배 빨라졌습니다. 이제 자율주행차는 실시간으로 수백 가지의 미래 시나리오를 동시에 계산할 수 있게 되었습니다.

② 가우시안 혼합 모델 (GMM): "예측의 뭉치"를 찾아내기
빠르게 여러 개의 미래 경로 (예: 왼쪽 차선 변경, 직진, 오른쪽 차선 변경) 를 생성한 후, 이 중 의미 있는 패턴을 찾아냅니다.

비유: 9 개의 서로 다른 미래 시나리오를 그려놓고, AI 가 "아, 이 3 개는 '왼쪽 차선 변경' 그룹이고, 나머지 6 개는 '직진' 그룹이구나!"라고 자동으로 분류하는 것입니다.
효과: 단순히 "어디로 갈지"가 아니라, **"어떤 행동 패턴이 가장 유력한지"**를 확률적으로 보여줍니다.

③ CVQ-VAE: "상황 인식"을 더 똑똑하게
주변 상황을 이해하는 '기억 장치'를 개선했습니다.

비유: 기존 시스템은 상황을 기억할 때 "메모장"이 찌그러져서 (코드북 붕괴) 중요한 정보를 잊어버리기도 했습니다. 새로운 시스템은 메모장을 정리하고 분류하는 스마트한 파일 관리자를 도입하여, "이런 상황에서는 보통 이렇게 행동한다"는 패턴을 더 정확하게 기억하게 했습니다.

3. 불확실성을 어떻게 다루나요? (유연한 가이드)

이 시스템은 상황에 따라 예측의 강도를 조절합니다.

익숙한 상황 (고속도로 직진): "이건 내가 잘 아는 상황이야"라고 강하게 예측합니다.
불확실한 상황 (갑작스러운 차선 변경): "이건 뭐가 될지 모르니, 다양한 가능성을 열어두자"라고 유연하게 예측합니다.
비유: 운전할 때 평소 다니는 길은 무조건 직진하지만, 낯선 골목에서는 "혹시 모를 위험에 대비해" 천천히 여러 방향을 살피는 것과 같습니다.

📊 결론: 왜 이 연구가 중요한가요?

이 논문은 자율주행차가 "정답" 하나만 찾는 것이 아니라, "모든 가능성"을 빠르게 계산하고 그중에서 가장 합리적인 시나리오를 선택할 수 있게 만들었습니다.

속도: 100 배 빨라져서 실시간 운전이 가능해졌습니다.
안전: 다양한 미래 시나리오를 예측함으로써, 갑작스러운 사고에 대비할 수 있는 여유를 줍니다.
현실성: 운전자들의 다양한 행동 패턴 (차선 변경, 급정거 등) 을 자연스럽게 반영합니다.

요약하자면, 이 기술은 자율주행차에게 **"미래를 한 번에 정확히 맞추는 천재"**가 아니라, **"모든 가능성을 빠르게 계산해 가장 안전한 길을 찾는 현명한 운전사"**가 되게 해주는 업그레이드입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 연구 배경 및 문제 정의 (Problem)

자율주행 시스템에서 궤적 예측은 핵심 요소이지만, 차량 동역학, 에이전트 간의 사회적 상호작용, 그리고 맥락에 따른 제약 조건이 복합적으로 작용하여 매우 어렵습니다. 특히 실제 운전 행동은 본질적으로 **확률적 (stochastic)**이며 **다중 모드 (multimodal)**적입니다. 즉, 동일한 상황에서도 차선 변경, 가속, 유지 등 여러 가지 타당한 미래 행동이 존재할 수 있습니다.

기존의 확산 기반 (Diffusion-based) 생성 모델은 이러한 다중 모드를 포착하는 잠재력을 보였으나, 다음과 같은 한계점이 있었습니다:

비효율적인 샘플링: 확산 모델의 반복적 역과정 (reverse process) 으로 인해 추론 시간이 길어, 실시간 애플리케이션에 필요한 다중 샘플 생성이 비실용적입니다.
불확실성 표현의 부재: 기존 모델 (예: cVMD) 은 추론 시 단일 궤적만 출력하여 미래 운동의 다중 모드 구조와 불확실성을 충분히 표현하지 못했습니다.
코드북 붕괴 (Codebook Collapse): 시나리오 인코딩에 사용된 VQ-VAE 는 학습 중 코드북의 일부 항목만 과도하게 사용되거나 (collapse), 다양성이 떨어지는 문제가 발생했습니다.

2. 제안된 방법론: cVMDx (Methodology)

이 논문은 기존 cVMD 아키텍처를 개선한 cVMDx를 제안합니다. 이는 효율성, 강건성 및 다중 모드 예측 능력을 향상시키기 위해 다음과 같은 네 가지 핵심 기술을 통합합니다.

A. 컨텍스트 조건부 모듈: CVQ-VAE

목적: 시나리오 인코딩 시 발생하는 코드북 붕괴를 방지하고 잠재 공간의 다양성을 확보합니다.
구현: 기존 VQ-VAE 를 **CVQ-VAE (Continuous Vector Quantization VAE)**로 대체합니다. CVQ-VAE 는 코드북 항목을 적응적으로 업데이트하여 모든 시나리오 토큰의 균형을 유지하고, 학습된 잠재 표현이 더 강건하도록 합니다.
불확실성 추정: CVQ-VAE 의 이산 잠재 공간에서 마할라노비스 거리 (Mahalanobis distance) 를 계산하여 시나리오의 불확실성 ( $\delta_m$ ) 을 추정합니다. 이는 추론 시 가이드 스케일 (guidance scale) 을 조절하는 데 사용됩니다.

B. 차량 운동 확산 (Vehicle Motion Diffusion, VMD)

학습 목표: 직접적인 궤적 좌표 대신 **차량 제어 입력 (종방향 가속도, 요레이트)**을 예측하도록 설계되었습니다. 이는 물리적으로 타당한 궤적을 보장하기 위해 추론 단계에서 차량 운동 모델 (VMM) 을 통해 궤적으로 변환됩니다.
속도 기반 객관 함수 (Velocity-based Objective): 기존 노이즈 예측 대신 **속도 파라미터화 (velocity parameterization)**를 사용하여 학습 안정성을 높이고 시간 단계별 학습 신호의 불균형을 해소합니다.

C. 불확실성 인식 DDIM 샘플링 (Uncertainty-Aware DDIM Sampling)

DDIM 도입: 확산 과정의 확률적 특성을 결정론적 ODE(상미분방정식) 해로 해석하여 **DDIM (Denoising Diffusion Implicit Models)**을 적용합니다. 이를 통해 추론 시간을 기존 DDPM 대비 최대 100 배 단축하여 실시간 다중 샘플 생성을 가능하게 합니다.
적응형 가이드 (Adaptive Guidance):
- 클래스프리 가이드 (CFG): 조건부 및 무조건부 예측을 결합하여 생성 품질을 조절합니다.
- 불확실성 기반 스케일 조절: 추정된 시나리오 불확실성 ( $\delta_m$ $δ_{m}$ ) 에 따라 가이드 스케일 $w$ $w$ 를 동적으로 조절합니다.
  - 낮은 불확실성 (익숙한 상황): 강한 조건부 가이드 ( $w$ 증가) 로 맥락에 충실한 예측.
  - 높은 불확실성 (불확실한 상황): 약한 가이드 ( $w$ 감소) 로 다양한 운동 가설 (다중 모드) 을 탐색.
- 코사인 스케줄: 추론 단계가 진행됨에 따라 가이드 스케일을 코사인 함수로 점진적으로 조절하여 과도한 조건부 의존성을 방지하고 현실적인 샘플을 생성합니다.

D. 다중 모드 모델링 (Explicit Multimodal Modeling)

샘플링 전략: 단일 궤적이 아닌, 각 시나리오당 **9 개의 궤적 ( $N_{samples}=9$ )**을 생성하여 예측 분포의 평균과 분산을 추정합니다.
가설 추출: 생성된 9 개의 궤적을 PCA 로 차원 축소 후 **가우시안 혼합 모델 (GMM)**을 피팅하여 서로 다른 행동 가설 (예: 차선 변경, 유지) 을 자동으로 식별합니다. 베이지안 정보 기준 (BIC) 을 사용하여 최적의 클러스터 수를 결정합니다.

3. 주요 기여 (Key Contributions)

CVQ-VAE 통합: 코드북 붕괴를 완화하여 시나리오 표현의 강건성을 향상시킴.
고속 추론 (DDIM): DDIM 샘플링을 도입하여 추론 속도를 100 배 향상시키고, 실시간 다중 샘플 생성을 가능하게 함.
명시적 다중 모드 모델링: 생성된 샘플에 GMM 을 적용하여 불확실성을 정량화하고 여러 미래 가설을 명확하게 추출함.
안정화된 학습 및 적응형 가이드: 속도 기반 학습 목표와 불확실성 인식 CFG 스케줄을 통해 학습 안정성과 추론 품질을 동시 개선.

4. 실험 결과 (Results)

데이터셋: 공개된 독일 고속도로 데이터셋인 highD를 사용 (학습 9,841 개, 테스트 4,217 개).
성능 비교:
- 효율성: DDPM 대비 DDIM 사용으로 약 100 배의 속도 향상 달성.
- 정확도: 기존 cVMD 및 다른 SOTA 모델 (GFTNNv2, HSTA 등) 대비 **ADE (평균 변위 오차)**가 개선됨. 특히 평균 궤적 (Mean) 과 가장 유력한 가설 (Most Likely) 모두에서 cVMDx 가 기존 cVMD 보다 우수한 성능을 보임.
- 코드북 크기 (Q) 분석: 코드북 크기 ( $Q$ ) 를 30 에서 256 까지 증가시켰을 때 성능 향상은 미미함. 이는 데이터셋 크기가 고정된 상태에서 코드북만 늘리는 것은 오히려 희소성을 유발하여 정규화 효과를 낮출 수 있음을 시사.
다중 모드 평가: 생성된 다중 샘플을 기반으로 한 예측은 단일 점 추정 (Point Estimator) 모델보다 불확실성을 더 잘 표현하며, 안전 계획에 필수적인 다양한 미래 시나리오를 포착함.

5. 의의 및 결론 (Significance)

이 연구는 확산 기반 모델이 자율주행의 궤적 예측 분야에서 가진 잠재력을 실용적인 수준으로 끌어올렸습니다.

실시간성 확보: 기존 확산 모델의 치명적인 단점이었던 느린 추론 속도를 DDIM 을 통해 해결함으로써, 실제 자율주행 시스템에 적용 가능한 속도를 달성했습니다.
불확실성 정량화: 단순히 하나의 정답을 예측하는 것을 넘어, 상황의 불확실성에 따라 유연하게 반응하는 다중 모드 예측을 제공하여 안전 계획 (Safety Planning) 에 필수적인 정보를 제공합니다.
강건한 인코딩: CVQ-VAE 를 통해 시나리오 표현의 안정성을 높였으며, 불확실성 인식 가이드 메커니즘을 통해 맥락에 따른 예측 신뢰도를 조절할 수 있게 되었습니다.

결론적으로, cVMDx 는 효율성, 정확성, 그리고 불확실성 표현을 모두 고려한 차세대 궤적 예측 프레임워크로, 복잡한 고속도로 환경에서의 자율주행 안전성을 높이는 데 중요한 기여를 할 것으로 기대됩니다.