KnowDiffuser: A Knowledge-Guided Diffusion Planner with LM Reasoning and Prior-Informed Trajectory Initialization

이 논문은 언어 모델의 의미적 추론 능력과 확산 모델의 생성적 힘을 통합하여 자율주행의 의미-물리 간극을 해소하고, nuPlan 벤치마크에서 기존 계획기보다 우수한 성능을 보이는 'KnowDiffuser'라는 지식 기반 확산 계획 프레임워크를 제안합니다.

핵심

🚗 자율주행의 두 가지 고민: "어디로 가야 할까?" vs "어떻게 움직일까?"

자율주행 차를 운전한다고 상상해 보세요. 차는 두 가지 일을 동시에 해야 합니다.

1. 의사결정 (고수준): "앞에 차가 많으니 멈춰야지", "우회전해야지", "신호등이 초록이니까 가자" 같은 큰 그림의 판단이 필요합니다.
2. 구동 (저수준): "바퀴를 몇 도 돌리고, 가속페달을 얼마나 밟아야 부드럽게 우회전할까?" 같은 정밀한 물리적 움직임이 필요합니다.

지금까지의 기술은 이 두 가지가 서로 따로 놀고 있었습니다.

• 언어 모델 (LLM, 예: 챗봇): "우회전해"라고 말은 잘하지만, 실제로 차를 어떻게 움직여야 할지 구체적인 좌표 (x, y) 를 그리는 데는 서툴렀습니다. 마치 유능한 지휘관은 있지만, 악보 (구체적인 동작) 를 직접 쓰지 못하는 상황입니다.
• 확산 모델 (Diffusion Model): 차가 부드럽게 움직이는 길을 그리는 데는 탁월하지만, 왜 그렇게 움직여야 하는지 '이유'를 모릅니다. 마치 실력 있는 악사는 있지만, 어떤 곡을 연주해야 할지 지시받지 못해 막막한 상황입니다.

💡 KnowDiffuser 의 해결책: "명령과 실행의 완벽한 듀엣"

이 논문은 이 두 기술을 하나로 합쳐 KnowDiffuser를 만들었습니다. 마치 **유능한 지휘관 (언어 모델)**과 **실력 있는 악사 (확산 모델)**가 한 팀이 되어 완벽한 공연을 하는 것과 같습니다.

1. 지휘관의 역할: "상황을 읽고 '메타 액션'을 내린다"

차의 앞뒤 상황, 신호등, 보행자 등을 분석하는 **언어 모델 (LM)**이 먼저 나섭니다.

• 복잡한 도로 상황을 보고 "아, 지금 우회전해야겠다"라고 판단합니다.
• 이때 구체적인 차의 좌표까지 그리는 게 아니라, **"우회전 (Turn Right)"**이나 "정지 (Stop)" 같은 **간단한 명령어 (메타 액션)**만 내립니다.
• 비유: 지휘관이 악단에 "이제 슬픈 곡을 연주해"라고 지시하는 것과 같습니다.

2. 연결고리: "명령을 구체적인 악보로 변환"

이제 이 명령어를 실제 차가 움직일 수 있는 **기초 악보 (Prior Trajectory)**로 바꿔줍니다.

• 과거에 수많은 차들이 실제로 "우회전"할 때 어떻게 움직였는지 데이터를 분석해 만든 표준 우회전 경로를 찾아옵니다.
• 비유: 지휘관의 "슬픈 곡"이라는 지시를 보고, 악단이 "이런 느낌의 멜로디"라는 기본 악보를 꺼내드는 것입니다.

3. 악사의 역할: "빠르고 정확한 수정 (확산 모델)"

이제 확산 모델이 나섭니다.

• 보통 확산 모델은 아무것도 없는 상태 (흰 소음) 에서부터 시작해 그림을 그려나가는데, 시간이 많이 걸립니다.
• 하지만 KnowDiffuser 는 이미 **기본 악보 (우회전 경로)**를 가지고 시작합니다.
• 여기에 아주 작은 **변형 (노이즈)**을 주어, 실제 상황 (예: 갑자기 나타난 보행자, 비포장 도로 등) 에 맞춰 빠르게 수정합니다.
• 비유: 이미 준비된 기본 악보를 바탕으로, 즉흥적으로 약간의 변주를 더해서 완벽한 연주를 만들어내는 것입니다.

🚀 왜 이 기술이 특별한가요?

1. 이해할 수 있는 이유 (해석 가능성): "왜 차가 멈췄지?"라고 물어보면, "언어 모델이 신호등이 빨간색이라고 판단했기 때문"이라고 명확히 설명할 수 있습니다. (기존 기술은 왜 멈췄는지 이유를 말해주기 어려웠습니다.)
2. 매우 빠름 (실시간성): 처음부터 0 부터 그리는 게 아니라, 기본 틀을 가지고 시작해서 수정하므로 계산 속도가 훨씬 빠릅니다. 자율주행은 0.1 초가 생명이므로 매우 중요합니다.
3. 안전하고 자연스러움: 과거의 실제 운전 데이터 (물리적으로 가능한 움직임) 를 기반으로 하기 때문에, 차가 공중을 날거나 물리적으로 불가능한 궤적을 그리는 일이 없습니다.

📊 실제 성과: "누Plan(뉴플랜) 대회"에서의 승리

이 기술은 실제 자율주행 평가 기준인 nuPlan에서 기존에 가장 잘하던 기술들 (규칙 기반, 딥러닝 기반 등) 보다 압도적으로 좋은 점수를 받았습니다.

• 정확도: 차가 예상한 길과 실제 운전자가 운전한 길이 거의 일치했습니다.
• 안전성: 사고 위험이 있는 잘못된 경로를 계획하는 경우가 훨씬 줄었습니다.

🎯 결론

KnowDiffuser는 **"지식 (언어 모델)"**과 **"기술 (확산 모델)"**을 결합하여, 자율주행차가 **사람처럼 생각 (이유를 알고 판단)**하면서도 **프로처럼 운전 (정밀하고 안전하게 움직임)**하게 만든 혁신적인 기술입니다.

앞으로 이 기술이 상용화되면, 우리는 더 안전하고, 더 똑똑하며, 왜 그렇게 운전하는지 설명도 잘 해주는 자율주행차를 타게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

자율주행 (AD) 분야에서 최근 언어 모델 (LM) 의 등장으로 고수준의 상황 인식과 추론 능력이 크게 향상되었으나, 다음과 같은 한계점이 존재합니다.

• 언어 모델 (LM) 의 한계: LM 은 이산적인 토큰 (discrete token) 공간에서 작동하여 연속적이고 물리적으로 실현 가능한 궤적 (trajectory) 을 직접 생성하는 데 어려움을 겪습니다. 고수준 의사결정은 가능하지만 저수준의 정밀한 제어 신호를 생성하기엔 부적합합니다.
• 확산 모델 (Diffusion Model) 의 한계: 확산 모델은 물리적으로 일관되고 신뢰할 수 있는 궤적을 생성하는 데 탁월하지만, 시나리오에 대한 의미론적 이해 (semantic interpretability) 가 부족하고 고수준의 의사결정 (예: 교통 규칙, 사회적 규범) 과 정렬되지 않을 수 있습니다.
• 실시간성 문제: 확산 모델의 반복적인 디노이징 (denoising) 과정은 추론 지연 (latency) 을 유발하여 실시간 자율주행 환경에 적용하기 어렵습니다.

이러한 의미론적 추론 (Semantic Reasoning) 과 물리적 실행 (Physical Execution) 간의 격차를 해소하고, 실시간성을 확보하는 새로운 프레임워크가 필요합니다.

---

2. 제안 방법론: KnowDiffuser (Methodology)

저자들은 고수준의 의미론적 이해와 저수준의 궤적 생성을 통합한 KnowDiffuser를 제안합니다. 이 프레임워크는 크게 네 가지 핵심 구성 요소로 이루어져 있습니다.

가. 메타 - 액션 및 사전 궤적 매칭 라이브러리 구축

• 대규모 주행 로그 (nuPlan) 를 분석하여 8 초 단위의 주행 구간을 분할합니다.
• 각 구간의 궤적 특징 (평균 속도, 가속도, heading 변화 등) 을 추출하고, 규칙 기반 분류를 통해 '직진', '좌회전', '정지' 등의 **메타 - 액션 (Meta-action)**으로 라벨링합니다.
• 동일한 메타 - 액션에 해당하는 궤적들을 클러스터링하여 평균 궤적을 계산하고, 이를 사전 궤적 (Prior-trajectory) 라이브러리로 구축합니다. 이는 이산적인 의도를 연속적인 운동 템플릿으로 매핑하는 기반이 됩니다.

나. 고수준 의사결정 모듈 (High-level Decision Module)

• **언어 모델 (LM)**을 활용하여 차체 상태, 주변 에이전트, 도로 토폴로지, 신호등 등 구조화된 장면 정보를 입력받습니다.
• LM 은 복잡한 교통 상황을 추론하여 구체적인 궤적이 아닌 **의도 기반의 메타 - 액션 (예: "가속하며 직진")**을 출력합니다. 이는 고수준의 의미론적 지시를 제공합니다.

다. 메타 - 액션에서 사전 궤적로의 매핑 브리지 (Bridge Mechanism)

• LM 이 출력한 메타 - 액션을 기반으로 사전 구축된 라이브러리에서 해당하는 **사전 궤적 (Prior-trajectory)**을 결정론적으로 검색합니다.
• 이 과정은 추상적인 의미적 결정을 물리적으로 타당한 운동 패턴으로 변환하여, 확산 모델의 **초기화 (Initialization)**를 위한 앵커 (Anchor) 역할을 합니다.

라. 저수준 궤적 생성 모듈 (Low-level Trajectory Generation)

• 전통적 방식: 확산 모델은 일반적으로 순수 가우시안 노이즈에서 시작하여 많은 단계를 거쳐 궤적을 생성합니다.
• KnowDiffuser 의 혁신 (Truncated Two-Step Denoising):
  1. 사전 궤적 기반 초기화: 순수 노이즈 대신 의미론적으로 정렬된 사전 궤적을 입력으로 사용합니다.
  2. 제한된 노이즈 주입: 사전 궤적에 약간의 가우시안 노이즈를 두 단계 (two-step) 로만 주입하여 불확실성을 시뮬레이션합니다.
  3. DiT 디코더: 트랜스포머 기반의 Diffusion Transformer(DiT) 가 이 노이즈가 섞인 입력을 받아 조건부 디노이징을 수행하여 최종 궤적을 생성합니다.
• 이 방식은 전체 확산 과정을 생략하여 추론 속도를 획기적으로 높임과 동시에 물리적 실현 가능성과 의미론적 일관성을 유지합니다.

---

3. 주요 기여 (Key Contributions)

1. 지식 기반 확산 계획 프레임워크: LM 의 의미론적 추론 능력과 확산 모델의 생성 능력을 통합한 하이브리드 아키텍처를 제안했습니다. 고수준 의사결정과 저수준 제어 궤적 간의 정렬을 위한 브리지 메커니즘을 도입하여 해석 가능하고 문맥 인식적인 계획이 가능해졌습니다.
2. 실시간 확산 추론 전략: '절단된 디노이징 (Truncated Denoising)'과 '2 단계 정제 (Two-step Refinement)' 기법을 결합하여, 궤적의 품질과 실현 가능성을 유지하면서 추론 지연을 대폭 감소시켰습니다.
3. 성능 입증: nuPlan 벤치마크에서 오픈 - 루프 (Open-loop) 와 클로즈드 - 루프 (Closed-loop) 모두에서 기존 최첨단 (SOTA) 방법론들을 압도하는 성능을 보였습니다.

---

4. 실험 결과 (Results)

nuPlan 벤치마크를 기반으로 한 실험 결과는 다음과 같습니다.

• 오픈 - 루프 계획 (Open-loop Planning):

  • 성능: 제안된 KnowDiffuser 는 8 초 평균 변위 오차 (8s ADE) 에서 0.298, 8 초 최종 변위 오차 (8s FDE) 에서 0.568을 기록했습니다.
  • 비교: 기존 확산 기반 모델 (GUMP-m) 이나 트랜스포머 기반 모델 (CKS-1.5b) 보다 ADE/FDE 에서 월등히 낮은 오차를 보였으며, **미스 레이트 (Miss Rate)**도 0.021 로 가장 낮았습니다. 이는 궤적의 정확도와 안전성이 매우 높음을 의미합니다.

• 클로즈드 - 루프 계획 (Closed-loop Planning):

  • 성능: Val-14 시나리오에서 비반응형 (NR) 87.50, 반응형 (R) 81.25의 성공률을 기록했습니다.
  • 비교: 기존 최강의 베이스라인인 PlanTF(Val NR 84.83) 보다 약 2.67%p, GameFormer 보다 약 20%p 이상 높은 성능을 보여주었습니다. 특히 동적 에이전트 상호작용에 대한 적응성 (Reactive metrics) 에서 뛰어난 성능을 입증했습니다.

• LLM 규모에 대한 분석 (Ablation Study):

  • GPT-4o(대형) 를 사용할 때 가장 높은 성능 (81.10) 을 보였으며, 작은 모델 (LLaMA-3B, Qwen3-32B) 을 사용할 경우 복잡한 상황에서의 메타 - 액션 선택 실패로 인해 성능이 크게 저하되었습니다. 이는 고수준 추론을 위한 강력한 언어 모델의 중요성을 시사합니다.

---

5. 의의 및 결론 (Significance)

KnowDiffuser 는 자율주행 시스템의 **의미론적 - 물리적 간극 (Semantic-Physical Gap)**을 효과적으로 해소한 획기적인 접근법입니다.

• 해석 가능성: LM 을 통해 고수준의 의사결정 근거를 제공받아 블랙박스 성격을 줄였습니다.
• 실용성: 확산 모델의 반복적 샘플링 단계를 줄여 실시간 적용 가능성을 확보했습니다.
• 안전성 및 정확도: 물리적으로 실현 가능한 궤적을 생성하면서도 교통 규칙과 사회적 규범을 준수하는 계획을 수립합니다.

이 연구는 언어 기반 추론과 생성형 확산 모델의 시너지를 통해 차세대 지능형 자율주행 계획 시스템의 새로운 패러다임을 제시하며, 실제 도로 환경에서의 배포 가능성을 크게 높였습니다.