K-Gen: A Multimodal Language-Conditioned Approach for Interpretable Keypoint-Guided Trajectory Generation

이 논문은 자율주행 시뮬레이션을 위해 비정형 시각적 맥락과 텍스트 설명을 통합한 멀티모달 대규모 언어 모델을 활용하고, T-DAPO 강화학습으로 미세 조정된 해석 가능한 키 포인트 생성을 통해 기존 방법론보다 우수한 성능을 보이는 K-Gen 프레임워크를 제안합니다.

핵심

🚗 1. 문제점: 왜 기존 방식은 부족할까?

기존의 자율주행 시뮬레이션 프로그램들은 마치 수학 문제집을 푸는 것과 비슷했습니다.

• 기존 방식: "도로는 이 선, 차는 이 좌표"처럼 숫자와 벡터 (화살표) 로만 된 딱딱한 데이터를 입력받습니다.
• 한계: 마치 지도의 선만 보고 길을 찾는 것과 같습니다. 실제 도로의 복잡한 상황 (예: "저 차가 갑자기 끼어들 것 같은 분위기", "비 오는 날이라 미끄러울 것 같다") 같은 '분위기'나 '맥락'을 전혀 이해하지 못합니다. 그래서 생성된 차량의 움직임이 기계적이고 위험할 수 있습니다.

💡 2. 해결책: K-Gen 이란 무엇인가?

저자들은 K-Gen이라는 새로운 시스템을 만들었습니다. 이는 ** Multimodal Large Language Model (MLLM, 멀티모달 거대 언어 모델)**을 사용합니다.

• 비유: K-Gen 은 **운전 경험이 풍부한 '현명한 조수'**와 같습니다.
  • 이 조수는 **지도 이미지 (비주얼)**를 보기도 하고, **주변 상황 설명 (텍스트)**도 읽습니다.
  • 단순히 "차 A 는 오른쪽으로 가라"고 명령하는 게 아니라, **"저 차는 교차로에서 우회전하려는 것 같으니, 우리는 잠시 멈춰서 기다려야 해"**라고 **이유 (추론)**를 설명해 줍니다.

🛠️ 3. 작동 원리: 3 단계로 나누어 생각하기

K-Gen 은 한 번에 모든 길을 그리는 게 아니라, 3 단계로 나누어 꼼꼼하게 작업합니다.

1 단계: 핵심 지점 잡기 (Keypoint Generation)

• 비유: 여행 계획을 세울 때, "서울에서 부산까지 가는 전체 경로"를 한 번에 그리는 게 아니라, **"서울 → 대전 → 부산"**처럼 중요한 **중간 기착지 (핵심 지점)**만 먼저 정하는 것과 같습니다.
• 작동: AI 가 "이 차는 교차로에서 멈출 거야"라고 추론하면서, 경로상의 중요한 지점들만 먼저 뽑아냅니다. 이때 **생각하는 과정 (Chain-of-Thought)**도 함께 출력해서, 왜 그 지점을 선택했는지 인간도 이해할 수 있게 합니다.

2 단계: 다듬기 (TrajRefiner)

• 비유: 핵심 지점만 연결하면 경로가 너무 뚝뚝 끊겨 보일 수 있습니다. 이때 **조수 (TrajRefiner)**가 나서서 지점 사이를 부드럽게 이어줍니다.
• 작동: AI 가 뽑은 핵심 지점들을 바탕으로, 실제 차량이 움직일 법한 부드러운 곡선으로 다듬습니다. 특히 물리적으로 불가능한 움직임 (예: 갑자기 90 도 회전) 을 수정하여 안전성을 높입니다.

3 단계: 강화 학습 (T-DAPO)

• 비유: 운전 면허 시험을 볼 때, 가장 어렵고 험한 코스에서 실수한 부분을 집중적으로 훈련하는 것과 같습니다.
• 작동: K-Gen 은 평소에는 잘하지만, **사고가 날 법한 복잡한 상황 (난이도 높은 샘플)**에서 실수하면 더 강하게 학습합니다. "이런 상황에서는 이렇게 움직여야 안전해"라는 규칙을 스스로 찾아내도록 훈련시킵니다.

🏆 4. 결과: 왜 K-Gen 이 더 좋은가?

논문은 WOMD와 nuPlan이라는 두 가지 큰 자율주행 데이터셋으로 실험했습니다.

• 결과: 기존 방법들보다 차량의 움직임이 더 자연스럽고 (정확도 높음), 사고 위험이 훨씬 적었습니다 (안전성 높음).
• 핵심: 단순히 "어디로 갈지"만 알려주는 게 아니라, **"왜 그렇게 갈지"**에 대한 이유를 설명해주기 때문에, 우리가 AI 의 판단을 더 쉽게 이해하고 신뢰할 수 있게 되었습니다.

🌟 요약

K-Gen은 자율주행 시뮬레이션에 인간 같은 '이해'와 '추론' 능력을 더한 시스템입니다.

• 기존: "좌표 A 에서 좌표 B 로 이동해." (기계적)
• K-Gen: "저 차가 끼어들려고 하니까, 우리는 조금만 천천히 가자. 그리고 교차로에서 우회전할 준비를 해." (이해와 맥락이 있는)

이 기술은 앞으로 자율주행차가 더 안전하고, 우리 인간이 더 편안하게 탑승할 수 있는 미래를 만드는 데 큰 역할을 할 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

자율주행 시뮬레이션에서 현실적이고 다양한 차량 궤적 (Trajectory) 을 생성하는 것은 핵심적인 과제입니다. 기존 방법들은 다음과 같은 한계를 가지고 있습니다:

• 구조화된 데이터 의존성: 기존 LLM(대형 언어 모델) 기반 방법들은 벡터화된 지도 (Vectorized maps) 나 구조화된 데이터에 의존하는 경향이 있어, 장면의 풍부한 비정형적 시각적 맥락 (레이블, 차선 구조, 교통 요소 등) 을 충분히 포착하지 못합니다.
• 제어 및 해석 가능성 부족: 데이터 기반 생성 모델은 제어 가능성과 해석 가능성 (Interpretability) 이 부족하며, 규칙 기반 방법은 다양성이 제한됩니다.
• 직접 예측의 한계: LLM 이 직접 전체 궤적을 생성하려 할 때 물리적 일관성이 떨어지거나 coarse-grained(거친) 운동 제어가 발생하는 문제가 있습니다.

2. 제안 방법론 (Methodology: K-Gen)

저자들은 K-Gen이라는 다중 모달 (Multimodal) 프레임워크를 제안합니다. 이는 래스터화된 BEV(상단 뷰) 지도 이미지와 텍스트 장면 설명을 결합하여 MLLM(다중 모달 대형 언어 모델) 을 활용합니다.

핵심 아키텍처 및 프로세스

1. 다중 모달 입력:
   • 시각 입력: 벡터화된 데이터 대신 래스터화된 BEV 지도 이미지를 사용하여 복잡한 차선 구조와 지역적 맥락을 보존합니다.
   • 텍스트 입력: 에이전트 상태 (위치, 속도, 방향 등) 를 자연어 형태로 변환하여 입력합니다.
2. Keypoint-Guided 전략 (2 단계 접근):
   • 1 단계 (Keypoint Generation): MLLM 이 체인 오브 씽킹 (CoT, Chain-of-Thought) 추론을 통해 에이전트의 의도를 설명하고, 궤적의 **희소 키 포인트 (Sparse Keypoints)**를 생성합니다. 이는 전체 궤적을 직접 예측하는 대신, 중요한 지점과 그 이유를 먼저 도출하여 해석 가능성을 높입니다.
   • 2 단계 (Trajectory Refinement): 생성된 키 포인트를 기반으로 선형 보간 (Linear filling) 을 수행한 후, TrajRefiner 모듈을 통해 잔차 (Residual) 보정을 가하여 매끄럽고 정확한 최종 궤적으로 변환합니다.
3. 학습 전략 (T-DAPO):
   • SFT (Supervised Fine-Tuning): CoT 추론과 키 포인트 생성을 위한 초기 학습.
   • RFT (Reinforcement Fine-Tuning): 제안된 T-DAPO (Trajectory-aware Decoupled Clip and Dynamic Sampling Policy Optimization) 알고리즘을 적용합니다.
     • 하드 샘플 강조: 예측 오차 (ADE, FDE) 가 큰 상위 30% 의 어려운 샘플을 선택하여 학습합니다.
     • 보상 함수: 궤적 정확도 (Accuracy), CoT 의 간결성, 포맷 정확도를 종합적으로 평가하는 복합 보상을 사용합니다. 이는 모델이 단순한 직선 예측에 머무르지 않고 복잡한 상황에서 정확한 궤적을 생성하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 다중 모달 해석 가능 프레임워크: 래스터화된 지도와 텍스트 입력을 통합하여 에이전트의 의도 예측과 정확한 궤적 예측을 동시에 수행하는 K-Gen 을 제안했습니다.
2. 키 포인트 유도 전략: 궤적 생성을 '키 포인트 생성'과 '궤적 정제' 두 단계로 분해하여, MLLM 의 직접 출력보다 높은 정확도와 안정성을 확보했습니다.
3. T-DAPO 알고리즘: 궤적 중심의 보상 신호를 도입한 강화 학습 미세 조정 알고리즘을 개발하여, 어려운 시나리오에서의 모델 성능을 극대화하고 물리적으로 일관된 운동을 재구성하도록 했습니다.

4. 실험 결과 (Results)

WOMD (Waymo Open Motion Dataset) 및 nuPlan 데이터셋에서 기존 방법론 (LCTGen, InteractTraj 등) 과 다양한 MLLM 베이스라인 (InternVL, Qwen 시리즈) 과 비교 평가되었습니다.

• 정량적 성능:
  • WOMD: mADE(평균 평균 변위 오차) 0.915, mFDE(평균 최종 변위 오차) 2.422, SCR(시나리오 충돌률) 0.006 을 기록하여 기존 최상위 모델들을 능가했습니다.
  • nuPlan: mADE 0.591, mFDE 1.478, SCR 0.027 으로 역시 최상의 성능을 보였습니다.
  • 특히, 단순한 모델 크기 확장 (Scaling) 이나 다른 MLLM 적용만으로는 달성하지 못한 성능 향상을 보였으며, TrajRefiner 모듈과 T-DAPO 학습 전략의 효과가 입증되었습니다.
• 정성적 분석:
  • Attention Map: 모델이 교차로, 합류 지점, 곡선 도로 등 안전에 치명적인 지역과 상호작용하는 에이전트들에 집중하는 것을 시각적으로 확인했습니다.
  • Ablation Study: SFT, TrajRefiner, T-DAPO 각 구성 요소가 성능 향상에 필수적임을 입증했습니다. 특히 TrajRefiner 는 MLLM 이 생성한 물리적으로 불가능한 키 포인트를 보정하여 충돌률 (SCR) 을 거의 0 에 가깝게 낮추는 역할을 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 시뮬레이션 분야에서 다음과 같은 중요한 의의를 가집니다:

• 시각적 맥락의 활용: 벡터화된 데이터의 한계를 넘어, 원시적인 시각 정보 (이미지) 를 직접 활용함으로써 복잡한 도로 환경과 상호작용을 더 정교하게 모델링할 수 있음을 증명했습니다.
• 해석 가능성과 정확성의 균형: LLM 의 추론 능력 (CoT) 을 활용하여 "왜" 그 궤적이 생성되었는지 설명할 수 있으면서도, TrajRefiner 를 통해 물리적으로 정확한 궤적을 생성하는 새로운 패러다임을 제시했습니다.
• 강화 학습의 효과적 적용: 자율주행 궤적 생성이라는 특수한 도메인에 맞춘 T-DAPO 알고리즘을 통해, 강화 학습 미세 조정이 생성 모델의 안전성과 정확도를 동시에 향상시킬 수 있음을 보여주었습니다.

결론적으로 K-Gen 은 언어 기반의 추론과 다중 모달 시각 정보를 결합하여, 안전하고 해석 가능하며 고충실도 (High-fidelity) 를 갖춘 자율주행 시나리오 생성을 가능하게 하는 강력한 프레임워크입니다.