$AutoDrive\text{-}P^3$: Unified Chain of Perception-Prediction-Planning Thought via Reinforcement Fine-Tuning

1. 문제 정의 (Problem)

자율주행 시스템은 전통적으로 인지 (Perception), 예측 (Prediction), 계획 (Planning) 의 세 단계를 분리하여 수행해 왔으나, 이로 인해 오차 누적 (error accumulation) 이 발생하여 최종 궤적의 품질이 저하되는 문제가 있었습니다. 최근 비전 - 언어 모델 (VLM) 을 도입한 엔드 - 투 - 엔드 (End-to-End) 접근법이 등장했으나, 다음과 같은 두 가지 주요 한계를 겪고 있습니다:

1. 생각의 사슬 (CoT) 부재 및 도메인 간극: 일부 VLM 기반 모델은 인지나 예측 단계를 거치지 않고 바로 계획 (궤적) 결과를 출력합니다. 이는 중요한 추론 과정을 생략하여 도메인 간극을 심화시키고 의사결정 능력을 약화시킵니다.
2. 모듈 간 시너지 부족: 다른 모델들은 인지, 예측, 계획에 대한 답변을 생성할 수 있지만, 각 태스크를 분리된 방식으로 처리합니다. 이로 인해 모듈 간 상호작용이 부족하여 진정한 계획 성능이 저하됩니다.
3. 제한된 보상 신호: 기존 강화학습 (GRPO 등) 은 주로 최종 계획 (Trajectory) 의 성능 (예: L2 거리) 만을 최적화 대상으로 삼아, 인지 및 예측 모듈에 대한 직접적인 감독 (supervision) 이 부족했습니다.

2. 방법론 (Methodology)

저자들은 위 한계를 해결하기 위해 AutoDrive-P 3라는 새로운 프레임워크를 제안했습니다. 이는 인지, 예측, 계획을 통합된 생각의 사슬 (Chain-of-Thought, CoT) 로 연결하고, 계층적 강화학습을 통해 최적화합니다.

가. P 3-CoT 데이터셋 구축

• 목적: 인간 운전자의 사고 과정을 모방하여, 핵심 객체 (Key Objects) 를 식별하고 그 미래 행동을 예측한 후 최종 계획을 수립하는 일관된 추론 체인을 학습하기 위함.
• 구성: nuScenes 및 NAVSIM 데이터셋을 기반으로 25,303 프레임 (nuScenes) 과 115,434 프레임 (NAVSIM) 의 데이터를 수집했습니다.
• 프로세스:
  1. 인지: 핵심 객체 (차량, 보행자 등) 의 바운딩 박스 (Bounding Box) 를 식별.
  2. 예측: 식별된 객체의 미래 행동 (정지, 직진 등) 을 예측.
  3. 계획: 자차의 미래 궤적을 수립.
  4. 생성: Qwen2.5-VL-72B 를 활용하여 위 3 단계가 논리적으로 연결된 CoT 텍스트와 정답을 생성하고, 수동 검증을 통해 데이터 품질을 확보했습니다.

나. 감독 미세 조정 (Supervised Fine-Tuning, SFT)

• 콜드 스타트 (Cold Start): P 3-CoT 데이터셋을 사용하여 VLM 을 자율주행 도메인에 맞게 SFT 합니다.
• 목표: 모델이 구조화된 <think_perception>, <answer_perception>, <think_prediction>, <answer_prediction>, <think_planning>, <answer_planning> 형식의 출력을 생성하도록 학습시켜, 도메인 간극을 줄이고 추론 능력을 초기화합니다.

다. P 3-GRPO 알고리즘 (Hierarchical Reinforcement Fine-Tuning)

• 개념: 기존 GRPO (Group Relative Policy Optimization) 를 확장하여 인지, 예측, 계획 3 개 모듈을 동시에 최적화하는 계층적 보상 구조를 도입했습니다.
• 보상 함수 (Reward Function): 전체 보상은 다음과 같은 가중 합으로 구성됩니다.
  $$R = \lambda_{format} R_{format} + \lambda_{perc} R_{perc} + \lambda_{pred} R_{pred} + \lambda_{plan} R_{plan}$$
  • 인지 보상 ($R_{perc}$): 객체 탐지 정확도 (IoU, Precision, Recall) 기반.
  • 예측 보상 ($R_{pred}$): 객체의 미래 행동 예측 정확도 및 탐지 품질과 결합.
  • 계획 보상 ($R_{plan}$): 궤적의 L2 거리 및 충돌 회피 (NAVSIM 의 경우 PDMS/EPDMS 점수 포함) 기반.
• 효과: 계획의 정확도 향상이 이전 단계 (인지, 예측) 의 성능 향상과 직접적으로 연결되도록 하여, 모듈 간 시너지와 일관된 추론을 유도합니다.

라. 이중 사고 모드 (Dual Thinking Modes)

• 상세 사고 (Detailed Thinking): 모든 단계에서 추론 과정 (CoT) 과 정답을 모두 생성하여 높은 성능과 해석 가능성을 제공합니다.
• 빠른 사고 (Fast Thinking): 추론 과정은 생략하고 최종 정답만 생성하여 추론 효율성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. AutoDrive-P 3 프레임워크 제안: 인지, 예측, 계획 간의 관계를 명시적으로 포착하고 통합된 CoT 구조로 연결하는 최초의 엔드 - 투 - 엔드 비전 - 언어 주행 프레임워크입니다.
2. P 3-GRPO 알고리즘: 세 가지 태스크에 걸쳐 계층적이고 점진적인 최적화를 수행하는 새로운 강화 미세 조정 알고리즘을 개발했습니다.
3. P 3-CoT 데이터셋: VLM 학습을 위한 고품질의 통합 추론 데이터셋을 구축하여 공개했습니다.
4. 이중 사고 모드: 성능과 추론 효율성 사이의 균형을 잡기 위한 유연한 추론 방식을 도입했습니다.

4. 실험 결과 (Results)

• 오픈 루프 (Open-loop, nuScenes):
  • 충돌률 (Collision Rate) 에서 기존 SOTA 방법론 대비 약 40% 감소 (평균 0.06% 달성).
  • L2 오차에서도 최상위권 성능을 기록했습니다.
• 클로즈드 루프 (Closed-loop, NAVSIM v1/v2):
  • NAVSIM v1: PDMS 점수 90.6 (Vision-only 입력 기준 SOTA).
  • NAVSIM v2: EPDMS 점수 89.9 (Vision-only 입력 기준 SOTA).
• 효율성: Qwen2.5-3B 와 같은 상대적으로 작은 모델을 사용하면서도, 더 큰 모델 (LLaVA-7B 등) 과 더 많은 데이터를 사용한 기존 방법들보다 우수한 성능을 보였습니다.
• Ablation Study: P 3-GRPO (전체 모듈 최적화) 가 단순히 계획 단계만 최적화하는 GRPO 보다 인지, 예측, 계획 모든 면에서 성능이 월등히 뛰어남을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 자율주행 분야에서 VLM 의 추론 능력을 실제 주행 제어에 효과적으로 통합하는 새로운 패러다임을 제시합니다.

• 해석 가능성 (Interpretability): 모델이 왜 특정 궤적을 선택했는지 인지 및 예측 단계를 통해 명확한 이유 (CoT) 를 제공함으로써 블랙박스 문제를 해결합니다.
• 안전성 (Safety): 인지 및 예측의 정확도를 강화학습을 통해 직접적으로 개선함으로써, 오류가 계획 단계로 전파되는 것을 방지하고 더 안전한 주행 결정을 내립니다.
• 일반화 (Generalizability): 장미 (Long-tail) 시나리오에서도 강력한 적응력을 보여주며, 오픈 루프와 클로즈드 루프 환경 모두에서 SOTA 성능을 달성했습니다.

결론적으로, AutoDrive-P 3 는 분리된 모듈의 단순한 결합을 넘어, 통합된 사고 과정 (Unified Chain of Thought) 을 통해 자율주행 시스템의 신뢰성과 성능을 획기적으로 향상시킨 획기적인 연구로 평가됩니다.