AD-R1: Closed-Loop Reinforcement Learning for End-to-End Autonomous Driving with Impartial World Models

이 논문은 자율주행의 안전성을 확보하기 위해 충돌 및 탈선과 같은 위험 상황을 정직하게 예측할 수 있도록 훈련된 '공정한 세계 모델 (Impartial World Model)'을 폐루프 강화학습의 내부 비평가로 활용하는 AD-R1 프레임워크를 제안합니다.

핵심

이 논문은 자율주행 자동차가 어떻게 더 안전하게 운전할 수 있는지에 대한 획기적인 새로운 방법을 제시합니다. 복잡한 기술 용어 대신, 일상적인 비유를 통해 쉽게 설명해 드리겠습니다.

🚗 핵심 문제: "낙관적인 착각"을 하는 운전 시뮬레이터

지금까지 자율주행 AI 를 훈련시킬 때, 우리는 **"안전한 운전 데이터"**만 보여주었습니다. 마치 운전 학원에서 오직 '안전하게 차를 잘 몰던' 모범생들의 기록만 보여주고 시험을 보게 하는 것과 같습니다.

그런데 문제는, AI 가 **위험한 상황 (예: 보행자에게 돌진하거나, 길 밖으로 나가는 것)**을 상상해 보라고 할 때 발생합니다. 기존 AI 모델들은 이렇게 말합니다.

"아니, 내가 그쪽으로 가도 괜찮아! 보행자가 갑자기 사라지거나, 길이 갑자기 아스팔트로 변할 거야!"

이걸 논문에서는 **"낙관적인 편향 (Optimistic Bias)"**이라고 부릅니다. 즉, AI 가 위험을 예측하는 대신, **"무조건 다 잘 될 거야"**라고 거짓말을 하며 안전한 미래를 **환각 (Hallucination)**해내는 것입니다. 이렇게 되면 AI 는 위험한 행동을 해도 "좋아, 잘했어!"라는 칭찬을 받아서 더 위험해집니다.

💡 해결책: "공정한 심판관 (Impartial World Model)"을 만나다

이 논문 (AD-R1) 의 핵심 아이디어는 바로 **"위험한 일도 솔직하게 예측하는 시뮬레이터"**를 만드는 것입니다.

1. 가상의 사고장 만들기 (Counterfactual Synthesis):
   연구팀은 실제 도로 데이터를 가지고, AI 가 "만약 내가 이렇게 운전하면 어떨까?"라고 상상하게 했습니다. 하지만 단순히 상상만 하는 게 아니라, **의도적으로 사고가 날 만한 경로 (보행자와 부딪히거나, 길 밖으로 나가는 경로)**를 만들어서 AI 에게 보여줬습니다.

   • 비유: 마치 운전 학원 강사가 모범생 기록만 보여주지 않고, "만약 네가 이렇게 차를 몰면 이렇게 사고가 난다"는 시뮬레이션 영상을 보여주고, "아이고, 위험하구나!"라고 가르치는 것과 같습니다.

2. 공정한 심판관 (Impartial World Model):
   이렇게 훈련된 AI 는 이제 **"공정한 심판관"**이 됩니다.

   • 기존 모델: "네가 보행자에게 달려가도 괜찮아! 보행자가 사라질 거야!" (거짓말)
   • 새로운 모델 (AD-R1): "아니야! 네가 그쪽으로 가면 보행자와 부딪혀서 큰일 날 거야!" (진실)
     이 모델은 AI 가 위험한 행동을 할 때, "좋아!"가 아니라 **"아이고, 위험해! 점수 깎아!"**라고 솔직하게 경고합니다.

3. 꿈꾸며 배우기 (Closed-Loop RL):
   이제 자율주행 AI 는 실제 도로에 나가지 않고도, 이 '공정한 심판관'과 함께 머릿속으로 수만 번의 사고를 경험하며 배웁니다.

   • "내가 저기 차선을 넘으면 부딪히겠구나." -> "그럼 안 넘어가야지."
   • "내가 저기서 급정거하면 넘어지겠구나." -> "그럼 부드럽게 멈춰야지."
     이 과정을 통해 AI 는 실제 사고를 당하기 전에, 머릿속에서 실패를 경험하고 학습하게 됩니다.

🏆 결과: 더 안전하고 똑똑한 운전

이 방법을 적용한 결과, 기존 자율주행 모델들보다 사고 위험을 훨씬 정확하게 예측하게 되었고, 실제 주행 시나리오에서 안전 위반이 크게 줄어든 것으로 확인되었습니다.

📝 한 줄 요약

"자율주행 AI 가 '무조건 잘 될 거야'라고 착각하지 않도록, '위험하면 사고가 난다'는 사실을 솔직하게 가르쳐주는 가상의 사고 시뮬레이터를 만들어서, AI 가 실제 도로에 나가기 전에 머릿속으로 수만 번의 사고를 겪게 하고 배웠더니, 훨씬 더 안전하게 운전하게 되었다."

이 연구는 **"실패를 두려워하지 않고, 실패를 상상해 볼 줄 아는 AI"**야말로 진짜 안전한 자율주행의 핵심임을 보여줍니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 종단간 (End-to-End) 자율주행은 센서 데이터로부터 복잡한 행동을 학습할 수 있지만, 안전성과 긴 꼬리 (Long-tail) 사건 처리에 있어 한계가 있습니다. 이를 극복하기 위해 강화학습 (RL) 이 유망한 대안으로 제시되고 있으나, 실제 자율주행에 적용되는 데는 여전히 난관이 존재합니다.
• 핵심 문제: 낙관적 편향 (Optimistic Bias)
  • 기존 RL 기반 자율주행은 주로 외부 시뮬레이터에 의존하며, 이는 'Sim-to-Real' 격차와 상호작용 부족 등의 문제를 야기합니다.
  • 최근 생성형 월드 모델 (World Models) 을 내부 시뮬레이터로 사용하는 접근이 등장했으나, 치명적인 결함이 발견되었습니다.
  • 기존 월드 모델은 안전하고 전문가가 주행한 데이터 (Safe Expert Data) 로만 훈련되기 때문에, **위험한 행동 (Unsafe Trajectory) 을 입력받았을 때 실제 충돌이나 사고를 예측하지 못하고, 비현실적으로 안전한 미래를 '환각 (Hallucinate)'**합니다.
  • 예를 들어, 보행자를 향해 주행하는 경로를 입력하면 모델은 보행자가 사라지거나 도로가 변형되는 등 안전한 결과를 예측하여, 에이전트가 위험한 행동을 해도 높은 보상을 받게 만듭니다. 이는 RL 의 '비평가 (Critic)'로서 신뢰할 수 없게 만듭니다.

2. 제안된 방법론 (Methodology)

저자들은 AD-R1이라는 새로운 폐쇄 루프 (Closed-Loop) RL 프레임워크를 제안하며, 그 핵심은 **공정한 월드 모델 (Impartial World Model, IWM)**을 구축하는 데 있습니다.

가. 공정한 월드 모델 (Impartial World Model, IWM)

기존 모델의 낙관적 편향을 해결하기 위해 고안된 모델로, 안전하고 위험한 행동 모두에 대해 사실적인 결과를 예측하도록 훈련됩니다.

1. 반사실적 합성 (Counterfactual Synthesis):

   • 기존 안전 데이터의 부족을 해결하기 위해, 실제 주행 로그를 '편집 가능한 무대'로 간주하여 **합성된 위험 데이터 (Synthetic Negative Data)**를 생성합니다.
   • 커리큘럼 학습: 오프로드 (Off-road), 정적 장애물 침투 (Penetration), 동적 에이전트 충돌 (Collision) 등 다양한 실패 시나리오를 물리적으로 일관되게 생성합니다.
   • 생성된 경로를 기반으로 실제 3D/4D 점유율 (Occupancy) 맵을 변형하여, 충돌이 발생할 미래의 '진실 (Ground Truth)'을 만듭니다.

2. 모델 중심 개선 (Model-Centric Refinements):

   • 경로 인식 게이트 (Trajectory-Aware Gating, TAG): 입력된 에이전트의 명령 경로를 2D 마스크로 변환하여 모델의 특징 맵에 적용합니다. 이는 모델이 장애물을 무시하고 안전한 미래를 상상하는 것을 방지합니다.
   • 에이전트 경로 충실도 손실 (Ego-Trajectory Fidelity Loss): 예측된 에이전트의 위치가 입력된 제어 명령 경로와 일치하도록 L2 손실을 부과합니다. 이는 모델이 스스로 회피 동작을 취하며 미래를 수정하는 것을 방지하고, 오직 '예측'에만 집중하게 합니다.

나. RL 기반 정책 정제 (RL-based Policy Refinement)

• 내부 비평가 (Internal Critic) 역할: 훈련된 IWM 을 사용하여 에이전트가 제안한 여러 경로 (Trajectory Rollouts) 의 미래를 '꿈 (Dream)'으로 시뮬레이션합니다.
• 4D 보상 모델링 (4D Reward Modeling):
  • 단순한 2D 평면이 아닌, 3D 공간과 시간 (4D) 을 고려한 점유율 맵을 기반으로 보상을 계산합니다.
  • 안전성: 충돌 (Collision), 오프로드, 보행자/차량과의 간섭에 대한 강력한 패널티.
  • 3D 안전성: 낮은 고도의 구조물 (다리, 터널) 과의 충돌 방지 (수직 간격), 불규칙한 노면 감지.
  • 편안함 및 진행: 속도 유지, 경로 진행도 등.
• 학습 알고리즘: 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 사용하여, 시뮬레이션된 다양한 경로 중 상대적으로 안전한 경로를 선택하도록 정책을 미세 조정 (Fine-tuning) 합니다.

3. 주요 기여 (Key Contributions)

1. AD-R1 프레임워크: 생성형 4D 월드 모델을 '꿈 엔진 (Dream Engine)'으로 활용하여, 에이전트가 상상 속의 실패 (Imagined Failures) 를 통해 안전하게 학습할 수 있는 폐쇄 루프 RL 프레임워크를 제시했습니다.
2. 낙관적 편향의 진단 및 해결: 월드 모델의 '낙관적 편향'을 체계적으로 진단하기 위해 **위험 예측 벤치마크 (Risk Foreseeing Benchmark, RFB)**를 최초로 제안했습니다.
3. 공정한 월드 모델 (IWM):
   • 데이터 측면: 반사실적 합성 (Counterfactual Synthesis) 파이프라인을 통해 실패 시나리오의 풍부한 커리큘럼을 구축했습니다.
   • 모델 측면: 경로 인식 게이트 (TAG) 와 충실도 손실 (Fidelity Loss) 을 도입하여 모델이 명령에 충실하게 위험을 예측하도록 했습니다.
4. 실증적 성과: NavSim 벤치마크에서 기존 최첨단 모델 (DiffusionDrive, ReCogDrive) 에 AD-R1 을 적용하여 계획 품질 (PDSM) 을 유의미하게 향상시켰습니다.

4. 실험 결과 (Results)

• 위험 예측 능력 (RFB 벤치마크):
  • 기존 모델 (DOME, I²-World) 은 위험한 경로 입력 시 f-IoU(실패 영역 예측 정확도) 가 매우 낮았으나 (약 14~21%), 제안된 IWM 은 45.91로 크게 향상되어 위험을 정확하게 예측함을 입증했습니다.
• 자율주행 정책 성능 (NavSim):
  • DiffusionDrive 기반 에이전트: PDSM 점수가 88.1 에서 89.8로 1.7%p 향상.
  • ReCogDrive 기반 에이전트: PDSM 점수가 86.5 에서 91.9로 1.1%p 향상.
  • 충돌률 (Collision Rate) 은 감소하고, 안전성과 편안함이 동시에 개선되었습니다.
• Ablation Study:
  • 반사실적 합성 데이터 (CS) 가 가장 큰 기여를 했으며, 모델 중심 개선 (MR) 과 4D 보상 (R) 이 순차적으로 추가될 때 성능이 지속적으로 향상됨을 확인했습니다.
  • 안전 패널티를 제거하면 충돌률이 다시 증가하고, 진행 보상 (Progress Reward) 을 제거하면 에이전트가 목표 지향적 행동을 하지 못해 성능이 급격히 저하됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 패러다임의 전환: 자율주행 에이전트를 실패로부터 보호하는 것이 아니라, **실패를 상상하고 예측할 수 있는 능력 (Foresight)**을 부여함으로써 진정한 안전성을 확보할 수 있음을 증명했습니다.
• 내부 시뮬레이션의 진화: 외부 시뮬레이터의 한계를 넘어, 학습된 월드 모델이 물리적으로 충실하고 위험을 예측하는 '공정한 심판자' 역할을 수행할 수 있음을 보여주었습니다.
• 실용성: 제안된 방법은 기존 훈련된 모델에 플러그 앤 플레이 (Plug-and-play) 방식으로 적용 가능하며, 실제 배포 전 안전성을 크게 높일 수 있는 핵심 기술로 평가됩니다.

요약하자면, AD-R1 은 **"모델이 위험을 거짓말하지 않고 (Hallucinate하지 않고) 정직하게 예측하도록 가르치는 것"**이 안전하고 지능적인 자율주행 에이전트를 구축하는 필수 조건임을 제시한 연구입니다.