기술 요약: CoIRL-AD

1. 문제 정의

엔드 투 엔드(E2E) 자율주행 모델은 주로 전문가의 시연을 모방하도록 학습되는 모방 학습(Imitation Learning, IL)에 의존합니다. 이러한 모델은 일반적인 시나리오에서는 효과적이지만, 전문가 데이터가 희소한 롱테일(long-tail) 상황에서는 일반화 성능이 떨어지는 문제를 겪습니다. 작은 예측 오차는 시간이 지남에 따라 누적되어 에이전트를 미학습 상태(distributional shift)로 몰아넣을 수 있습니다.

강화 학습(Reinforcement Learning, RL)은 단순히 시연을 따르는 것이 아니라 보상 신호로부터 학습함으로써 잠재적인 해결책을 제시합니다. 그러나 실제 세계의 자율주행에 RL을 오프라인 환경(대화형 시뮬레이터가 없는 환경)에서 적용하는 데에는 다음과 같은 중대한 과제가 존재합니다:

• 데이터 편향(Data Bias): 실제 세계의 데이터셋은 최적에 가까운 전문가 궤적에 치우쳐 있어, 하위 수준(suboptimal) 또는 대안적 행동에 대한 데이터가 부족하며, 이로 인해 가치 차이를 학습하는 데 어려움이 있습니다.
• 목표 충돌(Objective Conflict): 단일 정책 내에서 IL(행동 복제)과 RL(보상 극대화)을 공동으로 최적화하면 종종 그래디언트 충돌(gradient conflicts)이 발생합니다.
• 모델 편향(Model Bias): 오프라인 설정에서 전문가 데이터로 학습된 월드 모델(world model)은 분포 외(out-of-distribution) 행동에 대해 편향된 예측을 생성할 수 있으며, 이는 RL 탐색에 사용될 때 과도하게 낙관적인 가치 추정치와 불안정한 학습을 초래할 수 있습니다.

기존 방식들은 외부 시뮬레이터에 의존하거나(문제를 온라인 RL로 변환), 2단계 전략(IL로 사전 학습 후 RL로 미세 조정)을 사용하지만, 이는 오프라인 실세계 데이터에서 불안정성을 유발하기 쉽습니다.

2. 방법론: CoIRL-AD

저자들은 공유된 **잠재 월드 모델(Latent World Model)**을 사용하여 통합된 오프라인 학습 체계 아래 IL과 RL을 결합하는 CoIRL-AD(Collaborative-Competitive Imitation-Reinforcement Learning) 프레임워크를 제안합니다.

핵심 아키텍처

이 프레임워크는 두 개의 별도 액터(actor)로 구성된 이중 정책 아키텍처를 채택합니다:

1. IL 액터: 전문가 궤적을 모방하기 위해 행동 복제(imitation loss)를 통해 최적화됩니다.
2. RL 액이: 누적 보상을 극대화하기 위해 강화 학습을 통해 최적화됩니다.
   두 액터는 인지 모듈과 잠재 월드 모델을 공유하지만, 모방 학습을 RL 탐색 노이즈로부터 격리하기 위해 별도로 업데이트됩니다.

주요 기술 구성 요소

A. 잠재 월드 모델 및 역방향 계획(Backward Planning)

• 잠재 월드 모델: 픽셀 수준의 생성이 아닌, 잠재 공간(latent space)에서 작동하여 현재 상태($s$)와 행동 시퀀스($\tau_a$)가 주어졌을 때 미래 상태($\hat{s}'$)를 예측합니다. 이는 RL 액터가 미래의 롤아웃을 상상할 수 있는 "반응형 시뮬레이터" 역할을 합니다.
• 역방향 계획 (역인과성, Inverse Causality): 표준적인 순방향 인과적 계획과 달리, 저자들은 $i$번째 행동이 현재 및 미래의 웨이포인트 특징에 조건화되는($\pi_i(a_i | s_{w,i}, ..., s_{w,n})$) 역방향 계획 전략을 제안합니다. 이러한 "목표 기반 행동(goal-to-action)" 추론은 초기 행동에 더 풍부한 맥락 정보를 제공하며, 이는 누적 보상을 극대화하려는 RL 액터의 목적에 유익한 것으로 밝혀졌습니다.

B. 오프라인 데이터를 위한 RL 정식화

• 그룹 샘플링 (GRPO에서 영감): 전문가 중심의 데이터셋에서 발생하는 행동 다양성 부족 문제를 해결하기 위해, RL 액터는 확률적 정책으로부터 $G$개의 행동 궤적을 샘플링합니다.
• 보상 함수: 데이터셋 어노테이션(지도 및 바운딩 박스)에서 유도된 규칙 기반 신호를 사용하여 보상을 계산합니다:
  • 모방 보상(Imitation Reward): 전문가 행동과의 근접성.
  • 충돌 보상(Collision Reward): 정적 및 동적 장애물 회피.
• 어드밴티지 추정(Advantage Estimation): 프레임워크는 잠재 월드 모델을 사용하여 샘플링된 궤적에 대한 미래 상태를 예측합니다. 크리틱(critic) 네트워크는 현재 및 상상된 미래 상태의 가치를 추정합니다. 어드밴티지는 그룹 내의 총 보상(할인된 미래 가치 포함)에 대한 Z-점수 정규화를 사용하여 계산됩니다.
• 확률적 정책: RL 액터는 행동을 위한 가우시안 분포를 출력하여 탐색을 가능하게 하며, 시퀀스당 하나의 행동만 확률적으로 결정하고 나머지는 모드(mode)를 따르게 하는 "단계 인식(step-aware)" 메커니즘을 통해 궤적의 매끄러움을 보장합니다.

C. 경쟁적 이중 정책 메커니즘

오프라인 RL의 불안정성과 공동 최적화의 그래디언트 충돌을 해결하기 위해, 두 액터는 경쟁적 학습 메커니즘을 수행합니다:

• 주기적 비교: 매 $k$ 반복마다 IL 액터와 RL 액터의 성능(누적 보상)을 비교합니다.
• 적응형 전이(Adaptive Transfer):
  • 성능이 유사하면 둘 다 변경되지 않습니다.
  • 격차가 중간 정도라면, "소프트 머지(soft merge)"를 통해 승자의 지식을 패자에게 전달합니다.
  • 격차가 크다면, 패자의 파라미터를 승자의 파라미터로 직접 교체합니다.
• 역할: 이 메커니즘은 RL 액터가 전문가와 유사한 주행을 유지하도록 고정(월드 모델 편향으로 인한 파괴적 발산 방지)하는 동시에, RL 액터가 유익한 탐색적 행동을 IL 액터에게 선택적으로 전달할 수 있도록 합니다.

3. 주요 기여

1. E2E 주행을 위한 오프라인 RL 프레임워크: 외부 시뮬레이터 없이, 실제 데이터로 학습된 잠재 월드 모델을 활용하여 상상된 롤아웃을 수행함으로써 오프라인 E2E 주행에 RL을 통합하는 새로운 접근 방식을 제시했습니다.
2. 분리된 경쟁적 학습: 두 액터를 별도의 구조로 분리하여 그래디언트 충돌을 피하고, 경쟁 메커니즘을 통해 학습을 안정화하고 지식 교환을 용이하게 하는 이중 정책 프레임워크를 구축했습니다.
3. 역방향 계획 전략: 플래닝 헤드에 역인과적 마스킹을 도입하여, 정책을 목표 지향적 추론과 정렬시킴으로써 RL 성능을 향상시켰습니다.
4. 오프라인 데이터를 위한 그룹 샘플링: 전문가 중심의 데이터셋에서 행동 다양성을 생성하기 위해 그룹 샘플링(GRPO)을 적응시켜 효과적인 가치 추정을 가능하게 했습니다.

4. 실험 결과

실험은 nuScenes 데이터셋을 대상으로 수행되었습니다.

• 주요 벤치마크: CoIRL-AD는 L2 변위 오차(L2 displacement error)와 충돌률(collision rate) 모두에서 강력한 IL 기반 베이스라인(예: LAW)을 일관되게 능가합니다. 또한 최적의 결합 지표($L2 \cdot Col$)를 달着하며 낮은 추론 지연 시간을 유지합니다.
• 교차 도시 일반화(Cross-City Generalization): nuScenes-Singapore에서 학습하고 nuScenes-Boston에서 테스트했을 때, CoIRL-AD는 베이스라인 대비 $L2 \cdot Col$ 지표를 77% 감소시키며 현저히 높은 강건성을 보여주었습니다. 이는 RL 액터의 탐색 능력 덕분입니다.
• 롱테일 시나리오: 충돌률이나 L2 오차가 높은 데이터 서브셋(희귀하거나 까다로운 사례)에서 CoIRL-AD는 베이스라인보다 상당한 개선을 보였으나, 베이스라인은 어려움을 겪었습니다.
• 절제 연구(Ablation Studies):
  • 분리 및 경쟁: 경쟁 메커니즘을 갖춘 분리된 액터만이 정확도와 안전성을 모두 개선했습니다. 2단계 전략이나 손실 병합(loss-merging) 전략은 성능이 낮거나 더 나쁜 결과를 보였습니다.
  • 월드 모델: 잠재 월드 모델을 제거하면 특히 장기적 충돌 회피 측면에서 성능이 크게 저하되었습니다.
  • 역인과성: 역방향 계획 전략은 특히 RL 액터에 도움이 되었습니다. 이를 순수 IL에 적용했을 때는 성능이 저하되었는데, 이는 보상 극대화에 대한 특화된 유용성을 입증합니다.

5. 의의 및 주장

본 논문은 CoIRL-AD가 적절히 구조화될 경우 강화 학습이 오프라인 엔드 투 엔드 자율주행 시스템을 효과적으로 향상시킬 수 있음을 입증한다고 주장합니다.

• 시뮬레이터 대비 안정성: 학습된 잠재 월드 모델을 사용함으로써 외부 시뮬레이터 대신 활용하며, 이를 통해 sim-to-real 간극과 시뮬레이터 특유의 가정을 피합니다.
• 오프라인 과제 해결: 경쟁적 이중 정책 프레임워크는 IL 액터를 안정화 장치(anchor)로 사용하여, 월드 모델 편향 및 데이터 다양성 부족으로 인한 오프라인 RL의 특유의 불안정성을 해결합니다.
• 타겟팅된 개선: 저자들은 RL이 전문가 시연이 희소한 도전적이고, 미흡하게 표현된, 그리고 롱테일 시나리오에서 가장 큰 이점을 제공하는 동시에, 표준 시나리오에서의 성능을 유지한다는 점을 강조합니다.
• 일반화 가능성: 이 접근 방식은 상호작용형 시뮬레이션에 의존하지 않고 일반화 성능을 높이는 방향을 제시하며, 모방과 강화 학습을 결합하는 범용적인 Embodied AI 프레임워크로서의 가능성을 보여줍니다.