기술 요약: CLEAR – 엔드 투 엔드 자율 주행을 위한 대규모 폐쇄 루프 강화 학습

문제 정의

엔드 투 엔드 자율 주행(E2E-AD)은 원시 센서 데이터를 직접 주행 동작으로 매핑하는 것을 목표로 합니다. 최근에는 시각적 인지, 언어 이해, 행동 예측을 하나의 정책 내에 통합하는 비전-언어-행동(Vision-Language-Action, VLA) 모델이 유망한 패러다임으로 부상했습니다. 그러나 기존의 VLA 기반 접근 방식은 주로 모방 학습(Imitation Learning, IL)에 의존합니다. IL은 데이터 규모를 키우는 데는 효과적이지만, 오픈 루프(open-loop) 학습(로그된 전문가 궤적으로부터 학습)과 폐쇄 루프(closed-loop) 추론(에이전트 자신의 행동이 미래 상태에 영향을 미치는 상황) 사이의 결정적인 분포 변화(distribution shift) 문제를 겪습니다. 이러한 변화는 복잡하고 역동적인 시나리오에서 최적이 아닌 성능과 실패를 초래합니다.

또한, 비전 기반 정책에 강화 학습(RL)을 대규모로 적용하는 것은 상당한 엔지니어링 장애물에 직면해 있습니다. RL은 데이터 집약적이며 수천 개의 병렬 시뮬레이션 환경을 필요로 합니다. 실제로 시뮬레이터(예: CARLA)와 VLA 학습기를 동일한 하드웨어에서 실행하면 자원 경합(특히 GPU 메모리 및 렌더링 불안정성)이 발생하여, 병렬 환경의 수를 제한하고 효과적인 학습을 저해합니다.

방법론: CLEAR 시스템

저자들은 VLA 정책을 위한 대규모 폐쇄 루프 RL 파인튜닝을 가능하게 하도록 설계된 시스템인 CLEAR를 제안합니다. 이 접근 방식은 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 2단계 학습 프레임워크

• 1단계: 오픈 루프 사전 학습(Open-Loop Pretraining): 시스템은 먼저 대규모 전문가 궤적 데이터셋(~310만 개의 샘플)을 사용하여 (InternVL3-1B를 백본으로 사용하는) VLA 모델을 모방 학습으로 사전 학습합니다. 이는 모델에 "웨이포인트 사전 지식(waypoint prior)"을 부여하여, 기초적인 주행 능력과 견고한 인지 능력을 갖추게 합니다.
• 2단계: 폐쇄 루프 RL 파인튜닝(Closed-Loop RL Finetuning): 처음부터 학습하거나 저수준 제어를 직접 출력하는 대신, CLEAR는 **잔차 웨이포인트 정책(residual waypoint policy)**을 학습합니다.
  • 사전 학습된 VLA는 기본 경로 및 속도 웨이포인트를 생성합니다.
  • RL 에이전트(PPO를 통해 최적화됨)는 이 기본 웨이포인트에 대한 **잔차 수정값($\Delta y, \Delta v$)**을 예측하는 법을 배웁니다.
  • 최종 웨이포인트 명령은 기본 계획과 잔차의 합이며, 안전 범위를 벗어나지 않도록 클리핑(clipping)됩니다.
  • 이후 결정론적 컨트롤러(deterministic controller)가 이 웨이포인트를 저수준 차량 제어(조향, 가속, 브레이크)로 매핑합니다. 결정적으로, 이 컨트롤러는 환경 역학(environment dynamics)의 일부로 취급되므로 RL 업데이트 중에 그래디언트(gradient)가 흐르지 않습니다.

2. 이기종 파인튜닝 파이프라인(Heterogeneous Finetuning Pipeline)

확장성 병목 현상을 극복하기 위해, CLEAR는 시뮬레이션 환경과 학습 에이전트를 분리하는 이기종 파이프라인을 채택합니다.

• 컴퓨팅 분리: CARLA 시뮬레이터는 독립적인 호스트 머신(Tesla V100과 같은 구세대 또는 소비자용 GPU 사용)에서 실행되는 반면, VLA 학습기는 고성능 클러스터(예: NVIDIA H100)에서 실행됩니다.
• 통신: SSH 터널을 통해 서버(시뮬레이터)와 클라이언트(학습기) 간의 통신을 용이하게 합니다.
• 영향: 이 아키텍처는 GPU 자원 경합을 제거하여, 시스템이 동시에 64개의 병렬 CARLA 환경을 실행할 수 있게 합니다. 이를 통해 1억 개의 샘플(총 배치 크기: 16,384; 미니 배치: 4,096)로 학습하는 것이 가능해지며, 이는 데이터 집약적인 RL 알고리즘의 수렴에 매우 중요합니다.

3. 보상 함수

RL 목적 함수는 **경로 완수(Route Completion, RC)**를 기준으로 기대 할인 수익(expected discounted return)을 최대화합니다. 보상 함수에는 다음이 포함됩니다:

• 편차에 대한 소프트 페널티(soft penalty) 계수.
• 충돌, 신호 위반 또는 정지 표지판 위반에 대한 하드 페널티(에피소드 종료).

주요 기여

1. VLA를 위한 폐쇄 루프 RL: CLEAR는 순수 모방 학습의 한계를 넘어, VLA 기반 E2E-AD를 위한 대규모 폐쇄 루프 RL 파인튜닝을 효과적으로 구현한 최초의 시스템입니다.
2. 잔차 웨이포인트 정책: 직접적인 저수준 제어를 학습하는 대신 사전 학습된 웨이포인트 사전 지식 주변의 수정을 학습함으로써, 이 방법은 사전 학습된 VLA에 내재된 지식을 효과적으로 활용하는 동시에 폐쇄 루프 환경에서의 견고성을 개선합니다.
3. 확장 가능한 이기종 인프라: 제안된 파이프라인은 GPU 자원 경합 문제를 해결하여, 방대한 수의 병렬 시뮬레이터(64개 이상)를 배치하고 1억 개의 샘플로 학습할 수 있게 하며, 저자들은 이를 SOTA(State-of-the-Art) 성능 달성의 핵심 요소로 식별했습니다.

실험 결과

CLEAR는 세 가지 도전적인 벤치마크에서 평가되었습니다:

• CARLA longest6 v2: 이 벤치마크는 복잡하고 안전이 중요한 시나리오가 포함된 긴 경로를 특징으로 합니다.
  • 이전 방법들(대규모 IL 및 이전의 IL+RL 시도 포함)은 **성공률(Success Rate, SR) 0%**를 기록하며 모든 경로에서 실패했습니다.
  • CLEAR (InternVL3-1B)는 25.00%의 SR과 **47.24%의 경로 완수(RC)**를 달성하여 모든 베이스라인을 크게 앞질렀습니다.
• Bench2Drive: 220개의 고유한 안전 임계 시나리오가 포함된 벤치마크입니다.
  • CLEAR는 비교된 모든 방법(다른 VLA 및 트랜스포머 기반 접근 방식 포함) 중 가장 높은 주행 점수(Driving Score, 86.8), 성공률(69.5%), 그리고 효율성을 달성했습니다.
• nuScenes: 실제 세계의 데이터셋입니다.
  • CLEAR는 제로샷(zero-shot) 설정(nuScenes 데이터로 학습하지 않음)에서 평가되었습니다. 이 모델은 nuScenes를 위해 특별히 학습된 모델들과 비교하여 **최고의 평균 L2 오차(0.49m)**와 경쟁력 있는 충돌률을 보여주며 강력한 일반화 능력을 입증했습니다.

의의 및 한계점

본 논문은 CLEAR가 VLA 정책의 새로운 SOTA를 설정하며, 대규모 강화 학습이 오픈 루프 학습과 폐쇄 루프 성능 사이의 간극을 메우는 데 필수적임을 입증한다고 주장합니다. 이 연구는 단순히 모방 학습을 통해 데이터를 확장하는 것만으로는 불충분하며, 분포 변화를 처리하기 위해 폐쇄 루프 최적화가 반드시 필요함을 강조합니다.

저자들은 다음과 같은 몇 가지 한계점과 향후 연구 방향을 인정합니다:

• Sim2Real 전이: 현재의 성공은 시뮬레이션 내에서의 성과입니다. 실제 세계에 배치하려면 Sim2Real 전이 기술에 대한 조사가 필요합니다.
• 확장 한계: 현재의 확장은 병렬 CARLA 인스턴스 수에 의해 제한됩니다. CARLA의 GPU 렌더링 스택 안정성을 개선하면 더 큰 규모의 확장이 가능할 것입니다.
• 보상 설계: 현재의 보상 함수는 해당 지표의 글로벌 옵티멈(global optimum)과 일치합니다. 명확한 글로벌 옵티멈이 없는 지표를 위한 효과적인 보상을 설계하는 것은 여전히 열린 연구 과제입니다.