Scaling Self-Play for End-to-End Driving

기술 요약: 엔드투엔드 주행을 위한 셀프 플레이(Self-Play) 스케일링

문제 정의

엔드투엔드 자율주행 모델은 현재 오프라인 인간 시연 데이터셋으로 학습된 행동 복제(Behavior Cloning, BC)에 의해 지배되고 있습니다. 이러한 패러다임은 모델 용량 측면에서는 확장 가능하지만, 다음과 같은 구조적 한계를 가집니다:

1. 제한된 상태 커버리지: 오프라인 로그는 좁은 상태 분포를 제공하므로, 모델이 일반적인 인간 주행 범위를 벗어난 시나리오를 마주할 때 정책이 취약해집니다.
2. 공변량 변화(Covariate Shift): 학습 중 폐쇄 루프(closed-loop) 상호작용이 결여되어 있어, 배포 시 모델이 학습하지 못한 상태에 직면했을 때 오차가 누적되는 현상이 발생합니다.
3. 기존 셀프 플레이의 부적합성: 시뮬레이션에서의 기존 셀프 플레이 접근 방식은 유망한 결과를 보여주었으나, 대개 벡터화된 조감도(Bird's-Eye-View, BEV) 관측치에 의존합니다. 이는 원시 센서 입력(픽셀)으로부터 직접 작동해야 하는 현대적인 엔드투엔드 정책과는 호환되지 않습니다. 또한, 대규모 비전 백본을 사용하는 엔드투엔드 규모의 픽셀 기반 직접 강화 학습(RL)은 계산 비용 문제로 인해 샘플 효율성이 매우 낮습니다.

방법론

본 논문은 세 단계의 프레임워크인 Gigapixel(고처리량 시뮬레이터), Self-Play DAgger(샘플 효율적 학습 알고리즘), 그리고 Sim-to-Real 인지 적응을 통해 이러한 한계를 극복할 것을 제안합니다.

1. Gigapixel 시뮬레이터

픽셀로부터 직접 셀프 플레이를 가능하게 하기 위해, 저자들은 고처리량 배치형 주행 시뮬레이터인 Gigapixel을 도입했습니다.

• 아키텍처: PufferDrive 시뮬레이터를 확장하여 Madrona 렌더링 엔진을 지원하며, 래스터화(rasterization)와 레이 트레이싱(ray tracing)을 모두 지원합니다.
• 표현 방식: 화려한 포토 리얼리스틱 센서 시뮬레이션 대신, Gigapixel은 단순화된 "바운딩 박스 세계"를 렌더링합니다. 에이전트, 정적 장애물, 교통 신호는 기하학적 프리미티브(육면체, 평면, 구체)로 표현됩니다.
• 성능: 이 추상화는 필수적인 장면의 기하학적 구조와 상호작용 충실도를 보존하면서도, 단일 NVIDIA A10. GPU에서 **초당 50,000 에이전트 스텝(SPS)**의 처리량을 달로 달성하며, GPU 수에 따라 거의 선형적으로 확장됩니다. 이 처리량은 HUGSIM이나 RAP와 같은 포토 리얼리스틱 시뮬레이터보다 수십 배 더 빠르며, 방대한 양의 온폴리시(on-policy) 경험을 생성할 수 있게 합니다.

2. Self-Play DAgger 학습

직접적인 픽셀 공간 RL이 대규모 엔드투엔드 모델에 너무 비효율적이라는 점을 인식하여, 저자들은 Self-Play DAgger를 제안합니다. 이 방식은 RL 학습을 픽셀 기반 정책으로부터 분리합니다.

• 벡터화된 교사(Teacher): 추상화된 시뮬레이터 내에서 벡터화된 BEV 관측치를 사용하여 셀프 플레이 RL을 통해 학습된 경량화된 특권 교사 정책($\pi_{teacher}$)이 사용됩니다. 이 교사는 견고한 폐쇄 루프 동작을 학습하며 저렴한 비용으로 쿼리할 수 있습니다.
• 픽셀 기반 학생(Student): 픽셀 기반 학생 정책($\pi_{student}$)은 온폴리시 증류(distillation)를 통해 학습됩니다. 학생은 장면 내의 모든 에이전트를 제어하며 렌더링된 픽셀 이미지만을 관측합니다.
• 증류 과정: 학습 중에 학생은 시뮬레이터 내에서 궤적(trajectory)을 생성합니다. 그 후, 동일한 상태에서 포크된 병렬 환경에서 교사를 실행하여 궤적 타겟($\tau$)을 생성합니다. 학생은 이 타겟을 일치시키도록 학습됩니다.
• 장점: 이를 통해 폐쇄 루프 셀프 플레이의 이점(결과로부터 배우고 다양한 멀티 에이전트 상호작용을 생성하는 것)을 유지하면서도, 직접적인 픽셀 공간 RL에 비해 샘플 복잡도를 획기적으로 줄일 수 있습니다. 또한 학생이 표준 엔드투엔드 플래너의 형식과 일치하도록 궤적을 직접 출력할 수 있게 합니다.

3. Sim-to-Real 인지 적응

Gigapixel의 추상적 렌더링과 실제 세계 센서 데이터 사이의 간극을 메우기 위해, 저자들은 경량화된 적응 전략을 사용합니다.

• 인지 전용 미세 조정(Perception-Only Fine-tuning): 셀프 플레이를 통해 학습된 폐쇄 루프 동작을 인코딩하는 플래닝 헤드($f_{\theta_{plan}}$)는 고정(freeze)됩니다. 오직 인지 백본($f_{\theta_{per}}$)만이 미세 조정됩니다.
• 목표: 쌍을 이루는 관측치(실제 이미지와 그에 대응하는 Gigapixel 렌더링) 데이터셋을 사용하여, 학생 모델이 실제 이미지를 시뮬레이션된 이미지와 동일한 잠재 표현(latent representation)으로 매핑하도록 학습합니다. 이는 플래닝 손실(planning loss)과 지각적 특징 매칭 손실(perceptual feature-matching loss)을 통해 달성됩니다.

주요 기여

1. 확장 가능한 대안으로서의 셀프 플레이: 본 논문은 셀프 플레이가 엔드투엔드 주행 모델 학습을 위한 실질적인 대안임을 입증하며, BC의 구조적 취약성을 해결합니다.
2. Self-Play DAgger: 특권 있는 RL 교사를 픽셀 기반 학생에게 증류함으로써, 과도한 픽셀 공간 RL 비용 없이 확장 가능한 폐쇄 루프 학습을 가능하게 하는 새로운 샘플 효율적 학습 패러다임을 제시합니다.
3. Gigapixel: 포토 리얼리스틱한 장면 대신 단순화된 바운딩 박스 세계를 렌더링함으로써, 픽셀 기반 셀프 플레이를 대규모로 수행할 수 있게 하는 고처리량 관점 렌더링 시뮬레이터를 제공합니다.
4. 경량화된 Sim-to-Real 전이: 셀프 플레이 단계에서 인간의 궤적 감독 없이도, 인지 모듈만을 적응시킴으로써 학습된 견고한 주행 동작을 실제 센서로 전이할 수 있음을 보여줍니다.

실험 결과

저자들은 HUGSIM(폐쇄 루프, 포토 리얼리스틱) 및 NAVSIM-v2(의사 폐쇄 루프) 벤치마크에서 접근 방식을 평가했습니다.

• HUGSIM 성능: 셀프 플레이로 학습된 Gigapixel-DrivoR는 HUGSIM 벤치마크에서 최고 수준의 성능을 달성했으며, 인간의 궤적 감독 없이도 모든 베이스라인을 능가하는 평균 경로 완수(Route Completion, RC) 및 HD-Score를 기록했습니다. 구체적으로, 행동 복제 기반의 DrivoR 대비 HD-Score를 2.8 포인트, 회귀 기반의 DrivoR-Reg 대비 12.5 포인트를 개선했습니다.
• NAVSIM-v2 성능: 모델들은 NAVSIM-v2의 navhard 분할에서 경쟁력 있는 성능을 보였습니다. 특히, 셀프 플레이 모델은 폐쇄 루프 강건성의 대리 지표인 Stage 2(섭동된 에고 포즈로부터의 회복)에서 상당한 이득을 보였습니다. Gigapixel-DrivoR은 행동 복제 모델 대비 Stage 2 EPDMS 점수를 4.1 포인트 향상시켰습니다.
• 스케일링 법칙: 실험을 통해 성능이 학습 경험과 일관되게 확장됨을 입증했습니다. Gigapixel에서의 에이전트 스텝 수를 늘릴수록 정책 성능이 비례하여 향상되었으며, Self-Play DAgger는 행동 복제(BC) 및 단일 에이전트 DAgger보다 훨씬 뛰어난 성능을 보였습니다.
• 정성적 분석: 시각화를 통해 셀프 플레이로 학습된 정책이 행동 복제 정책이 실패했던 안전 임계 시나리오(예: 선행 차량 감속, 도로 가장자리 이탈 회복)를 성공적으로 처리함을 확인했습니다. 행동 복제 모델은 이러한 상황에서 충돌하거나 도로를 이탈하는 결과를 초래했습니다.

의의 및 주장

본 논문은 셀프 플레이가 엔드투엔드 주행 모델을 학습하기 위한 실용적이고 확장 가능한 전략임을 확립한다고 주장합니다. 고처리량 시뮬레이터와 샘플 효율적인 증류 알고리즘을 결합함으로써, 저자들은 픽셀로부터 직접 견고한 폐쇄 루프 주행 동작을 학습하는 것이 가능함을 보여주었으며, 이는 오프라인 인간 데이터의 한계를 극복합니다.

이 연구는 행동 복제의 구조적 한계인 롱테일 상호작용에 대한 취약성과 오차 누적 문제를 합성 경험 생성을 통해 극러낼 수 있음을 시사합니다. 저자들은 핵심 셀프 플레이 학습 단계에서 인간의 궤적 감독 없이도 엄격한 벤치마크에서 경쟁력 있는 결과를 달성했음을 강조하며, 이는 합성 데이터를 통한 지속적인 개선의 길을 열어줍니다.

인정된 한계점:
저자들은 Gigapixel의 추상적 표현이 파편, 날씨 또는 복잡한 조명과 같은 미세한 단서를 포착할 수 없다는 점을 언급했습니다. 또한, 교사-학생 간의 비대칭성(특권 있는 벡터 관측치 vs 픽셀 관측치)이 이론적 한계로 남아 있으나, 결과적으로 학생이 필요한 행동을 성공적으로 추론할 수 있음을 보여주었습니다. 마지막으로, 현재의 Sim-to-Real 적응은 쌍을 이루는 데이터가 필요하며, 이는 원시 센서 로그만 사용 가능한 경우 덜 직접적일 수 있습니다.