기술 요약: MAPLE – 종단 간 자율 주행을 위한 잠재적 다중 에이전트 플레이

1. 문제 제기

종단 간 (E2E) 자율 주행을 위한 목표는 인식, 예측, 계획을 단일 학습 모델로 통합하는 것입니다. 최근 비전 - 언어 - 행동 (VLA) 모델은 언어에 기반한 주행 행동을 통해 견고성을 개선했지만, 중요한 한계를 안고 있습니다: 이러한 모델은 주로 로그된 주행 데이터에 대한 지도 학습 미세 조정 (SFT) 을 통해 오픈 - 루프 (open-loop) 방식으로 훈련됩니다.

이 접근법은 주변 교통 에이전트들을 비반응적 (non-reactive) 으로 취급하여, 실제 주행에 내재된 폐쇄 - 루프 (closed-loop) 상호작용을 모델링하지 못합니다. 결과적으로 이러한 모델들은 다음과 같은 문제점에 직면합니다:

• 공변량 이동 (Covariate Shift): 시연된 궤적에서의 작은 편차가 시간이 지남에 따라 누적되어 계획 실패로 이어집니다.
• 희소 레이블 (Sparse Labels): 정답 (Ground-truth) 궤적은 가능한 행동 공간의 극히 일부만을 포착하여, 긴 꼬리 (long-tail) 시나리오에 대한 견고한 정책 학습을 제한합니다.
• 시뮬레이션 한계: 기존 폐쇄 - 루프 훈련 방법은 심볼릭 표현 (바운딩 박스, 지도 등) 으로 작동하는 외부 시뮬레이터 (예: CARLA) 에 의존합니다. 확장성은 있지만, 이러한 시뮬레이터는 E2E 모델을 위해 픽셀 수준에서 실행할 경우 계산 비용이 매우 많이 들며, 실제 데이터와의 시각적 충실도 불일치로 종종 고통받습니다.

핵심적인 과제는 비용이 많이 들고 충실도가 낮은 픽셀 수준 시뮬레이터에 의존하지 않고도 E2E 계획자를 위한 확장 가능하고, 폐쇄 - 루프이며, 다중 에이전트 훈련을 가능하게 하는 것입니다.

2. 방법론: MAPLE 프레임워크

저자들은 VLA 모델의 잠재 공간 (latent space) 내에서 자차 (ego-vehicle) 와 여러 반응형 에이전트들의 행동을 완전히 시뮬레이션하는 MAPLE(Latent Multi-Agent Play) 프레임워크를 제안합니다. 이는 픽셀 수준 시뮬레이션의 계산적 부담을 피하면서도 폐쇄 - 루프, 다단계 상호작용을 지원합니다.

아키텍처

MAPLE 는 멀티모달 LLM 백본 (Qwen2.5-1.5B-VL) 을 기반으로 구축되었으며 다음을 포함합니다:

• 인코더: 멀티뷰 이미지와 지도 특징을 처리하기 위한 비전 및 지도 인코더.
• 잠재 토큰 (Latent Tokens): 에이전트들은 동역학 (위치, 속도, 가속도), 유형, 지도 구간, 교통 상태를 인코딩하는 컴팩트한 잠재 토큰으로 표현됩니다.
• 헤드 (Heads):
  • 행동 계획 헤드: 자차 및 반응형 에이전트 토큰을 궤적 웨이포인트로 디코딩하는 변이형 오토인코더 (VAE).
  • 운동 예측 헤드: 배경 에이전트 (비반응형) 의 미래 궤적을 회귀하는 MLP.
  • 미래 상태 예측: 토큰 공간을 안정화하기 위해 에이전트의 다음 상태를 예측하도록 훈련된 헤드.

훈련 파이프라인

이 프레임워크는 세 가지 명확한 단계로 작동합니다:

1 단계: 사전 훈련 (Pretraining)

VLA 백본은 안정적인 잠재 토큰 표현을 학습하기 위해 보조 작업들로 사전 훈련됩니다:

• 3D 객체 감지, 지도 분할, 에이전트 운동 예측, 그리고 신호등 분할.
• 미래 상태 예측: 모델은 현재 상태 ($S_t$) 를 기반으로 다음 상태 ($S_{t+1}$) 를 예측하며, 이산 레이블 (유형, 지도 구간, 교통 상태) 에 대한 교차 엔트로피와 연속 동역학에 대한 $\ell_1$ 회귀를 결합한 손실 함수를 최소화합니다.

2 단계: 다중 에이전트 롤아웃을 통한 지도 미세 조정 (SFT)

이 단계는 잠재 공간에서 자기회귀적 시나리오 롤아웃 (autoregressive scenario rollouts) 을 도입합니다:

• 다중 에이전트 롤아웃: 자차와 상호작용할 가능성이 높은 반응형 에이전트의 일부가 시간 범위 $T$에 걸쳐 공동으로 롤아웃됩니다. 배경 에이전트는 회귀를 통해 예측되지만 계획 헤드로 제어되지는 않습니다.
• 과정: 각 단계에서 모델은 현재 토큰과 시나리오 설명에 조건부 (conditioned) 로 미래 토큰을 예측합니다. 이러한 토큰은 궤적으로 디코딩되어 다음 단계의 입력으로 다시 피드백됩니다.
• 목적: 모델은 자차 및 반응형 에이전트에 대한 정답 궤적을 사용하여 지도 학습되며, 롤아웃 시간 범위 내에서 계획 및 운동 예측 손실을 최소화합니다.

3 단계: 사후 훈련 강화 학습 (RL)

긴 꼬리 이벤트를 처리하고 다양한 행동을 장려하기 위해, SFT 모델은 그룹 상대 정책 최적화 (GRPO) 를 사용하여 미세 조정됩니다. 보상 구조는 안전, 진행, 다양성을 장려하도록 설계되었습니다:

1. 글로벌 보상 ($G_t$): 충돌 없는 롤아웃을 장려하고 장면 수준의 위반을 패널티로 부과합니다.
2. 차량별 보상 ($r_t$): 경로 완료를 장려하고 안전하지 않은 행동 (예: 낮은 TTC) 을 패널티로 부과합니다.
3. 다양성 보상 ($D_t$): 이질적인 주행 행동 (예: 보수적 대 공격적인 병합) 을 장려하는 새로운 구성 요소입니다. 이는 서로 다른 계획자들 간의 행동 설명자 (가속도, 저크, TTC, 차선 중앙 유지 등) 간의 쌍별 $\ell_1$ 거리를 계산합니다. 이는 정책 붕괴를 방지하고 로그된 데이터에 존재하지 않는 고유한 안전 중요 시나리오의 생성을 장려합니다.

3. 주요 기여

1. 시뮬레이터 없는 다중 에이전트 롤아웃: 저자들은 VLA 의 잠재 공간에서 자차와 반응형 에이전트를 공동으로 진화시키는 메커니즘을 도입했습니다. 이는 외부 시뮬레이터나 픽셀 수준 렌더링 없이 훈련 중 폐쇄 - 루프, 다단계 상호작용을 가능하게 하여 계산 비용을 크게 절감합니다.
2. 다양성 인식 RL: 논문은 RL 단계에서 명시적으로 다양한 에이전트 행동을 장려하는 다양성 보상을 제안합니다. 이는 더 풍부한 다중 에이전트 상호작용과 더 견고한 폐쇄 - 루프 정책으로 이어져, RL 미세 조정에서 흔히 보이는 모드 붕괴 문제를 해결합니다.
3. 최첨단 성능: 이 프레임워크는 Bench2Drive 벤치마크에서 새로운 최첨단 결과를 달성하여, 복잡한 다중 능력 시나리오 전반에 걸쳐 주행 점수와 견고성에서 상당한 개선을 보여주었습니다.

4. 실험 결과

실험은 Bench2Drive 벤치마크 (CARLA 기반) 에서 수행되었으며, 훈련용 950 클립과 검증용 50 클립을 사용했으며, 220 개의 경로에 대한 폐쇄 - 루프 평가를 실시했습니다.

• 성능: MAPLE 는 주행 점수 (DS) 85.2(기하학적 경로 지도 감독 시 88.3) 를 달성하여 SimLingo(85.1), DiffRefiner(87.1), ORION(77.7) 을 포함한 기존 모든 방법을 능가했습니다.
• 다중 능력: 모델은 병합, 추월, 긴급 제동, 양보, 교통 표지판 처리와 같은 복잡한 도시 행동에서 일관된 개선을 보여주었으며, 평균 다중 능력 점수 70.6%(지도 감독 시 73.2%) 를 달성했습니다.
• 애블레이션 연구:
  • 롤아웃 전략: 사전 훈련, SFT, RL 단계 전반에 걸친 풀 롤아웃은 베이스라인 대비 주행 점수를 12.3 점 향상시켰습니다.
  • 다중 계획자 vs 단일 계획자: 반응형 에이전트에 대해 여러 개의 고유한 계획자를 사용하는 것 (다중 에이전트 플레이) 은 단일 계획자 베이스라인보다 우월하여 DS 를 4.8 점, 성공률을 7.7 점 향상시켰습니다.
  • 다양성 보상: 다양성 보상을 활성화하는 것은 최상의 결과를 달성하는 데 결정적이었으며, 정책 붕괴를 방지하고 상호작용의 현실성을 향상시켰습니다.

5. 중요성과 주장

이 논문은 MAPLE 가 "반응형 환경" 격차를 해결함으로써 종단 간 자율 주행을 발전시키기 위한 확장 가능하고 효과적인 접근법임을 주장합니다. 그 중요성은 다음과 같습니다:

• 확장성: 잠재 공간에서 작동함으로써 픽셀 수준 시뮬레이터의 금지적인 계산 비용과 시각적 충실도 문제를 피하여, 대규모 VLA 모델에 대한 폐쇄 - 루프 다중 에이전트 훈련을 실현 가능하게 합니다.
• 견고성: 다양성 인식 RL 메커니즘을 통해 모델은 로그된 데이터의 분포를 넘어선 행동을 학습하여 긴 꼬리 및 상호작용 시나리오에서의 안전성을 향상시킵니다.
• 실용성: 이 프레임워크는 추론 시 "제거 가능 (removable)"하여, 복잡한 다중 에이전트 롤아웃은 훈련 중에만 사용되며 배포 시 추가 오버헤드가 발생하지 않습니다.

저자들은 잠재 롤아웃이 물리 시뮬레이션의 고정밀 동역학을 결여할 수 있으며 현재 실험은 Bench2Drive 벤치마크로 제한되어 있음을 인정합니다. 그러나 그들은 이 프레임워크가 견고하고, 데이터 효율적이며, 안전한 E2E 자율 시스템으로 나아가는 중요한 단계라고 주장합니다.