기술 요약: 셀프 플레이와 한 줌의 인간 데이터로부터 발현되는 인간 유사 자율성

문제 정의

셀프 플레이 강화 학습(Self-play RL)은 에이전트가 자기 자신의 복제본과 대결하게 함으로써 제로섬 게임(예: 바둑, 체스)에서 초인적인 에이전트를 훈련하는 데 성공해 왔습니다. 그러나 자율 주행과 같은 혼합 동기(mixed-motive) 영역에서는 순수한 셀프 플레이가 종종 "외계적(alien)" 평형 상태로 이어질 수 있습니다. 즉, 보상 함수가 불충분하게 정의되어 있기 때문에, 에이전트가 목표에 도달하기 위해 인간의 규범과 호환되지 않는 전략(예: 후진으로 주행하거나 도로 반대 방향으로 주행하는 것)을 학습할 수 있습니다.

이러한 에이전트를 인간의 행동에 정렬시키려는 기존의 시도들은 두 가지 취약한 방식에 의존해 왔습니다:

1. 보상 엔지니어링(Reward Engineering): 수동으로 보상 항을 반복적으로 추가하고 도메인 무작위화(예: GIGAFLOW)를 적용하는 방식은 노동 집약적이며 도메인 특화적입니다.
2. 모방 학습(Imitation Learning, IL): 대규모 인간 데이터셋을 통해 직접 훈련하는 방식입니다. 효과적이긴 하지만, IL은 견고함을 달성하기 위해 방대한 양의 인간 데이터(예: Waymo 데이터 52일 분량)를 필요로 하며, 폐쇄 루프 배포 시 공변량 변화(covariate shift) 문제로 고통받는 경우가 많습니다.

핵심 과제는 막대한 비용이 드는 대규모 인간 데이터 수집이나 수동 보상 엔지니어링의 취약함 없이, 어떻게 인간과 호환되는 협조 능력을 달성하느냐 하는 것입니다.

방법론: 스파이스드 셀프 플레이 (Spiced Self-Play)

저자들은 **스파이스드 셀프 플레이(Spiced Self-Play)**를 제안합니다. 이 방법은 소량의 인간 시연 데이터를 주요 훈련 신호가 아니라, 셀프 플레이 RL 에이전트를 위한 가벼운 행동 앵커(behavioral anchor, 정규화 도구)로 취급합니다.

핵심 구성 요소

1. 희소 보상 함수(Sparse Reward Function): RL 에이전트는 최소한의 수동 튜닝된 보상으로 훈련됩니다: 목표 도달 시 +1, 충돌 또는 도로 이탈 시 -1, 그 외에는 0입니다. 밀집된 보상 형성(dense shaping)이나 복잡한 보상 엔지니어링은 사용하지 않습니다.
2. 2단계 훈련 프로세스:
   • 1단계: 행동 클로닝(BC) 앵커: 인간 주행 데이터의 일부(관측-행동 쌍)를 통해 정책($\tau_\phi$)을 학습시킵니다. 이 앵커는 이후 고정(frozen)됩니다.
   • 2단계: 정규화된 셀프 플레이 RL: 새로운 정책($\pi_\theta$)을 멀티 에이전트 셀프 플레이 환경에서 근사 정책 최적화(PPO)를 사용하여 처음부터 훈련합니다. 훈련 목적 함수에는 롤아웃 중에 실제로 방문한 상태에서 RL 정책을 고정된 BC 앵커 쪽으로 끌어당기는 쿨백-라이블러(KL) 발산 페널티가 포함됩니다:
     $$L(\theta) = L_{PPO}(\theta) + \lambda \mathbb{E}_{o \sim \rho_{\pi_\theta}} [D_{KL}(\tau_\phi(\cdot|o) \parallel \pi_\theta(\cdot|o))]$$
     여기서 $\lambda$는 정규화 강도를 조절합니다. 이는 에이전트가 효과적인 전략의 공간을 탐색하면서도 인간다운 행동의 분포 내에 머물도록 보장합니다.

실험 설정

• 환경: 소비자급 GPU에서 실행되는 고속 시뮬레이터인 PufferDrive 2.0.
• 데이터 소스: Waymo Open Motion Dataset (WOMD).
• 평가 설정:
  • 셀프 플레이: 모든 에이전트가 동일한 정책에 의해 제어됨.
  • 인간 재현(Human-replay): 제어되는 에이전트가 기록된 인간 궤적과 상호작용함 (비반응형).
  • IDM: 제어되는 에이전트가 지능형 운전자 모델(IDM) 에이전트와 상호작용함 (반응형 규칙 기반).
• 베이스라인: 정규화되지 않은 셀프 플레이 RL 및 SMART-tiny-CLSFT (다양한 양의 데이터, 최대 50만 개의 시나리오까지 학습된 최첨단 IL 접근법).

주요 기여 및 결과

1. 데이터 효율성: "한 줌의 인간 데이터"

본 논문은 대규모 셀프 플레이와 결합될 때, 30분에서 3시간 정도의 인간 주행 데이터만으로도 인간과 호환되는 협조 능력을 달 achieve 할 수 있음을 입증합니다.

• 비교: 이는 IL 베이스라인(약 52일의 데이터 필요)과 비교했을 때 2,500배 감소한 수치입니다.
• 성능: 단 30분의 데이터로 훈련된 "스파이스드(Spiced)" 정책은 인간 재현 평가에서 0.7%의 과실 충돌률을 기록했습니다. 이는 전체 Wayway 데이터(52일, 1.6% 충돌률)로 훈련된 SMART-tiny-CLSFT 모델보다 2.5배 개선된 결과이며, 동일한 30분 데이터로 훈련된 SMART보다 11배 개선된 결과입니다.
• 효效率: 훈련은 단일 소비자급 GPU에서 15시간 만에 완료되었으며, 약 200억 개의 합성 전이(약 63년 치의 시뮬레이션 주행)를 활용했습니다.

2. 행동 정렬 및 안전성

정규화는 단순히 충돌을 줄이는 것에 그치지 않고, 주행 스타일을 근본적으로 인간과 유사하게 변화시킵니다:

• 충돌 심각도: 정규화된 정책은 충돌을 덜 일으킬 뿐만 아니라, 충돌의 심각도 또한 낮춥니다. 평균 충격 속도($\Delta v$)는 2.09 m/s(정규화되지 않음)에서 1.71 m/s로 감소했습니다. 또한, 15mph의 중상 위험 임계값을 초과하는 충돌의 비율이 14.3%에서 7.5%로 떨어졌습니다.
• 주행 스타일: 정규화되지 않은 에이전트는 서두르는 방식(약 38단계 만에 작업 완료)으로 "최적화"하는 경향이 있는 반면, 정규화된 에이전트는 더 많은 시간(~64단계)을 소요하며 안전한 차간 거리를 유지하는 "만족화(satisficing)" 행동을 보입니다.
• 분포적 현실성: 정규화된 정책은 작업 완수 능력을 희생하지 않으면서도, 운동학적 및 상호작용적 지표에서 Waymo Open Sim Agent Challenge (WOSAC) 현실성 벤치마크 점수를 더 높게 획득했습니다.

3. 시나리오 다양성 vs. 인간 데이터

본 연구는 시나리오 메타데이터(맵 다양성)와 인간 궤적 데이터의 역할을 분리하여 분석합니다.

• 훈련 시나리오(맵)의 수를 10개에서 50,000개로 늘리는 것은 정규화 및 비정규화 에이전트 모두의 일반화 성능을 극적으로 향에 향상시킵니다.
• 그러나 정규화된 접근 방식은 모든 맵 수에 대해 비정규화된 셀프 플레이보다 일관되게 우수한 성능을 보였으며, 이는 셀프 플레이의 합성 경험만으로는 생성할 수 없는 인간의 행동 사전 지식(prior)으로서 인간 앵커가 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 합성 경험 생성이 저렴하고 풍부한(현대적 시뮬레이터를 통한) 영역에서 인간 데이터가 어떻게 재평가되어야 하는지 주장합니다. 인간 데이터는 모방 학습을 위한 주요 감독자로 기능하기보다, 정규화 앵커로서 가장 효과적입니다.

• 과학적 기여: 저자들은 아주 적은 양의 유익한 인간 데이터가 셀프 플레이 에이전트의 행동을 불균형하게 개선할 수 있다는 실증적 증거를 제공하며, 이는 "데이터 포이즈닝(data poisoning)" 효과와 유사하지만 긍정적인 방향으로 작용하는 현상을 보여줍니다.
• 실질적 영향: 이 접근 방식은 광범위하고 취약한 보상 엔지니어링과 순수 모방 학습에 따르는 막대한 데이터 수집 비용을 제거합니다. 이는 강력한 자율 주행 에이전트(셀프 플레이를 통해 확보)를 사회적으로 준수하는(최소한의 인간 앵커를 통해 확보) 방식으로 훈련할 수 있는 확장 가능한 경로를 제시합니다.
• 한계점: 저자들은 성능이 향상되었음에도 불구하고, 매우 긴밀한 협조가 필요한 시나리오(예: 공격적인 차선 변경)에서의 견고함은 여전히 개선의 여지가 있음을 인정합니다. 또한, 시뮬레이션 성능이 실제 도로 주행으로 전이되는 문제는 여전히 해결해야 할 과제로 남겨두었습니다.

요약하자면, 본 논문은 셀프 플레이가 견고함과 규모를 제공하고, "한 줌"의 인간 데이터가 사회적 정렬을 제공한다고 상정하며, 이를 통해 인간과 호환되는 자율성을 향한 매우 효율적인 경로를 구축했습니다.