기술 요약: RLFTSim

문제 정의

자율주행 개발은 안전-중요 시나리오, 특히 실제 데이터에서 포착하기 어려운 희귀 사고를 테스트하기 위해 교통 시뮬레이션에 크게 의존합니다. 지도 학습 기반의 오픈루프 훈련 (모방 학습) 은 교통 시뮬레이션 모델 훈련에 널리 채택되어 왔으나, 복잡하고 다중 에이전트 환경에서는 중대한 한계를 겪습니다. 구체적으로, 오픈루프 모델은 본질적으로 역동적인 상호작용을 포착하지 못하며, 폐루프 환경에 배포될 때 오류 누적과 인과적 혼란에 취약합니다. 기존 학습 기반 시뮬레이터는 종종 반응형 다중 에이전트 롤아웃을 생성할 때 실제 데이터 분포 및 교통 규칙과 정렬하는 데 어려움을 겪습니다. furthermore, 제어 가능성 (시뮬레이션을 특정 목표 방향으로 이끄는 능력) 은 표적 테스트에 중요하지만, 기존 방법들은 종종 현실성과 제어 가능성을 별도의 과제로 취급하여 현실성을 희생하지 않고 제어 가능성을 추출할 수 있는 통합된 프레임워크가 부족합니다.

방법론

저자들은 사전 훈련된 시뮬레이션 모델의 현실성을 향상시키고 목표 조건부 제어 가능성을 추출하도록 설계된 강화 학습 기반 미세 조정 프레임워크인 RLFTSim을 제안합니다. 이 접근 방식은 사전 훈련된 모델 (구체적으로 SMART-tiny 모델) 위에 폐루프 사후 훈련 프로세스로 작동합니다.

1. 보상 신호 설계: 메타-지표 Leave-One-Out (MLOO)

교통 시뮬레이션에 강화 학습을 적용하는 데 있어 핵심적인 과제는 효과적인 보상 신호를 설계하는 것입니다. 저자들은 시뮬레이션된 궤적과 실제 궤적 간의 운동학적, 상호작용적, 맵 기반 특징의 분포 정렬을 평가하는 **Waymo Open Simulation Challenge (WOSAC) Realism Meta-Metric (RMM)**을 활용합니다. 그러나 표준 RMM 은 희소합니다 (32 개의 롤아웃 그룹에 대해 계산됨) 그리고 분산이 높아 직접적인 강화 학습 최적화에는 비효율적입니다.

이를 해결하기 위해 저자들은 **Meta-metric Leave-One-Out (MLOO)**을 도입합니다:

• 정의: $N$개의 롤아웃 배치에 대해, 롤아웃 $i$에 대한 보상은 롤아웃 $i$를 제외한 집합에서 계산된 RMM($RMM_{-i}$) 과 롤아웃 $j$를 제외한 집합에서 계산된 RMM($RMM_{-j}$) 의 차이를 적절히 평균한 것으로 정의됩니다.
• 이론적 특성: 저자들은 MLOO가 편향 없는 정책 기울기 추정기를 산출함을 이론적으로 분석하여 증명합니다. 특히, 롤아웃 수 $N$이 증가함에 따라 MLOO가 표준 Leave-One-Out (RLOO) 방법 ($O(1/T)$) 에 비해 이차적 분산 감소($O(1/N^2T)$) 를 달성함을 보여줍니다. 이 밀집되고 분산이 낮은 신호는 샘플 효율적인 훈련을 가능하게 합니다.

2. 목표 조건부 및 Hindsight Experience Replay (HER) 를 통한 제어 가능성

제어 가능한 시나리오 생성을 가능하게 하기 위해, 프레임워크는 목표 사양(목표 좌표 또는 폴리라인) 을 수락하도록 모델을 확장합니다.

• 목표 조건부: 모델은 토큰 임베딩 연결과 위치 인코딩 표시라는 두 가지 표현 방법을 사용하여 외부 목표를 주시하도록 미세 조정됩니다.
• Hindsight Experience Replay (HER): 에이전트가 특정 목표에 도달하지 못할 때 보상의 희소성을 완화하기 위해 저자들은 HER 를 사용합니다. 훈련 중, 롤아웃이 원래 목표에 도달하지 못하면, 배치 내에서 가장 잘 수행된 롤아웃의 최종 상태를 대체 목표로 사용하여 데이터 세트를 확장합니다. 이를 통해 모델은 달성된 상태를 유효한 목표로 간주함으로써 "실패한" 시도에서 학습할 수 있습니다.
• 결합 보상: 목표 조건부 미세 조정 (GCFT) 에 대한 최종 보상은 MLOO 현실성 보상과 이진 목표 도달 보상의 가중 합으로, 현실성과 제어 가능성 사이의 균형을 맞춥니다.

주요 기여

1. 현실성 정렬 프레임워크: RMM 을 최적화 목표로 사용하여 사전 훈련된 시뮬레이션 모델을 실제 데이터 분포와 정렬하는 폐루프 RL 미세 조정 접근법인 RLFTSim 의 도입.
2. MLOO 보상 신호: 희소한 RMM 을 밀집되고 분산이 낮은 보상 신호로 변환하는 메타-지표 Leave-One-Out (MLOO) 방법의 제안. 저자들은 그 편향 없음과 이차적 분산 감소 특성에 대한 이론적 증명을 제공합니다.
3. 제어 가능성 추출: 목표 조건부와 HER 를 사용하여 베이스 시뮬레이터에 제어 가능성을 추출하는 새로운 접근법으로, 높은 현실성을 유지하면서 다양한 목표 지향적 시나리오를 생성할 수 있게 합니다.
4. 최첨단 성능: Waymo Open Motion Dataset (WOMD) 에 대한 포괄적인 실험을 통해 RLFTSim 이 다른 휴리스틱 검색 기반 미세 조정 방법 및 베이스라인 모델에 비해 현실성 지표에서 최첨단 성능을 달성함을 입증했습니다.

실험 결과

저자들은 참조 모델로 SMART-tiny 를 사용하여 Waymo Open Motion Dataset (WOMD) 에서 RLFTSim 을 평가했습니다.

• 현실성: RLFTSim 은 현실성 메타-지표 (RMM) 점수 0.7867을 달성하여 참조 모델인 SMART-tiny(0.7824) 와 TrafficBots V1.5, BehaviorGPT 와 같은 다른 최첨단 방법들을 능가했습니다. 또한 상호작용 및 맵 기반 하위 지표에서도 개선을 보였습니다.
• 샘플 효율성: 분산이 낮은 MLOO 신호 덕분에 RLFTSim 은 희소 보상 또는 휴리스틱 검색에 의존하는 방법들에 비해 수렴하는 데 훨씬 적은 샘플을 필요로 했습니다.
• Ablation 연구: 실험은 MLOO 가 현실성 향상에 있어 RLOO 및 minADE 와 같은 모방 기반 보상보다 우수함을 확인했습니다.
• 제어 가능성: 목표 조건부 변형 (GCFT) 은 U-턴, 좌회전과 같은 특정 목표에 대한 "미스율"을 성공적으로 감소시키면서도 현실적인 상호작용을 유지했습니다. 정성적 분석에 따르면, 베이스라인 모델이 제한적이고 종종 비현실적인 행동을 생성한 반면, 모델은 동일한 시드 시나리오에서 정지 신호에서 정지하는 것과 우회전하는 것과 같은 다양한 행동을 생성할 수 있었습니다.
• 안전성: 미세 조정된 모델은 사전 훈련된 베이스라인에 비해 충돌 및 도로 이탈률이 감소하여 교통 규칙과 더 잘 정렬되었습니다.

중요성 및 주장

이 논문은 오픈루프 모방 학습을 넘어 폐루프 강화 학습으로 이동함으로써 다중 에이전트 교통 시뮬레이션의 중요한 "시뮬-투-리얼 (sim-to-real)" 격차를 해결한다고 주장합니다. 이 연구의 중요성은 다음과 같습니다:

• 격차 해소: 설계 단계에서 현실성 정렬 문제를 직접 해결하여 폐루프 배포 하에서도 시뮬레이션된 행동이 실제 세계 분포와 일치하도록 보장합니다.
• 확장성: MLOO 를 도입함으로써 RL 에서 RMM 과 같은 인구 기반 지표를 사용할 때의 샘플 비효율성을 극복하여 대규모 미세 조정을 실현 가능하게 합니다.
• 통합 접근법: 자율주행의 안전 검증 및 시나리오 테스트에 필수적인 능력인 현실적인 교통 생성 능력을 훼손하지 않고 시뮬레이터에 제어 가능성을 추출할 수 있음을 입증합니다.
• 최초 적용: 저자들은 이것이 교통 시뮬레이션에서 RL 미세 조정을 위해 RMM 을 성공적으로 적용한 첫 번째 사례라고 언급합니다.

이 논문은 토큰 기반 표현이 매우 역동적인 시나리오에서 반응성을 저하시킬 수 있으며, 목표 도달률이 개선되었음에도 불구하고 아직 완벽하지 않다는 점을 인정하며 겸손한 한계를 제시합니다. 향후 작업으로는 RMM 을 넘어선 더 나은 현실성 지표를 개발하고 MLOO 공식을 다른 인구 기반 지표에 적용하는 것을 제안합니다.