Robust and Safe Multi-Agent Reinforcement Learning with Communication for Autonomous Vehicles: From Simulation to Hardware

기술 요약: 자율주행차를 위한 통신이 포함된 견고하고 안전한 다중 에이전트 강화학습

문제 제기
심층 다중 에이전트 강화학습 (MARL) 은 시뮬레이션 환경에서 연결된 자율주행에 유망한 가능성을 보여주었으나, 시뮬레이션 성능과 실제 하드웨어 배포 사이에는 상당한 격차가 존재합니다. 기존 연구는 종종 즉각적이고 완벽하게 동기화된 에이전트 간 통신을 가정하는데, 이는 차량 간 (V2V) 시스템의 고유한 지연과 비동기성을 고려하지 못합니다. 실제 환경에서 공유된 정보는 측정 가능한 지연과 전송 변동성에 노출됩니다. 또한, 기존 테스트베드는 형식적 안전 보장을 갖춘 엔드 투 엔드 다중 에이전트 프레임워크를 검증하는 데 필요한 구성 요소를 종종欠缺하며, 표준 시뮬레이션 - 현실 전이 기술 (도메인 무작위화 등) 은 통신 지연, 감지 불확실성, 안전-중요 제약 조건이라는 특정 복합적 문제를 해결하는 데 종종 실패합니다.

방법론: RSR-RSMARL
저자들은 통신 제약을 명시적으로 모델링함으로써 시뮬레이션과 하드웨어 간의 격차를 해소하도록 설계된 RSR-RSMARL(Robust and Safe Real-Sim-Real Multi-Agent Reinforcement Learning, 견고하고 안전한 실사 - 시뮬 - 실 다중 에이전트 강화학습) 프레임워크를 제안합니다. 이 아키텍처는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 통신 인지 MARL 공식화:

   • 실제 - 시뮬레이션 설계: 이상적인 정보 교환을 가정하는 대신, 이 프레임워크는 측정된 실제 V2V 지연 통계를 상태 표현에 직접 통합합니다.
   • 지연된 상태 모델링: 에이전트는 이웃 ($N_i$) 으로부터 국부적 관측치와 공유 관측치를 수신하며, 이는 지연되고 잠재적으로 비동기적인 것으로 처리됩니다. 공유 상태는 온보드 센서 (LiDAR, 카메라) 에서 유래한 보완적 감지 기능 (예: 장애물 존재, 차선 경계) 을 포함합니다.
   • 훈련 전략: 정책은 고정 지연 모델과 시간 가변 지연 모델 모두 하에서 훈련됩니다. 이는 에이전트들을 시간적으로 정렬되지 않은 이웃 정보에 노출시켜, 동기화된 데이터에 의존하지 않는 견고한 조정 전략을 학습하도록 강제합니다.

2. CBF 기반 안전 쉴드:

   • 훈련 및 배포 중 형식적 안전 보장을 보장하기 위해 모듈형 안전 쉴드가 통합됩니다. 이 쉴드는 2 차 계획법 (QP) 을 통해 강제되는 제어 장벽 함수 (CBF) 를 활용합니다.
   • 메커니즘: MARL 정책이 생성한 고수준 동작은 안전 쉴드를 통과하여 저수준 제어기에 도달하기 전에 안전하지 않은 명령을 필터링합니다.
   • 지연 인지 안전: CBF 제약 조건은 통신 지연과 비동기 업데이트로 인한 상태 불확실성을 고려하여 보수적으로 팽창됩니다. 이웃 차량은 유계 지연을 가진 동적 장애물로 모델링되어, 이웃 상태 추정이 낡았을 때조차 충돌 회피 보장을 확보합니다.
   • 제어기 무관성: 이 프레임워크는 학습 공식을 변경하지 않고도 경량 실행을 위한 PID 와 최적화 기반 궤적을 위한 모델 예측 제어 (MPC) 를 포함한 플러그인 가능한 저수준 제어기를 지원합니다.

3. 실사 - 시뮬 - 실 파이프라인:

   • 이 시스템은 중앙 집중식 훈련과 분산 실행 (CTDE) 방식을 채택합니다. 정책은 측정된 지연 분포를 사용하여 CARLA 시뮬레이터에서 훈련된 후 제로샷으로 물리적 하드웨어로 이전됩니다.
   • 하드웨어 플랫폼: 검증은 LiDAR, 카메라, IMU 가 장착되고 Wi-Fi 를 통해 통신하며 경험적으로 측정된 지연 (테스트베드에서 10~20ms, 생산 변동성을 모방하기 위해 훈련 시 더 넓은 분포에서 샘플링) 을 가진 1/10 스케일 F1TENTH 자율주행차 대열에서 수행되었습니다.

주요 기여

1. 프레임워크 제안: 통신 지연, 모델 불확실성, 상태 추정 오차를 해결하면서 형식적 안전 보장을 유지하기 위해 지연 인지 훈련과 CBF 기반 안전 쉴드를 통합한, 실사 - 시뮬 - 실 정책 전이를 위해 특별히 설계된 견고한 MARL 프레임워크인 RSR-RSMARL 의 도입.
2. 지연 모델링 전략: MARL 학습 과정에 확률적 지연 (고정 및 시간 가변 모두) 을 명시적으로 주입하는 통신 인지 훈련 전략의 개발. 이는 이상적인 통신 가정을 넘어 배포 전 지연에 강한 조정을 가능하게 합니다.
3. 광범위한 검증: CARLA 와 물리적 하드웨어 플랫폼에서의 포괄적 평가. 이 연구는 증가하는 통신 지연 하에서 구조화된 제거 실험을 포함하며, 안전한 실제 세계 운영을 위한 시뮬레이션 훈련 정책의 성공적인 제로샷 전이를 입증합니다.

실험 결과
이 프레임워크는 다양한 장애물 밀도를 가진 3 차선 미니 하이웨이와 2 차선 원형 하이웨이라는 두 가지 시나리오에서 평가되었습니다.

• 안전성과 제로샷 전이: 제안된 RSR-RSMARL 변형 (시간 가변 (TV) 및 고정 지연 (F-2) 모델을 모두 사용) 은 하드웨어와 시뮬레이션 모두에서 모든 장애물 수준에 걸쳐 충돌이 전혀 발생하지 않았습니다. 반면, 안전 쉴드가 없는 (RSR-MARL) 또는 통신이 없는 (No-Comm) 기준선은 장애물 밀도가 증가함에 따라 충돌률이 증가했습니다.
• 효율성 대 안전성: TV 지연 모델은 일부 기준선보다 약간 더 긴 완료 시간을 보였지만, 충돌 없는 기록을 유지했습니다. 시간 가변 모델은 조정 효율성과 안정성 측면에서 일관되게 고정 지연 모델보다 우수했으며, 이는 확률적 지연으로 훈련하는 것이 에이전트들을 실제 세계의 지터에 더 잘 대비시킨다는 것을 시사합니다.
• 제어기 성능: 이 프레임워크는 PID 와 MPC 백엔드 모두와 성공적으로 작동했습니다. MPC 의 통합은 궤적의 부드러움을 더욱 향상시켰으나, 더 높은 계산 비용을 수반했습니다.
• 제거 실험: 안전 쉴드를 제거하면 불안정한 학습 역학과 현저히 높은 충돌률로 이어져 지연 모델링만으로는 안전을 보장하기에 부족함을 확인했습니다. 도메인 무작위화 (MARL-DR) 와의 비교는 MARL-DR 이 더 높은 충돌률과 낮은 효율성을 겪었음을 보여주어, 이 특정 문제에 대해 명시적 지연 모델링이 일반적인 노이즈 주입보다 우월함을 나타냅니다.
• 통신 영향: 실험은 V2V 통신이 반응형 안전 오버라이드 (CBF 개입) 필요성을 크게 줄여 개입률을 18.7%(통신 없음) 에서 11.4%(통신 있음) 로 낮췄음을 입증했습니다.

의의 및 주장
이 논문은 RSR-RSMARL 이 시뮬레이션에서 물리적 시스템으로 MARL 기반 협력 의사결정을 이전하기 위한 구조화되고 신뢰할 수 있는 경로를 제공한다고 주장합니다. 저자들은 이 접근법이 실험적으로 관찰된 지연 통계를 기반으로 훈련을 내세우고 형식적 안전 제약을 강제함으로써 중요한 "시뮬 - 현실" 격차를 해결한다고 강조합니다.

이 연구의 의의는 하드웨어 기반 통신 모델링이 확장 가능하고 신뢰할 수 있는 다중 에이전트 자율 시스템에 필수적임을 입증하는 데 있습니다. 지연 인지 학습과 형식적 안전 강제를 통합함으로써, 이 프레임워크는 현실적이고 비동기적이며 지연된 통신 제약 하에서도 강력한 안전 - 성능 트레이드오프를 유지하면서 실제 세계 플랫폼으로의 제로샷 전이를 지원합니다. 저자들은 이를 견고하고 통신 인지적인 다중 에이전트 CAV 자율주행의 실용적 배포를 향한 한 걸음으로 위치시킵니다.