🤖 machine learning

Multi-Agent Reinforcement Learning for Safe Autonomous Driving Under Pedestrian Behavioral Uncertainty

본 논문은 숨겨진 성격 특성을 가진 보행자와 자율 주행 차량을 공동으로 훈련시키는 다중 에이전트 강화 학습 프레임워크를 제안하며, 이 접근 방식이 규칙 기반 기준 및 단일 에이전트 훈련에 비해 더 현실적인 상호작용 시나리오를 생성하고 충돌률을 현저히 감소시킨다는 것을 입증합니다.

원저자: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

게시일 2026-05-21

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자율주행차가 붐비는 도시에서 운전하는 법을 가르친다고 상상해 보세요. 보통 엔지니어들은 보행자가 엄격한 대본을 따르는 배우들처럼 행동하는 시뮬레이션에서 이러한 차량을 테스트합니다. 그들은 직선으로 걷고, 횡단보도에서만 건너며, 결코 놀라운 행동을 하지 않습니다.

문제는 무엇일까요? 실제 사람들은 불규칙합니다. 때로는 산만하고, 때로는 급하며, 때로는 차 앞을 가로질러 '불법 횡단'을 하기로 결정하기도 합니다. 자율주행차가 '완벽한' 보행자만 훈련받았다면, 실제 예측 불가능한 인간을 만나면 충돌할 수 있습니다.

이 논문은 자율주행차를 훈련하는 새로운 방식을 제안합니다: 보행자들도 예측 불가능해지도록 학습시키세요.

간단한 비유를 사용하여 그들이 한 일을 다음과 같이 정리해 보겠습니다:

1. "댄스 파트너" 접근법 (다중 에이전트 학습)

보행자가 대본만 따르도록 while 자율주행차 (SDC) 를 가르치는 대신, 연구자들은 자율주행차와 보행자 12 명을 가상 방에 넣고 함께 학습시켰습니다. 이를 다중 에이전트 강화 학습 (MARL) 이라는 기법을 사용했습니다.

옛 방식: 자율주행차는 메트로놈을 치는 교사와 함께 피아노를 연습하는 학생과 같습니다. 학생은 박자를 맞추는 법을 배우지만, 메트로놈이 갑자기 멈추거나 빨라지면 학생은 당황합니다.
새 방식: 자율주행차와 보행자는 함께 안무를 배우는 댄스 파트너와 같습니다. 보행자들은 대본을 따르는 것이 아니라, 차에게 숨겨진 '성격' (신중하거나 무모함 등) 을 가지고 있습니다. 그들은 차에 반응하는 법을 배우고, 차는 그들에게 반응하는 법을 배웁니다.

2. 숨겨진 "성격" 특성

이 시뮬레이션에서 모든 보행자는 게임 시작 시 비밀스러운 "성격 특성"을 부여받습니다. 이 특성은 그들이 불법 횡단을 할 확률을 결정합니다.

주의할 점: 자율주행차는 이 특성을 볼 수 없습니다. 마치 사람이 서두르는지 아니면 공상 중인지 알지 못한 채, 단순히 몸짓만으로 사람이 보도에서 내려설지 추측하는 것과 같습니다.
이로 인해 불확실성이 발생합니다. 차는 인간 운전자처럼 어떤 상황에도 대비해야 합니다.

3. 결과: "기다림"을 배우기

차와 보행자가 함께 훈련했을 때, 흥미로운 일이 발생했습니다:

보행자가 배운 점: 차가 빠르게 다가오면, 차에 부딪히기보다 잠시 기다리는 것이 더 현명하다는 것을 깨달았습니다. 그들은 누구도 명시적으로 지시하지 않았음에도 일종의 "협력적 기다림"을 학습했습니다.
차가 배운 점: 보행자들이 더 현실적이었기 때문에 (때로는 기다리고 때로는 뛰어 나오는 등), 차는 혼란을 처리하는 데 더 능숙해졌습니다.
성적표:
- 옛 방식 (대본화된 보행자): 차는 목표에 도달한 경우가 35% 에 불과했고, 33% 의 경우 충돌했습니다.
- 새 방식 (공동 훈련): 차는 목표에 **78%**의 확률로 도달했고, 충돌은 **14%**로 줄었습니다.

4. "속도 차이" 테스트

연구자들은 궁금해했습니다: 차량이 실제로 안전한 횡단보도와 위험한 불법 횡단자를 구분할 줄 압니까?

그들은 "속도 차이" 지표를 고안했습니다. 마치 운전자가 어린이를 볼 때와 성인을 볼 때 얼마나 속도를 늦추는지 확인하는 것과 같습니다.

발견: 차가 횡단보도에서 보행자에게 접근할 때는 부드럽게 속도를 늦췄습니다. 하지만 불법 횡단자에게 접근했을 때는 여전히 초당 2.65 미터 더 빠르게 이동하고 있었습니다.
의미: 차는 불법 횡단자를 완전히 예상하지 못했습니다. 놀라움에 대비하기에는 여전히 조금 너무 빠르게 운전하고 있었습니다. 그러나 보행자들이 때로는 기다리도록 훈련받았기 때문에, 차는 이전의 경직된 모델들보다 덜 충돌했습니다.

5. "불법 횡단" 현실 점검

이 연구는 불법 횡단이 드물게 발생했습니다 (보행자가 길을 건널 때의 13% 만). 하지만 이는 **모든 충돌의 62%**를 차지했습니다.

이는 사소한 양의 예측 불가능한 행동조차 가장 큰 위험을 초래한다는 것을 강조합니다.
시스템은 일정 수준까지 이를 잘 처리했습니다. 만약 불법 횡단을 너무 흔하게 만들면 (50% 의 경우), 시스템이 무너지기 시작했습니다. 이는 당연한 일입니다. 모두가 무작위로 도로로 뛰어든다면 아무도 안전하게 운전할 수 없기 때문입니다.

결론

이 논문은 자율주행차를 숨겨진 성격을 가진 "똑똑한" 보행자들과 함께 훈련시킴으로써, 훨씬 더 현실적이고 안전한 테스트 환경을 얻을 수 있다고 주장합니다. 이는 단순히 차가 운전하는 법을 배우는 것이 아니라, 전체 환경이 상호작용하는 법을 배우는 것입니다.

결과는 무엇일까요? 정적이고 대본화된 보행자들과 단독으로 훈련된 차에 비해 30% 더 적은 충돌로 도시 거리의 불규칙하고 예측 불가능한 현실을 훨씬 더 잘 견디는 자율주행차입니다.

기술 요약: 보행자 행동 불확실성 하의 안전한 자율주행을 위한 다중 에이전트 강화학습

문제 제기
현재 자율주행차 (SDC) 에 대한 시뮬레이션 기반 테스트는 종종 실제 세계의 인간 횡단 행동의 이질성과 불확실성을 포착하지 못하는 스크립트 기반 또는 단순화된 보행자 모델에 의존합니다. 이러한 한계는 차량에 보이지 않는 잠재적 성격 특성에 의해 지배되는 불법 횡단 (jaywalking) 과 관련된 시나리오에서 특히 심각합니다. 결과적으로 안전성 평가는 SDC 를 "잠재적 의도" 상황에 충분히 노출시키지 못하여, 예측 불가능한 보행자 상호작용을 처리하는 능력에 대한 비현실적인 평가를 초래합니다.

방법론
저자들은 SDC 와 12 명의 보행자가 더 현실적인 상호작용 시나리오를 생성하도록 공동 훈련되는 다중 에이전트 강화학습 (MARL) 프레임워크를 제안합니다. 이 시스템은 단일 GPU 에서 512 개의 병렬 환경으로 실행되는 JAX 기반 환경 내에서 **다중 에이전트 근접 정책 최적화 (MAPPO)**를 사용하여 구현되었습니다.

환경 설계: 시뮬레이션은 사거리와 T 자 교차로가 있는 120×120m 도시 지도에서 이루어집니다. 장면에는 12 명의 보행자 에이전트가 포함되며, 이는 일반적으로 소수의 배경 보행자만 사용하는 이전 연구들과 비교하여 상당한 증가분입니다.
보행자 행동: 보행자는 저수준 이동에 스크립트 기반 Dijkstra 경로 탐색을 활용합니다. 고수준 결정 (이동/대기) 은 RL 정책에 의해 제어됩니다. 중요한 점은 각 보행자에게 에피소드 시작 시 샘플링된 잠재적 **성격 특성 ( $\tau_j$ )**이 할당된다는 것이며, 이는 불법 횡단 경향을 나타냅니다. 이 특성은 SDC 에게 숨겨져 있습니다. 보행자가 "이동"을 결정하면, 특정 $\tau_j$ 에 기반하여 지정된 횡단보도를 이용하거나 불법 횡단을 할지 여부를 확률적 주사위 굴림으로 결정합니다.
SDC 모델: SDC 는 최대 속도 30km/h 의 운동학적 자전거 모델을 사용합니다. 이는 중앙 집중식 훈련, 분산 실행 (CTDE) 패러다임 하에서 작동합니다.
훈련 아키텍처:
- 액터: SDC 와 모든 12 명의 보행자가 액터 매개변수를 공유합니다 (동질적 에이전트).
- 크리티컬: 공유된 중앙 집중식 크리티컬이 모든 에이전트의 위치, 속도, SDC 상태, 그리고 보행자의 숨겨진 불법 횡단 경향을 포함한 전역 상태 (58 차원) 를 관찰합니다.
- 보상: 시스템은 협력을 장려하기 위해 혼합 보상 함수 (보행자 50%, SDC 50%) 를 사용합니다. 보행자는 진행에 대한 보상과 빠르게 접근하는 SDC 근처에서 대기할 때 받는 "스마트 대기" 보너스를 받습니다. SDC 는 충돌 및 혼잡한 횡단보도 근처의 과속으로 인해 강력하게 패널티를 받지만, 보상 해킹을 방지하기 위해 무기한 정지 시에는 긍정적 보상을 받지 않습니다.
불확실성 정량화: 저자들은 SDC 의 불확실성에 대한 반응을 측정하기 위해 속도 차이 (Speed Differential) 지표를 도입했습니다. 이는 특정 거리에서 예측 가능한 횡단보도 이용자와 예측 불가능한 불법 횡단자를 접근할 때의 SDC 속도 차이를 계산합니다. 양의 차이는 SDC 가 불법 횡단 사건을 예측하지 못했음을 나타냅니다.

주요 기여

MARL 공동 훈련 환경: 이 논문은 차량에 보이지 않는 잠재적 성격 특성에 의해 주도되는 불법 횡단을 포함하여 SDC 와 12 명의 보행자가 공동 훈련되는 새로운 환경을 설명합니다. 이는 에이전트 수를 확장하고 특성 기반 행동 불확실성을 도입함으로써 이전의 MARL 교차로 연구를 확장합니다.
속도 차이 지표: SDC 의 속도가 예측 가능하고 예측 불가능한 만남 사이에서 어떻게 변하는지를 궤적에서 직접 정량화하는 새로운 지표가 도입되어, 궤적 수준의 불확실성 측정을 제공합니다.
창발적 협력 행동: 이 연구는 공동 훈련이 보행자 (SDC 가 속도로 접근할 때 대기하는 법을 학습) 에서 창발적인 협력 대기 행동을 유도하고 단일 에이전트 훈련에 비해 충돌을 줄인다는 것을 실증적으로 보여줍니다.

실험 결과
고정 시드를 가진 500 개의 에피소드에 걸쳐 평가가 수행되었습니다:

기선 대비 성능: 공동 훈련된 MARL SDC 는 78% 의 목표 달성률과 14% 의 충돌률을 달성했습니다. 이는 최상의 규칙 기반 기선 (목표 35%, 충돌 33%) 과 스크립트 보행자에 대해 훈련된 단일 에이전트 RL SDC(목표 65%, 충돌 20%) 보다 훨씬 우수한 성능을 보였습니다.
불확실성 분석: 속도 차이 지표는 불법 횡단자 근처 (0~3m) 에서 SDC 가 횡단보도 이용자 근처 (5.43m/s) 보다 2.65m/s 더 빠르게 (8.08m/s) 이동했음을 밝혀냈으며, 이는 불법 횡단에 대한 예측 부족을 나타냅니다.
충돌 귀인: 불법 횡단이 횡단 사건의 **13%**만을 차지했지만, 모든 충돌의 **62%**를 차지했습니다.
공동 훈련의 이점: 공동 훈련은 단일 에이전트 RL 대비 충돌을 30% 감소시켰습니다 (20% 에서 14% 로). 또한, 공동 훈련된 SDC 는 스크립트 보행자에게도 잘 일반화되었습니다 (78% 목표 달성). 더 나아가 MARL 훈련된 보행자와 짝을 이룬 단일 에이전트 SDC 도 충돌률이 20% 에서 16% 로 감소했습니다.
절대 연구 (Ablation Study): 불법 횡단률이 0% 에서 30% 로 증가함에 따라 성능은 우아하게 저하되었으나, 불법 횡단이 50% 에 도달하면 급격히 저하되어 시스템이 현실적인 수준의 불확실성은 견디지만 예측 불가능성이 지배적이 될 때 어려움을 겪음을 시사합니다.

의의 및 주장
이 논문은 협력적 대기 명시적 프로그래밍 없이 SDC 훈련 및 평가 중 더 풍부한 보행자 행동을 생성하는 것이 주요 기여라고 주장합니다. 저자들은 보행자 모델의 현실성이 SDC 의 안전성 평가를 직접적으로 형성한다고 주장하며, 스크립트 모델은 불법 횡단의 놀라움 요소를 과소평가한다고 봅니다. 특성 기반 공동 훈련을 통해 SDC 를 잠재적 의도 상황에 노출시킴으로써, 이 프레임워크는 더 엄격한 안전성 평가를 제공합니다. 제안된 속도 차이 지표는 인간 인식 기반 평가를 보완하는 SDC 정책이 불확실성을 얼마나 잘 처리하는지 평가할 수 있는 정량적 도구를 제공합니다. 이 연구는 MARL 공동 훈련이 실제 도시 환경에서 발견되는 복잡하고 이질적인 행동에 SDC 를 노출시키는 실현 가능한 경로임을 시사합니다.