Benchmarking Autonomous Driving Planners Across Leaderboards: A Unified CARLA-Based Evaluation

스스로 운전하는 자동차에 대한 꿈은 수십 년 동안 공상 과학 소설의 단골 소재였으며, 조향, 제동, 교통 탐색의 부담을 인간의 어깨에서 덜어주는 미래를 약속해 왔습니다. 지난 20년 동안 엔지니어들은 그 약속을 현실로 바꾸기 위해, 도로를 보고, 다른 운전자가 어떻게 행동할지 예측하며, 어떻게 안전하게 이동할지 결정할 수 있는 시스템을 구축하기 위해 노력해 왔습니다. 이러한 시스템은 세 가지 주요 기둥에 의존합니다: 카메라와 센서를 통해 세상을 인지하는 능력, 다른 사람과 차량이 다음에 어디로 갈지 추측하는 능력, 그리고 안전한 경로를 계획하는 능력입니다. 특정 도시에서 테스트용 차량 군단이 운영되는 것을 보아왔지만, 이 기술은 아직 모든 개방된 도로를 달릴 준비가 되지 않았습니다. 한 가지 주요 장애물이 남아 있습니다: 어떻게 하면 하나의 컴퓨터 프로그램이 다른 프로그램보다 진정으로 더 나은지 어떻게 알 수 있을까요? 서로 다른 연구 팀들은 종종 각기 다른 가상 세계나 서로 다른 규칙을 사용하여 소프트웨어를 테스트하며, 이는 공정한 비교를 불가능하게 만듭니다. 공통된 기준이 없다면, 새로운 방법이 진정한 도약인지 아니면 단지 특정 테스트에서만 작동하는 방식인지 구별하기 어렵습니다.

남가주 대학교(University of Southern California)의 연구진은 가장 진보된 8개의 자율주행 플래너(planner)를 하나의 공유된 가상 아레나로 불러들임으로써 이 문제를 해결하기로 했습니다. 그들은 운전의 물리 법칙과 도시 거리의 복잡성을 재현하는 인기 있는 시뮬레이션 플랫폼인 CARLA를 선택하여 중립적인 심판으로 사용했습니다. 연구진은 Waymo의 실제 데이터를 기반으로 한 것, nuPlan 데이터셋을 기반으로 한 것, 그리고 CARLA 커뮤니티 자체에서 나온 것 등 세 가지 주요 대회에서 우승했던 소프트웨어 모델들을 가져와 동일한 트랙, 동일한 교통 체증, 보행자 및 공사 구간을 마주하게 했습니다. 목표는 새로운 벤치마크를 만드는 것이 아니라, 고립되어 개발되었던 이 서로 다른 접근 방식들이 동일한 기준으로 판단될 때 어떻게 수행되는지 확인하는 것이었습니다. 연구에는 인간이 작성한 엄격한 규칙에 의존하는 방식, 인간 운전자를 관찰하며 배우는 방식, 비디오 게임 캐릭터처럼 시행착오를 통해 배우는 방식, 그리고 미래를 예측하기 위해 복잡한 수학적 모델을 사용하는 방식 등 다양한 방법이 포함되었습니다.

이 머리 대 머리(head-to-head) 비교 결과는 자율주행차를 구축하는 데 있어 단 하나의 '최고'인 방법은 없다는 것을 드러냈습니다. 대신, 이 연구는 시스템의 강점과 약점이 얼마나 많은 정보를 허용하느냐와 어떻게 훈련되느냐에 따라 크게 달라짐을 보여주었습니다. 연구진은 '특권적(privileged)' 정보, 즉 모든 다른 차량과 보행자의 정확한 위치와 속도를 마치 전 세계의 완벽한 지도를 가진 것처럼 볼 수 있는 정보를 제공받은 플래너들이 긴 연속 경로에서 훨씬 더 뛰어난 성능을 보였다는 것을 발견했습니다. 규칙 기반 플래너와 인간의 운전을 모방하도록 훈련된 모델을 포함한 이 시스템들은 할당된 경로의 거의 97%를 충돌 없이 완료했습니다. 반면, 카메라와 레이저 스캐너 같은 표준 센서에만 의존하는 가장 성공적인 시스템은 경로의 약 70%를 완료했습니다. 이는 센서가 빠르고 국소적인 상호작용을 처리하는 데는 유용하지만, 장거리 주행을 유지하기 위해서는 교통 상황에 대한 완벽한 조감도(bird's-eye view)를 갖는 것이 중요하다는 것을 시사합니다.

그러나 완벽한 시야를 갖거나 높은 완료율을 보이는 것이 안전하거나 법규를 준 der 준수하는 운전을 보장하지는 않습니다. 연구는 목적지에 도달하는 것과 규칙을 준수하는 것 사이의 놀라운 트레이드오프(trade-off)를 밝혀냈습니다. 강력한 예측 엔진과 경로를 따르도록 설계된 제어 시스템을 결합한 한 상위 모델은 도로를 유지하고 목적지에 도달하는 데 탁월했습니다. 그러나 이 모델은 경로를 유지하는 데 집중하느라 신호를 무시하거나 정지 표지판을 무시하는 등 교통 법규를 빈번히 위반했습니다. 반면에, 좋은 행동에는 보상을 주고 나쁜 행동에는 벌칙을 주는 방식으로 학습하는 강화 학습을 사용한 모델은 위반 사항을 피하는 데는 매우 뛰어났지만, 긴 경로를 효율적으로 완료하는 데는 어려움을 겪었습니다. 이는 자율주행차가 앞으로 나아가는 데 매우 능숙하거나 예의 바르게 행동하는 데 매우 능숙할 수는 있지만, 두 가지 특성을 하나의 시스템으로 결합하는 것은 여전히 어렵다는 점을 강조합니다.

아마도 가장 시사적인 발견은 어떤 단일 접근 방식도 가장 혼란스러운 상황을 일관되게 처리할 수 없었다는 점일 것입니다. 연구진이 자동차 문이 차선 안으로 열리는 상황, 공사 구역, 또는 보행자가 갑자기 튀어나오는 상황과 같은 특정 장애물 시나리오를 대상으로 모델을 테스트했을 때, 모든 방법이 어려움을 겪었습니다. 규칙 기반이든, 데이터로부터 학습하든, 복잡한 수학적 예측을 기반으로 하든 관계없이, 어떤 방법도 이러한 까다롭고 장애물이 많은 환경을 실수 없이 안정적으로 통과하지 못했습니다. 이는 특이한 물체 주변에서 미세한 결정을 내리는 능력이 전체 분야의 공통된 병목 현상임을 시사합니다. 또한 연구는 최종 점수만을 보는 것이 오해를 불러일으킬 수 있음을 입증했습니다. 두 시스템이 동일한 종합 등급을 받을 수 있지만, 하나는 충돌 때문에 실패했을 수 있고 다른 하나는 규칙을 어겨서 실패했을 수 있습니다. 연구진은 결과를 구체적인 유형의 주행 상황별로 세분화함으로써, 높은 점수가 매우 다른 종류의 실패를 숨길 수 있음을 보여주었습니다.

연구진은 또한 다른 차량이 어디로 갈지를 예측하는 데 유명한 모델에 계획 모듈을 추가한 새로운 하이브리드 접근 방식을 도입했습니다. 이 새로운 시스템은 경로를 유지하는 데는 좋은 성과를 보였지만, 다른 상위 모델들과 마찬가지로 교통 규칙 준수에는 여전히 어려움을 겪었습니다. 연구는 우리가 자율주행 기술을 시뮬레이션하고 테스트하는 데 엄청난 진전을 이루었지만, 아직 이 기술들을 대규모로 배포할 단계는 아니라고 결론지었습니다. 조용한 테스트 트랙을 달릴 수 있는 자동차와 예측 불가능한 혼돈의 실제 도시를 다룰 수 있는 자동차 사이의 간극은 여전히 큽데, 이 연구는 다음의 돌파구가 단순히 시스템의 한 부분을 더 빠르거나 똑똑하게 만드는 것이 아니라, 경로를 따르는 것, 법을 준수하는 것, 그리고 예상치 못한 상황에 안전하게 반응하는 것 사이의 어려운 균형을 해결하는 데서 올 것임을 보여주는 명확한 로드맵 역할을 합니다. 그 균형이 찾아질 때까지, 완전한 자율주행 차량의 약속은 여전히 손에 닿지 않는 곳에 있습니다.