Closed-Loop Evaluation of Bird's-Eye-View Maps from Cross-View Transformers as Inputs to Behavior-Cloning Policies

자율주행 자동차를 뇌를 가진 로봇이 아니라, 숙련된 전문가를 관찰하며 운전을 배우는 학생이라고 상상해 보십시오. 이것이 바로 인공지능이 인간 전문가의 수 시간 분량의 영상을 학습하고 그들의 모든 움직임을 모방하도록 하는 방법인 '행동 복제(behavioral cloning)'의 핵심 아이디어입니다. 이 학습이 제대로 작동하려면, 자동차는 자신의 바로 위에 위치한 단순화되고 명확한 세계 지도인 '버드 아이 뷰(bird's-eye view, 조감도)'가 필요합니다. 이 탑다운(top-down) 관점은 일반적인 카메라의 혼란스러운 각도와 왜곡을 제거하여 도로, 차선, 그리고 다른 객체들을 평평하고 읽기 쉬운 격자 형태로 보여줍니다. 컴퓨터 시뮬레이션에서는 이러한 완벽한 지도를 생성하기 쉽지만, 실제 자동차는 오직 카메라만을 사용하여 스스로 이 지도를 만들어내야 하며, 이 과정에서 필연적으로 작은 오류들이 발생합니다. 연구자들에게 있어 중요한 질문은, 이 지도에서의 작은 실수들이 자동차를 충돌하게 만들 것인지 아니면 안전하게 주행하게 할 것인지 하는 점입니다.

브라질 산타카타리나 연방 대학교의 한 연구팀은 카메라 기반 시스템으로 생성된 지도를 입력받았을 때 자율주행 에이전트가 시뮬레이션된 도시를 얼마나 잘 탐색할 수 있는지 테스트함으로써 이 질문에 답하고자 했습니다. 그들은 여러 대의 카메라 이미지를 하나로 엮어 탑다운 지도를 구축하는 '크로스 뷰 트랜스포머(Cross-View Transformer)'라는 정교한 도구를 사용했습니다. 지도를 최대한 유용하게 만들기 위해, 그들은 시스템이 도로 표면, 계획된 경로, 차선을 표시하는 선, 다른 차량, 보행자, 그리고 신호등이라는 여섯 가지 서로 다른 유형의 정보를 동시에 인식하도록 가르쳤습니다. 그런 다음 이 지도들을 바탕으로 자동차를 조향하는 주행 정책(driving policy)을 학습시켰으며, 카메라로 생성된 지도를 사용할 때와 시뮬레이션에서만 가능한 완벽한 정답 지도(ground-truth map)를 사용할 때의 성능을 비교했습니다.

연구진은 단순히 지도의 전체적인 정확도를 높이는 것이 반드시 더 안전한 주행을 보장하는 것은 아니라는 사실을 발견했습니다. 그들은 가장 중요한 요소가 전체 지도의 평균적인 품질이 아니라, 급커브나 번잡한 교차로와 같은 특정하고 위험한 순간의 지도 품질이라는 것을 찾아냈습니다. 이를 해결하기 위해 그들은 영리한 학습 기법을 도입했습니다. 그들은 커브를 돌거나 교차로를 통과하는 것과 같이 드물고 어려운 주행 상황에 시스템이 더 주의를 기울이도록, 즉 학습 과정에 가중치를 두어 과소 대표되는 순간들에 집중하도록 가르쳤습니다. '커널 밀도 추정(kernel density estimation)'이라고 불리는 이 접근 방식은 컴퓨터에게 "단순히 직선 도로에서 운전하는 법만 배우지 말고, 회전 구간을 다루는 법을 배워라"라고 말하는 것과 같습니다.

그들의 시뮬레이션 결과는 시사하는 바가 컸습니다. 어려운 회전과 교차로에 특별히 집중하여 학습된 모델을 테스트했을 때, 이 모델은 다른 모든 모델보다 뛰어난 성능을 보였습니다. 이 모델은 도로를 벗어나거나 차선을 지키지 못하는 등의 교통 법규 위반을 단 한 번도 저지르지 않고 전체 주행 경로를 완주한 유일한 버전이었습니다. 반면, 평균적인 지도 정확도 점수가 더 높았던 다른 모델들은 반복적으로 실패했습니다. 연구진은 지도가 곡선의 형태나 회전 방향에 대해 약간의 오류를 보였던 바로 그 지점에서 자동차들이 자주 실패한다는 것을 관찰했습니다.

이 발견은 자율주행의 미래를 위한 중요한 통찰을 제공합니다. 즉, 전역적 정확도 지표(global accuracy metrics)는 오해의 소지가 있을 수 있다는 것입니다. 지도는 평균적으로는 완벽해 보일 수 있지만, 운전자가 중요한 결정을 내려야 하는 바로 그 지점에서 실패한다면 위험할 수 있습니다. 연구는 '계획된 경로(planned route)' 채널, 즉 자동차가 가야 할 곳을 보여주는 부분이 가장 결정적인 요소였다는 것을 보여주었습니다. 만약 시스템이 전방의 회전 구간을 명확하게 인지하지 못한다면, 자동차는 주변의 차량이나 보행자를 얼마나 잘 인식하느냐와 상관없이 벽에 부딪히거나 도로 밖으로 벗어나게 됩니다. 연구진은 시스템이 여전히 사람이나 다른 차량 같은 움직이는 객체를 식명하는 데 어려움을 겪고 있다고 결론지었지만, 결정적인 구간에서 경로와 도로 기하학의 명확성을 개선하는 것이 자율주행 자동차를 신뢰할 수 있게 만드는 데 가장 시급한 단계라고 강조했습니다. 이 연구는 자율주행 자동차가 성공하기 위해서는 단순히 세상을 보는 법이 아니라, 가장 중요한 순간에 세상을 올바르게 보는 법을 학습해야 함을 시사합니다.