Designing Versatile Samples for Learned Trajectory Scoring

자율주행 자동차는 단순히 도로를 보는 것 이상의 근본적인 과제에 직면해 있습니다. 초기 시스템들은 단순히 전방을 향한 하나의 완벽한 경로를 계산하려고 시도했지만, 현실 세계의 주행은 결코 그렇게 단순하지 않습니다. 교차로에 접근하는 자동차는 좌회전, 직진, 또는 보행자를 위해 대기하는 것과 같은 여러 가능성을 저울질해야 합니다. '멀티모달리티(multimodality)'라고 알려진 이러한 불확실성은, 안전한 주행 시스템이 단 하나의 답만을 출력해서는 안 된다는 것을 의미합니다. 즉, 가능한 경로들의 작은 집합을 생성한 다음 그중 최선의 것을 선택해야 합니다. 이 선택 과정은 매우 중요합니다. 만약 시스템이 겉보기에는 안전해 보이지만 실제로는 연석이나 앞차에 너무 가깝게 붙은 경로를 선택한다면, 그 결과는 교통 법규 위반이나 충돌로 이어질 수 있습니다. 아슬아키한 상황과 실제 사고 사이를 가르는 것이 불과 몇 센티미터 차이일 때, 이를 구별해내는 능력은 매끄러운 주행과 위험한 실패를 가르는 결정적인 차이가 됩니다.

퍼듀 대학교와 보쉬 인공지능 센터(Bosch Artificial Intelligence Center)의 연구진은 컴퓨터가 이러한 결정적인 선택을 내리는 방법을 가르치는 새로운 방법을 개발했습니다. 그들의 연구는 후보 경로 목록을 검토하고 승자를 선정하는 소프트웨어 부분인 '스코러(scorer, 채점기)'에 집중되어 있습니다. 그들은 이러한 스코러를 훈련시키는 표준적인 방식이 시스템을 가장 어려운 상황에 대비하지 못하게 만든다는 사실을 발견했습니다. 차량을 안전의 한계선까지 의도적으로 몰아붙이는 특화된 훈련 데이터셋을 구축함으로써, 그들은 복잡한 주행 시나리오에서 이러한 시스템이 얼마나 더 잘 수행되는지를 크게 개선할 수 있었습니다.

핵심적인 문제는 현재 이러한 시스템을 가르치는 방식에 있습니다. 대부분의 자율주행 정책은 두 단계로 작동합니다. 첫째, '플래너(planner, 계획기)'가 도로를 관찰하여 보통 20개 정도의 가능한 궤적 풀(pool)을 생성합니다. 이것들은 자동차가 취할 수 있는 선택지들입니다. 둘째, '스코러'가 이 목록을 검토하여 실행할 단 하나의 최선 경로를 선택합니다. 연구진은 플래너가 명백한 충돌은 잘 피하기 때문에, 생성된 옵션들이 대개 안전하고 편안한 주행 주변에 밀집되어 있다는 것을 발견했습니다. 플래너는 도로 가장자리에 위험할 정도로 가깝거나 앞차 바로 뒤에 붙는 경로를 거의 포함하지 않습니다. 이는 스코러에게 사각지대를 만듭니다. 훈련 데이터에 이러한 위험하고 경계에 맞닿은 시나리오가 부족하기 때문에, 스코러는 단순히 규칙 위반에 가까운 경로와 실제로 규칙을 위반하는 경로 사이의 차이를 구분하는 법을 배우지 못합니다. 이는 마치 학생에게 미지근한 물 샘플만 보여주며 물의 온도를 판단하도록 가르치는 것과 같습니다. 극단적인 뜨거움이나 차가움을 경험하지 못한다면, 그 학생은 결코 뜨겁고 차가운 것을 구별할 수 없을 것입니다.

이를 해결하기 위해 연구팀은 누락된 '에지 케이스(edge cases, 예외 사례)'를 인위적으로 생성하는 방법을 설계했습니다. 그들은 먼저 기록된 장면 속에서 실제 인간 운전자가 주행한 경로를 기준으로 삼은 다음, 두 가지 특정 방향으로 경로를 체계적으로 밀어냈습니다. 첫 번째 방향으로는 경로를 옆으로 이동시켜 주행 가능한 도로의 가장자리로 점점 더 가깝게 붙이다가 결국 경계를 넘도록 했습니다. 두 번째 방향으로는 경로를 따라 앞쪽으로 이동시켜 앞차에 점점 더 가까워지게 함으로써 충돌이 발생할 때까지 몰아붙였습니다. 이렇게 작은 단계별로 진행함으로써, 그들은 안전한 근접 상황부터 명백한 위반 상황에 이르는 사다리 형태의 시나리오를 만들어냈습니다. 이렇게 생성된 합성 경로들은 시뮬레이터에 입력되어 도로 규칙이 이를 어떻게 판정하는지 정확히 확인되었습니다. 이 과정을 통해 원래의 플래너가 스스로는 만들어내지 못했던 풍부한 양성과 음성의 사례들이 생성되었습니다.

연구진은 이 새로운 훈련 데이터를 시퀀스와 관계를 이해하는 데 탁월한 '트랜스포머(transformer)' 유형의 신경망 기반의 현대적인 스코링 시스템에 결합했습니다. 그들은 변경되지 않은 두 가지 기존 플래닝 시스템을 사용하여 이 설정을 테스트했습니다. 한 시스템은 카메라와 레이저 스캐너를 모두 사용했고, 다른 하나는 카메라에만 의존했습니다. 두 경우 모두, 플래너는 고정된 상태로 둔 채 스코러를 새로운 증강 데이터셋으로 별도로 훈련시켰습니다. 결과는 놀라웠습니다. 실제 주행 장면이 담긴 대규모 벤치마크로 테스트했을 때, 새로운 스코러는 일관되게 더 안전한 경로를 선택했습니다. 카메라 전용 시스템의 경우 전체 성능 점수가 89.5에서 90.4로 향상되었습니다. 카메라와 레이저를 모두 사용하는 시스템에서는 88.3에서 90.1로 상승했습니다.

개선 사항이 모든 주행 측면에 균등하게 나타나지는 않았는데, 이는 새로운 훈련 데이터가 정확히 무엇을 달성했는지를 보여주었습니다. 시스템은 충돌을 피하고 주행 가능 영역 내에 머무는 능력, 즉 가장 중요한 안전 요소들을 피하는 데 훨씬 더 능숙해졌습니다. 실제로 연구진은 이 이득이 거의 전적으로 이러한 안전 지표에 집중되어 있음을 발견했습니다. 시스템은 진행 속도나 차선 유지 측면에서 약간 덜 공격적으로 변했는데, 이는 스코링 시스템이 안전을 확보하기 위해 감수한 트레이드오프(trade-off)였습니다. 이는 새로운 훈련 데이터가 두 요소가 충돌할 때 속도나 편안함을 극대화하는 것보다 규칙 위반을 피하는 것을 우선시하도록 스코러를 성공적으로 가르쳤음을 시사합니다.

이 개선이 단순히 데이터의 양 때문이 아니라 특정 설계에 의한 것임을 증명하기 위해, 연구진은 무작위로 생성된 경로를 사용한 버전과 비교 실험을 진행했습니다. 무작위 데이터는 거의 아무런 이득을 주지 못했으며, 이는 신중하게 구축된 훈련 데이터 세트가 핵심이었음을 확인시켜 주었습니다. 자동차를 도로 가장자리와 앞차 쪽으로 밀어붙이는 특정한 설계가 중요했던 것입니다. 이 연구는 신경망의 구조 자체만큼이나 훈련 데이터의 품질이 중요하다는 것을 입증합니다. 사고가 발생하는 결정 경계를 다루는 데이터셋을 의도적으로 구축함으로써, 연구진은 고정된 플래너가 전체 시스템을 재학습할 필요 없이 훨씬 더 똑똑한 스코러와 결합될 수 있음을 보여주었습니다. 이 접근 방식은 때때로 기계의 판단력을 개선하는 가장 좋은 방법이 바로 '선(line)'이 어디인지를 정확히 보여주는 것임을 증명하며, 더 안전한 자율주행을 위한 실용적이고 효율적인 경로를 제시합니다.