A Simple Approach to Constraint-Aware Imitation Learning with Application to Autonomous Racing

자율 주행 레이싱의 고도로 치열한 세계에서, 승리와 재앙 사이의 차이는 종종 밀리미터와 밀리초 단위로 측정됩니다. 자율 주행 자동차가 경쟁하기 위해서는 단순히 경로를 따르는 것 이상의 것을 수행해야 합니다. 차량이 물리적 능력의 한계까지 몰아붙이면서도, 미끄러져 충돌하지 않고 접지력을 극대화할 수 있는 아주 미세한 경계선 위에서 균형을 잡아야 합니다. 이는 전통적인 프로그래밍이 어려움을 겪는 영역인데, 변수가 너무 빠르게 변하여 인간 엔지니어가 모든 가능한 시나리오에 대한 규칙을 작성할 수 없기 때문입니다. 대신, 연구자들은 컴퓨터 프로그램이 전문가의 운전을 관찰하며 배우는 '모방 학습(imitation learning)'이라는 방법을 사용합니다. 아이디어는 간단합니다. 만약 기계가 전문가의 행동을 충분히 정밀하게 복제할 수 있다면, 전문가만큼 잘 운전할 수 있을 것이라는 점입니다. 그러나 이 접근 방식에는 결정적인 결함이 존재합니다. 만약 전문가가 실수를 하거나, 기계가 상황을 잘못 해석하여 방향을 조금이라도 잘못 틀게 된다면, 그 결과는 파멸적일 수 있습니다. 기계는 빠르게 달리는 법은 배울 수 있겠지만, 내장된 안전에 대한 이해가 없다면 쉽게 트랙 밖으로 벗어날 수 있습니다.

이것이 바로 연구자 셩판 카오(Shengfan Cao), 조은혁(Eunhyek Joa), 그리고 프란체스코 보렐리(Francesco Borrelli)가 해결하고자 했던 과제입니다. 그들은 작업이 기계의 핸들링 한계 근처에서 작동하는 것을 포함할 때, 단순히 전문가를 복제하는 것만으로는 충분하지 않다는 점을 인식했습니다. 그들은 이 연구에서 전문가를 모방하려는 욕구와 엄격한 내부적 안전 감각을 결und하는 새로운 자율 주행 차량 교육 방법을 개발했습니다. 단순히 컴퓨터에게 전문가의 스티어링 휠 움직임을 복사하라고 지시하는 대신, 그들은 자동차가 동작을 실행하기 전에 "이 동작이 안전한가?"라고 묻는 시스템을 만들었습니다. 이 안전 점검을 학습 과정에 직접 내장함으로써, 그들은 빠르게 달리는 법뿐만 아니라 충돌로 이어지는 특정 유형의 오류를 피하는 법까지 배우는 정책을 훈련시켰습니다. 그들의 접근 방식은 레이스 카의 정교한 컴퓨터 시뮬레이션에서 테스트되었으며, 여기서 차량은 벽에 부딪히지 않고 50랩을 연속으로 완주해야 했습니다. 결과에 따르면, 표준적인 방법들은 자주 실패하거나 신뢰성을 갖추기 위해 과도한 훈련 시간을 필요로 했던 반면, 이 새로운 안전 인지 방식은 훨씬 더 빠르게 일관되고 안전하게 운전하는 법을 배웠으며, 이는 기계가 정신줄을 놓지 않고도 한계치까지 레이싱하는 법을 배울 수 있음을 증명했습니다.

문제의 핵심은 이러한 학습 시스템이 보통 어떻게 작동하는지에 있습니다. 표준적인 설정에서 컴퓨터는 전문가 운전자의 영상을 보고 주어진 상황에서 운전자가 무엇을 할지 예측하려고 노력합니다. 운전자가 핸들을 왼쪽으로 돌리면, 컴퓨터는 왼쪽으로 돌리는 법을 배웁니다. 이는 컴퓨터가 이전에 본 적이 있는 상황에서는 잘 작동합니다. 하지만 레이싱은 새롭고 예상치 못한 순간들로 가득 차 있습니다. 만약 자동차가 훈련 데이터와 약간 다른 상황에 직면하면, 컴퓨터는 아주 작은 실수를 할 수 있습니다. 일반적인 주행 시나리오에서 작은 실수는 그저 차가 약간 옆으로 밀리는 정도일 수 있습니다. 하지만 레이스에서 그 동일한 작은 실수는 차를 벽에 부딪히게 하거나 스핀을 일으킬 수 있습니다. 연구자들은 단순히 전문가를 더 정확하게 복제하려고 노력하는 것이 해결책이 아님을 발견했습니다. 완벽하게 복제하더라도, 시스템에는 안전의 경계를 이해할 방법이 부족했습니다. 그것은 특정 행동들이, 설령 전문가가 한 행동과 똑같이 보일지라도, 자동차의 물리적 한계를 위반하기 때문에 위험하다는 사실을 알지 못했습니다.

이를 해결하기 위해 저자들은 전문가 운전자와 함께 두 번째 스승 역할을 하는 '안전 필터(safety filter)'를 도입했습니다. 학생이 레이싱을 할 줄 아는 마스터 인스트럭터와 함께 배우지만, 동시에 도로 규칙과 차량의 한계를 잘 아는 안전 요원과 함께 배우는 상황을 상상해 보십시오. 학생은 인스트럭터를 따라 하려고 노력하지만, 안전 요원은 학생이 사고를 유발할 만한 행동을 하려 할 때 개입합니다. 이 새로운 시스템에서 컴퓨터는 두 소스로부터 동시에 배웁니다. 전문가의 성능을 모방하려고 노력하는 동시에, 어떤 상태가 안전하고 어떤 상태가 안전하지 않은지를 인식하는 법도 배웁니다. 연구자들은 자동차의 물리 법칙에 대한 완벽한 수학적 모델 없이도 컴퓨터에게 '안전'이 무엇인지 가르치는 영리한 방법을 개발했습니다. 그들은 컴퓨터가 성공적인 시도와 실패한 시도를 모두 포함하는 많은 운전 시도들을 관찰하게 하는 기술을 사용했습니다. 성공적인 시도들을 분석함으로써, 시스템은 '안전 구역(safe zone)', 즉 자동차가 충돌 없이 레이스를 마칠 수 있는 모든 위치와 속도의 집합을 구축합니다. 그런 다음 자동차를 안전 구역 밖으로 밀어낼 수 있는 모든 행동을 피하는 법을 배웁니다.

실험은 실제 레이스 카의 물리 법칙을 모사한 시뮬레이션 환경에서 진행되었으며, 실제 차량이 갖춘 것과 같이 카메라 뷰와 속도 센서를 갖추고 있었습니다. 목표는 자동차가 트랙 경계를 치지 않고 50랩을 연속으로 완주하는 것이었습니다. 연구자들은 새로운 안전 인지 방식과 안전 필터가 없는 표준 모방 학습 방식을 비교했습니다. 결과는 놀라웠습니다. 표준 방식은 훈련 데이터가 명시적으로 처벌하지 않는 작고 안전하지 않은 편차 때문에 자주 실패하며 10랩조차 완주하는 데 어려움을 겪었습니다. 반면, 새로운 방식은 안전하고 일관되게 운전하는 법을 배웠습니다. 한 테스트에서, 안전 인지 자동차는 80회 미만의 훈련 세션 만에 50랩 전체를 완주한 반면, 표준 방식은 10랩을 넘기지 못했습니다. 새로운 시스템은 벽으로부터 안전한 거리를 유지하면서도 빠른 랩 타임을 달성하는 법을 배웠으며, 이는 기계가 단순히 전문가를 복제하는 것을 넘어 환경의 제약 조건을 이해했음을 입증했습니다.

이 접근 방식이 특히 강력한 이유는 자동차가 모든 것을 완벽하게 볼 수 없을 때도 작동하기 때문입니다. 현실 세계에서 자동차는 자신의 위치에 대한 완벽하고 전지전능한 뷰보다는 카메라와 몇 개의 속도 센서만을 가질 수 있습니다. 연구자들은 실제 자동차가 경험하는 것과 같이 컴퓨터에 카메라 이미지와 속도 데이터만을 입력하여 이 제한 사항 하에서 그들의 방법을 테스트했습니다. 이러한 부분적인 정보에도 불구하고, 안전 인지 시스템은 표준 방식을 능가하며 훨씬 더 빠르게 안전한 주행 정책을 회복했습니다. 안전 가이드가 없는 표준 방식은 불안정한 상태를 유지하며 실패하기 쉬웠습니다. 이는 안전 필터가 컴퓨터가 더 잘 일반화할 수 있도록 도와주며, 실제 세계의 센서가 가진 불확실성과 노이즈를 더 효과적으로 처리할 수 있게 해준다는 것을 시사합니다. 연구자들은 시스템이 단순히 충돌을 피하는 법을 배운 것이 아니라, 일관성을 유지하는 법을 배웠다고 언급했습니다. 랩 타임은 더 예측 가능해졌고, 자동차의 행동은 더 신뢰할 수 있게 되었는데, 이는 실제 세계에서 작동해야 하는 모든 자율 시스템에 필수적인 요소입니다.

이 연구는 또한 우리가 기계에게 복잡한 과업을 수행하도록 가르칠 때의 중요한 통찰을 강조했습니다. 단순히 정답을 보여주는 것만으로는 부족하며, 오답이 재앙으로 이어질 때 그 오답이 어떤 모습인지를 반드시 가르쳐야 합니다. 학습 과정에 안전 페널티를 통합함으로써, 연구자들은 모든 움직임을 완벽하게 모방하는 것보다 안전 구역 내에 머무는 것을 우선시하는 시스템을 만들었습니다. 이것은 자동차가 느리거나 조심스럽게 운전한다는 의미가 아닙니다. 오히려 위험의 경계를 넘지 않으면서 성능의 한계까지 밀어붙이는 법을 배운다는 뜻입니다. 연구자들은 이 접근 방식이 완벽한 모방을 달로하는 것보다 더 효율적이라는 것을 발견했는데, 이는 자동차가 훨씬 적은 훈련 단계만으로도 안전하고 높은 성능을 내는 정책을 학습할 수 있게 해주었기 때문입니다.

앞으로 연구자들은 자신들의 결과가 유망하긴 하지만 시뮬레이션에 기반하고 있다는 점을 인정합니다. 실제 세계는 컴퓨터 시뮬레이션이 완전히 포착할 수 없는 예측 불가능한 날씨, 다양한 도로 조건, 기계적 결함 등으로 인해 더 복합적입니다. 그들은 이 방법을 실제 차량에 테스트하고, 실제 세계의 불확실성을 다룰 수 있도록 안전 필터를 정교화할 계획입니다. 또한 이 안전 인지 접근 방식이 레이싱 이외의 다른 유형의 학습 과업에도 어떻게 적용될 수 있는지 탐구할 예정입니다. 궁극적인 목표는 어려운 과업을 수행할 만큼 똑똑할 뿐만 아니라, 자신의 한계를 알 만큼 현명한 자율 시스템을 만드는 것입니다. 기록적인 랩 타임과 사고 사이의 차이가 종종 몇 인치에 불과한 자율 주행 레이싱의 고속 세계에서, 이러한 모방과 안전의 결합은 단순한 기술적 개선이 아니라, 자율 주행 차량을 진정으로 신뢰할 수 있게 만들기 위한 필수적인 단계입니다.