A Multi-Modal Perception Pipeline for Object Detection and Tracking in Autonomous Racing
본 논문은 고속, 악조건 및 엣지 케이스 조건 하에서의 자율 주행 레이싱을 위한 신뢰할 수 있는 객체 탐지 및 추적을 달성하기 위해 카메라, LiDAR, RADAR 데이터를 특화된 추적 프레임워크와 결합한 강건한 다중 모달 후기 결합(late-fusion) 인지 파이프라인을 제시한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
포뮬러 원 드라이버를 땀 흘리게 할 정도의 속도로 자동차가 경주하지만, 운전석에는 인간이 없는 세상을 상상해 보십시오. 이 극한의 환경에서 오차 범위는 인치와 밀리초 단위로 측정됩니다. 초당 80미터에 달하는 속도에서 단 0.1초의 지연만 발생해도, 자동차는 자신이 어디에 있는지, 앞에 무엇이 있는지 알지 못한 채 거의 8미터를 이동하게 됩니다. 이것이 바로 인지 기술을 절대적인 한계까지 밀어붙이는 자율 주행 레이싱의 현실입니다. 이 혼돈을 헤쳐 나가기 위해 차량은 스스로 눈과 뇌가 되어, 트랙을 끊임없이 스캔하여 다른 차량을 찾고, 그들의 움직임을 예측하며, 언제 가속하고, 감속하고, 혹은 방향을 틀지 결정해야 합니다. 과제는 단순히 보는 것이 아니라, 가장 진보된 인간의 감각조차 혼란에 빠뜨릴 수 있는 조건 속에서 흐릿한 움직임, 진동하는 센서, 그리고 갑작스럽게 나타나는 장애물을 뚫고 명확하게 보는 것입니다.
모데나 및 레조 에밀리아 대학교의 연구진은 HiPeRT Srl과 협력하여 2025년 아부다비 자율 주행 레이싱 리그를 위해 이러한 문제들을 해결하도록 설계된 새로운 시스템을 개발했습니다. 최근 발표된 논문에서 제시된 이들의 연구는 '인지 파이프라인(perception pipeline)'—즉, 차량 센서의 원시 데이터를 신뢰할 수 있는 세계의 지도로 변환하는 복잡한 소프트웨어 및 하드웨어 체인—에 초점을 맞추고 있습니다. 연구팀의 접근 방식은 단일 유형의 센서로는 완벽할 수 없다는 아이디어에 기반합니다. 카메라는 형태를 인식하는 데는 뛰어나지만 어둠이나 악천후 속에서 거리를 측정하는 데 어려움을 겪습니다. 레이저 펄스를 사용하여 3D 지도를 구축하는 LiDAR 센서는 정밀하지만 먼지나 비에 의해 압도될 수 있습니다. RADAR 유닛은 속도를 측정하는 데는 탁월하지만 세부 정보가 부족한 경우가 많습니다. 연구진은 고속의 혼돈 속에서 살아남기 위해 차량이 이 모든 감각을 하나의 통합된 뷰로 결합해야 한다는 점을 깨달았으며, 이를 '후기 융합(late fusion)'이라 부르는 방법으로 구현했습니다. 이는 차량이 원시 데이터 스트림을 즉시 병합하려고 시도하는 대신, 각 센서의 데이터를 먼저 독립적으로 처리한 다음 그 결과들을 모아 완전한 그림을 형성하는 것을 의미합니다.
이 연구에 사용된 차량인 Dallara EAV-24는 정밀한 시계에 동기화된 세 개의 LiDAR 센서, 일곱 개의 카메라, 네 개의 RADAR 유닛을 포함한 정교한 도구 배열을 갖추고 있습니다. 시스템은 각 센서 유형이 스스로 다른 차량을 찾아내는 방식으로 작동합니다. 카메라는 신경망을 사용하여 비디오 피드에서 차량의 2D 윤곽을 포착합니다. LiDAR는 레이저로 공중을 스캔하여 3D 형상을 찾아내며, RADAR는 전파를 기반으로 물체의 속도와 존재를 감지합니다. 이러한 독립적인 탐지가 이루어지면, 시스템의 '융합(fusion)' 모듈이 매치메이커 역할을 수행합니다. 이 모듈은 서로 다른 센서의 데이터를 살펴보고 "이 LiDAR 덩어리가 저 카메라 박스와 같은 차인가?"라고 묻습니다. 타이밍과 위치가 일치하면 시스템은 이들을 병합하여, 다른 차량이 어디에 있고 얼마나 빠르게 움직이는지에 대한 단일하고 견고한 추정치를 생성합니다. 이 과정은 매우 중요한데, 만약 시스템이 단 하나의 센서에만 의존한다면 순간적인 결함이나 사각지대로 인해 치명적인 실패로 이어질 수 있기 때문입니다. 이들을 결합함으로써, 시스템은 하나의 센서가 실패하거나 차단되더라도 다른 센서들이 차량을 안전하게 유지할 수 있도록 보장합니다.
그러나 차량을 보는 것은 싸움의 절반에 불과하며, 차량이 찰나의 순간 후에 어디에 있을지를 아는 것이 나머지 절반입니다. 연구진은 레이싱 속도에서는 아주 작은 처리 지연만으로도 장애물이 실제로는 몇 미터를 이동했음에도 불구하고 컴퓨터가 엉뚱한 곳에 있다고 판단할 수 있다는 것을 발견했습니다. 이를 해결하기 위해 그들의 추적 시스템에는 '지연 보상(delay compensation)' 메커니즘이 포함되어 있습니다. 이 메커니즘은 센서가 물체를 포착한 정확한 시점을 확인하고, 데이터가 컴퓨터를 통과하는 데 걸린 시간을 고려하여 해당 물체가 지금 당장 어디에 있어야 하는지를 계산합니다. 나아가, 시스템은 단순히 추측하는 것이 아니라 레이스카가 어떻게 행동하는지에 대한 깊은 이해를 활용합니다. 시스템은 차량이 일반적으로 '레이싱 라인'이라 불리는 특정 경로를 따라 움직이며, 코너에서는 속도를 줄이고 직선 구간에서는 속도를 높인다는 것을 알고 있습니다. 이러한 지식을 계산에 반영함으로써, 시스템은 차량이 일정한 속도로 직선 운동을 한다고 가정하는 표준 추적기보다 훨씬 더 높은 정확도로 차량의 미래 위치를 예측할 수 있습니다.
연구팀은 2025년 레이스 이벤트 기간 중 야스 마리나 서킷에서 자율 주행 차량을 다른 차량들과 경쟁시키며 실제 환경에서 이 시스템을 테스트했습니다. 그들은 시스템이 얼마나 잘 버티는지 확인하기 위해 세 가지 구체적인 고부하 시나리오를 설정했습니다. 첫 번째 테스트에서, 그들은 고속으로 접근하는 자율 주행 차량 앞에 차량이 갑자기 멈춰 서는 상황을 시뮬레이션했습니다. 시스템은 약 80미터 거리에서 멈춰 선 차량을 감지했으며, 몇 백 밀리초 이내에 해당 차량이 움직이지 않고 있음을 정확히 추정하여, 계획 소프트웨어가 안전하게 브레이크를 밟거나 회피할 수 있는 충분한 시간을 확보했습니다. 두 번째 시나리오에서는 한 차량이 다른 차량의 시야를 가로막는 '사각지대' 상황을 테스트했습니다. 가로막고 있던 차량이 움직이자, 시스템은 새로 드러난 차량을 즉시 포착하고 지체 없이 추적을 시작하여, 갑작스러운 장애물의 출현을 처리할 수 있음을 입증했습니다. 마지막으로, 두 차량이 몇 인치 간격으로 나란히 달리는 사이드 바이 사이드 추월 테스트를 진행했습니다. 시스템은 상대 차량이 앞에 있는지 뒤에 있는지에 따라 정확한 위치를 추정하는 데 약간의 편향을 보였으나, 전체적인 정확도는 충돌 없이 기동을 완료하기에 충분했습니다.
이 테스트 결과는 여러 센서를 결합하는 것이 단일 센서에 의존하는 것보다 훨씬 우월하다는 것을 확인시켜 주었습니다. 연구진이 LiDAR 센서를 제외했을 때, 거리 측정 능력은 현저히 떨어졌습니다. RADAR를 제거했을 때는 다른 차량의 속도를 정확하게 추측하는 데 어려움을 겪었습니다. 오직 세 가지 유형의 센서가 모두 함께 작동할 때만 시스템은 최적의 정밀도와 범위를 달side 달성했습니다. 연구는 자율 주행 차량이 극한의 속도에서 안전하게 운행하기 위해서는 단순히 많은 눈으로 세상을 보는 것뿐만 아니라, 레이싱의 물리학을 고려하여 세상을 생각해야 한다고 결론짓습니다. 비록 시스템이 완벽하지는 않으며—측면에서 바라본 차량의 정확한 기하학적 구조를 파악하는 데 여전히 약간의 어려움을 겪고 있지만—이는 중요한 진전을 의미합니다. 이는 서로 다른 유형의 데이터를 융합하고 레이스의 맥락을 이해함으로써, 기계가 지구상에서 가장 위험하고 까다로운 환경을 항해하는 법을 배울 수 있음을 증명합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.