One-Stage Object Detectors in Autonomous Driving

자율주행 자동차의 세계에서 차량의 인지 능력은 조향이나 제동 능력만큼이나 매우 중요합니다. 자동차가 회전, 정지 또는 차선 변경을 결정하기 전에, 먼저 주변에서 어떤 일이 일어나고 있는지 이해해야 합니다. '인지(perception)'라고 알려진 이 과정은 카메라와 센서에 의존하여 다른 차량과 보행자부터 교통 표지판과 자전거 운전자까지 모든 것을 식별합니다. 엔지니어들의 과제는 도로가 붐비거나, 날씨가 나쁘거나, 물체가 멀리 떨어져 있는 상황에서도 이러한 물체들을 즉각적이고 정확하게 찾아낼 수 있는 시스템을 구축하는 것입니다. 시스템이 너무 느리면 자동차가 너무 늦게 반응할 수 있고, 충분히 정확하지 않으면 위험 요소를 완전히 놓칠 수도 있습니다. 이를 해결하기 위해 연구자들은 서로 다른 유형의 컴퓨터 비전 시스템을 개발해 왔는데, 크게 느리고 신중한 2단계 접근 방식을 취하는 방식과 단 한 번의 빠른 추측을 하는 방식으로 나뉩니다. 후자인 '1단계 검출기(one-stage detectors)'는 움직이는 차량의 속도를 따라갈 수 있을 만큼 빠르게 비디오 스트림을 처리할 수 있기 때문에 실시간 주행을 위한 선호되는 선택지가 되었습니다.

플로리다 걸프 코스트 대학교의 연구팀은 최근 이러한 빠른 단일 단계 검출 시스템의 지형을 그려내는 작업을 수행했습니다. 그들은 새로운 검출기를 직접 만드는 대신, 기존 기술을 종합적으로 검토하며 초기 버전부터 오늘날 사용 가능한 가장 진보된 모델에 이르기까지 이러한 시스템이 어떻게 진화해 왔는지를 추적했습니다. 그들의 목표는 이러한 다양한 설계들이 속도, 정확성, 효율성이라는 상충하는 요구 사항들을 어떻게 균형 있게 조절하는지 이해하고, 어떤 시스템이 예측 불가능한 도로 환경에 진정으로 준비되어 있는지 판단하는 것이었습니다. 저자들은 이 도구들의 역사를 분석하고, 구체적인 구축 방식과 표준 테스트에서의 성능을 분석함으로써, 기술이 현재 어느 위치에 있으며 어디에서 여전히 부족함을 보이는지에 대한 명확한 그림을 제공합니다.

이 검출기들의 이야기는 자율주행 자동차가 기다릴 여유가 없다는 깨달음에서 시작됩니다. 초기 시스템은 종종 모든 가능한 용의자를 먼저 목록으로 만든 다음 목록을 좁혀나가는 탐정과 같은 방식으로 작동했는데, 이 방법은 정확하지만 고속도로를 달리는 자동차에게는 너무 느린 방식이었습니다. 1단계 검출기는 이미지 전체를 한 번에 보고 단 한 번의 통과(pass)로 물체가 어디에 있는지 예측함으로써 이 문제를 해결했습니다. 연구자들은 물체를 빠르게 식별할 수는 있지만 정밀도 면에서는 종종 어려움을 겪었던 초기 버전을 시작으로 이 시스템들의 계보를 추적했습니다. 시간이 흐르면서 엔지니어들은 이미지의 서로 다른 부분으로부터 시각적 정보를 결합하는 더 나은 방법과, 멀리 있는 보행자처럼 일부 물체가 다른 것들에 비해 훨씬 작게 보이는 현상을 처리하는 새로운 방법들을 도입했습니다.

가장 중요한 검출기 가족 중 하나는 반복적인 업데이트를 통해 더욱 빠르고 정확해진 YOLO 시리즈입니다. 연구자들은 초기 버전들이 속도 면에서 획기적이었던 반면, 최신 반복 모델들은 복잡한 장면을 더 잘 다루는 법을 배웠지만 여전히 매우 작거나 가려진 물체에 대해서는 어려움을 겪고 있다고 언급했습니다. 또한, 물체를 찾기 위해 미리 정의된 박스(box)에 의존하지 않는 다른 접근 방식들도 색다른 길을 제시했습니다. 이러한 '앵커 프리(anchor-free)' 시스템은 물체의 중심점이나 모서리를 직접 찾음으로써 과정을 단순화합니다. 이 설계는 우아하고 종종 더 유연하지만, 리뷰 결과 일부 방식은 계산량이 많거나 혼잡한 환경에서 어려움을 겪을 수 있어 안전한 주행에 필요한 초저지연(ultra-low latency)을 항상 보장하는 것은 아니라는 점이 밝혀졌습니다.

이 논문은 또한 이러한 시스템들이 실험실에서 수행하는 성능과 실제 세계에서 작동하는 방식 사이의 결정적인 격차를 강조합니다. 표준 데이터셋을 사용하는 통제된 테스트에서 많은 검출기는 높은 비율로 자동차와 사람을 정확히 식별하며 인상적인 점수를 얻습니다. 그러나 연구자들은 이러한 테스트가 실제 운전의 무질서한 현실을 반영하지 못하는, 맑고 밝은 이미지를 사용하는 경우가 많다고 지적합니다. 폭우, 안개 또는 야간과 같이 조건이 변할 때, 가장 뛰어난 모델의 성능조차도 크게 떨어질 수 있습니다. 나아가, 본 연구는 검출기가 강력한 컴퓨터에서는 실행될 만큼 빠를지라도 차량 내부에 탑재된 작고 에너지 효율적인 칩에는 너무 과도한 요구 사항이 될 수 있음을 강조합니다. 속도와 정확성 사이의 절충(trade-off)은 핵심적인 긴장 관계로 남아 있습니다. 시스템을 더 빠르게 만들면 정밀도가 떨어지기 쉽고, 더 정밀하게 만들면 속도가 위험할 정도로 느려질 수 있기 때문입니다.

다양한 벤치마크 데이터셋을 통한 분석을 통해, 저자들은 모든 상황에 완벽한 단일 검출기는 존재하지 않는다는 것을 보여줍니다. 어떤 모델은 큰 차량을 포착하는 데 탁월하지만 작은 자전거 운전자를 놓치는 반면, 어떤 모델은 먼 거리의 물체를 식별하는 데는 뛰어나지만 일부가 가려진 물체에는 어려움을 겪습니다. 이 리뷰는 자율주행 인지의 미래가 단순히 검출기를 더 빠르게 만드는 것뿐만 아니라, 더 견고하고 적응력 있게 만드는 데 달려 있다고 제안합니다. 여기에는 까다로운 날씨를 처리하는 능력을 개선하고, 제한된 하드웨어에서도 실행될 수 있도록 보장하며, 단순히 서류상의 수치가 아닌 실제 세계에서의 안전성을 측정하는 더 나은 방법을 개발하는 것이 포함됩니다. 연구자들은 1단계 검출기가 오랜 시간 발전해 왔으며 현대 자율주행 인지의 근간을 형성하고 있지만, 이러한 시스템이 모든 주행 조건에서 완전히 신뢰할 수 있다고 간주되기까지는 여전히 상당한 작업이 남아 있다고 결론지었습니다. 앞으로 나아갈 길은 단순히 표준 테스트에서 더 높은 점수를 쫓는 것이 아니라, 복잡하고 역동적인 실제 환경에서 탄력적이고 효율적이며 안전한 시스템을 구축하는 방향으로 전환하는 것입니다.