Li-ViP3D++: Query-Gated Deformable Camera-LiDAR Fusion for End-to-End Perception and Trajectory Prediction

당신이 로봇에게 자동차 운전을 가르치려 한다고 상상해 보세요. 이를 안전하게 수행하기 위해 로봇에게는 두 가지 초능력이 필요합니다. 먼저 주변의 모든 것(자동차, 보행자, 자전거 등)을 '보는' 능력과, 그다음 몇 초 후에 그것들이 어디에 있을지 '추측하는' 능력입니다. 이것이 바로 컴퓨터가 차량의 눈과 뇌 역할을 하는 "자율 주행"의 세계입니다. 오랫동안 엔지니어들은 이러한 시스템을 계주 경기처럼 구축해 왔습니다. 한 팀이 물체를 탐지하면, 두 번째 팀에게 바통을 넘겨 추적하게 하고, 세 번째 팀이 미래의 경로를 예측하는 방식입니다. 하지만 실제 계주 경기에서와 마찬가지로, 첫 번째 주자가 바통을 떨어뜨리거나 넘어지면 팀 전체가 실패하게 됩니다. 오류가 쌓이게 되고, 로봇은 혼란에 빠집니다.

이를 해결하기 위해 과학자들은 이제 "엔드 투 엔드(end-to-end)" 시스템을 구축하려고 노력하고 있습니다. 이것은 마치 컴퓨터가 가공되지 않은 카메라 영상으로부터 보는 것부터 보행자가 어디로 발을 내디딜지 결정하는 것까지 모든 것을 한 번에 수행하는 하나의 똑똑한 슈퍼 브레인과 같습니다. 이러한 시스템은 종 often "쿼리(queries)"를 사용하는데, 이는 컴퓨터가 "여기에 자동차가 있는가?" 그리고 "그것은 어디로 가고 있는가?"라고 묻기 위해 쓰는 작은 디지털 포스트잇과 같습니다. 큰 과제는 이 로봇들이 보통 두 가지 유형의 눈을 가지고 있다는 점입니다. 우리처럼 색상과 형태를 보는 카메라와, 정확한 거리를 측정하기 위해 보이지 않는 레이저 빔을 쏘는 LiDAR입니다. 카메라는 어떤 대상인지 인식하는 데 뛰어나지만, 그림자나 악천박한 날씨에 속을 수 있습니다. LiDAR는 어둠 속에서도 사물이 '어디에' 있는지 측정하는 데 뛰어나지만, 빨간색 트럭과 파란색 트럭을 쉽게 구별하지는 못합니다. 큰 질문은, 이 두 가지 매우 다른 유형의 시각을 어떻게 하면 속도를 늦추지 않으면서 하나의 완벽하고 실수 없는 뇌로 결합할 것인가 하는 점입니다.

이것이 바로 **Li-ViP3D++**를 소개하는 새로운 연구가 다루는 퍼즐입니다. 연구진은 이 두 가지 유형의 시각을 융합하는 더 스마트한 방법을 구축했으며, 이를 통해 이전 모델들보다 더 정확할 뿐만 아니라 더 빠른 시스템을 만들어냈습니다.

문제점: 감각 스타일의 충돌

당신이 친구에게 누군가를 설명하려고 한다고 상상해 보세요. 당신에게는 고화질 사진을 찍는 카메라가 있고, 그 사람의 키와 거리를 정밀하게 측정하는 레이저 스캐너가 있습니다. 만약 사진과 지도를 서투르게 그냥 붙여버린다면, 어색하고 맞지 않는 그림이 나올 수 있습니다. 이전의 방법들은 카메라 데이터와 레이저 데이터를 경직된 격자에 맞춰 정렬하도록 강제하거나, 일련의 고정된 규칙을 사용하여 "최적의" 데이터 포인트를 선택하는 방식을 사용했습니다. 저자들은 이것이 너무 서투른 방식이라고 주장합니다. 그것은 마치 기름과 물을 섞으려고 할 때 단순히 숟가락으로 젓는 것과 같습니다. 매끄러운 혼합 대신 지저도한 분리가 생길 뿐입니다. 이러한 오래된 방식들은 종종 "편향(bias)"을 유발했는데, 즉 시스템이 한 종류의 데이터에만 집착하여 다른 데이터를 무시하거나, 존재하지 않는 것을 만들어내는 "환각(hallucination)" 현상을 일으키곤 했습니다.

해결책: "스마트 게이트" (QGDF)

이 논문은 **Li-ViP3D++**라고 불리는 새로운 아키텍처를 제안하며, 이는 **쿼리 기반 가변 융합(Query-Gated Deformable Fusion, QGDF)**이라는 영리한 메커니즘을 도입합니다.

"쿼리"(디지털 포스트잇)를 현장을 돌아다니는 작은 탐정이라고 생각해 보세요. 기존 시스템에서 이 탐정들은 카메라에서 사진을 가져오고 LiDAR에서 레이저 스캔을 가져와서 그냥 뭉쳐버렸습니다. 하지만 Li-ViP3D++에서는 각 탐정에게 **스마트 게이트(smart gate)**가 있습니다.

1. 카메라 탐정: 쿼리가 카메라를 볼 때, 단순히 하나의 이미지만 가져오는 것이 아닙니다. 그것은 모든 카메라와 모든 다양한 줌 레벨(멀리서 사진을 보고 나서 다시 확대해서 보는 것처럼)을 살펴봅니다. 또한 "마스크 어텐션(masked attention)" 시스템을 사용하여 가려졌거나 프레임 밖에 있는 부분은 무시하고, 유용한 단서에만 집중합니다.
2. 레이저 탐정: 쿼리가 LiDAR를 볼 때, 단순히 하나의 점만을 선택하지 않습니다. 그것은 "가변적(deformable)" 기술을 사용하는데, 이는 물체가 약간 움직이거나 데이터가 다소 흐릿하더라도 최적의 레이저 포인트들을 찾기 위해 자신의 탐색 영역을 늘리거나 구부릴 수 있음을 의미합니다.
3. 스마트 게이트: 이것이 주인공입니다. 쿼리가 카메라와 레이저로부터 단서를 모두 모은 후, 이 게이트는 각각의 정보를 얼마나 신뢰할지 결정합니다. 만약 카메라가 흐릿하다면(예를 들어 비가 오는 경우), 게이트는 "레이저를 더 믿어라!"라고 말합니다. 만약 레이저 데이터가 희소하다면(예를 들어 물체가 멀리 있는 경우), 게이트는 "카메라를 더 믿어라!"라고 말합니다. 이 결정은 모든 개별 물체에 대해, 매 순간 자동으로 이루어집니다.

연구 결과: 더 적은 실수, 더 빠른 결과

연구진은 이 새로운 시스템을 nuScenes라고 불리는 대규모 실제 주행 장면 데이터셋을 통해 테스트했습니다. 그들은 이 새로운 "스마트 게이트" 시스템을 이전 모델들과 비교하였고, 다음과 같은 인상적인 결과를 발견했습니다.

• 더 적은 유령(Ghosts): 로봇 주행에서 가장 큰 문제 중 하나는 "환각(hallucination)"입니다. 즉, 없는 차를 보는 것입니다. 기존 시스템은 이 실수를 약 **22.1%**의 확률로 범했습니다. 새로운 Li-ViP3D++ 시스템은 이 오류율을 단 **6.9%**로 낮췄습니다. 이는 로봇이 아무 이유 없이 브레이크를 밟게 만드는 "유령" 자동차를 획기적으로 줄인 것입니다.
• 더 높은 정확도: 시스템은 사물이 어디로 갈지 예측하는 데 훨씬 더 뛰어난 성능을 보였습니다. 이 시스템은 이전 최고치인 0.250에서 크게 도약한 0.505의 EPA(End-to-end Prediction Accuracy) 점수를 달성했습니다. 또한 물체를 올바르게 식별하는 능력(mAP)도 0.616으로 향상되었습니다.
• 속도: 보통 시스템이 똑똑해지면 느려지기 마련입니다. 하지만 여기서는 새로운 시스템이 실제로 더 빨랐습니다. 이전 모델이 145.91밀리초가 걸렸던 것에 비해, 이 시스템은 의사결정을 내리는 데 139.82밀리초가 걸렸습니다.

강건성(Robustness): 상황이 좋지 않을 때도 작동하는 능력

저자들은 단순히 완벽한 조건에서만 시스템을 테스트하지 않았습니다. 그들은 로봇의 환경이 엉망이 되었을 때 어떤 일이 일어나는지 확인하고 싶었습니다. 그들은 다음과 같은 실험을 수행했습니다.

• HD 지도 제거: 로봇이 차선을 알 수 있도록 도와주는 디지털 지도를 제거했습니다.
• 카메라 품질 저하: 카메라 이미지를 훨씬 더 흐릿하고 작게 만들었습니다.

이러한 제약 조건에도 불구하고, Li-ViP3D++는 강력한 모습을 유지했습니다. 카메라 해상도가 낮아졌을 때도 시스템은 여전히 높은 mAP 0.631과 낮은 오류율을 유지했습니다. 지도와 카메라 품질이 모두 좋지 않은 상황에서도 이 시스템은 모든 이전 모델보다 우수한 성능을 보였습니다. 이는 "스마트 게이트"가 두 가지 유형의 시각을 조절하는 능력이 매우 뛰어나서, 로봇이 완벽한 입력을 받지 못하더라도 훌륭한 일을 수행할 수 있음을 시사합니다.

결론

이 논문은 특정 물체에 대해 카메라와 레이저를 각각 얼마나 신뢰할지 시스템이 동적으로 결정하게 함으로써, 더 안전하고 신뢰할 수 있는 자율 주행 자동차를 구축할 수 있다고 결론짓습니다. "스마트 게이트"(QGDF)는 단순히 데이터를 섞는 것이 아니라, 최선의 증거를 지능적으로 선택하여 속도를 늦추지 않으면서도 오류와 환각을 줄여줍니다. 이 시스템은 여전히 지도와 고품질 카메라의 도움을 받지만, 도구들이 완벽하지 않더라도 로봇이 안전하고 정확하게 유지될 수 있음을 입증했습니다. 연구진은 이러한 접근 방식이 조건이 결코 완벽하지 않은 실제 세상에서 자율 주행을 실용적으로 만드는 데 있어 중요한 진전이 될 수 있다고 제안합니다.