Towards Collaborative Joint Perception and Prediction: Framework, Baseline Evaluation, and Deployment Perspectives

당신이 스스로 생각할 수 있는 자동차를 운전하고 있다고 상상해 보세요. 이것은 자율주행의 세계이며, 컴퓨터가 운전대를 잡아 우리를 안전하게 지키고 교통 흐름을 원활하게 만듭니다. 하지만 아무리 똑똑한 자동차라도 사각지대는 존재합니다. 큰 트럭이 시야를 가리거나, 건물이 코너를 도는 보행자를 숨기고 있다면, 자동차의 "눈"(카메라와 레이저)은 다음에 무엇이 올지 볼 수 없습니다. 이는 마치 눈을 가리고 축구를 하는 것과 같습니다. 규칙은 알고 있을지 몰라도, 공은 볼 수 없는 상태인 것이죠.

이를 해결하기 위해 과학자들은 자동차들이 서로, 그리고 스마트 가로등과 대화하도록 가르치고 있습니다. 이것을 V2X(Vehicle-to-Everything) 통신이라고 부릅니다. 단순히 자신의 앞 유리를 통해 밖을 내다보는 대신, 자동차들은 자신이 본 것을 공유할 수 있습니다. 길 저편에 있는 차가 보행자를 발견하면, 그 보행자를 볼 수 없는 차에게 "이봐, 조심해!"라고 외칠 수 있습니다. 이러한 팀워크를 '협력적 인지(Collaborative Perception)'라고 합니다. 하지만 문제가 하나 있습니다. 단순히 무언가가 지금 어디에 있는지 아는 것만으로는 충분하지 않습니다. 자동차는 또한 그 보행자가 몇 초 후에 어디에 있을지도 추측해야 합니다. 이것이 "예측(Prediction)"이라는 까다로운 부분입니다. 만약 자동차들이 힘을 합쳐 미래를 추측한다면, 단일 차량이 혼자 할 때보다 더 나은 추측을 할 수 있을 것입니다. 하지만 그 모든 데이터를 공유하는 것은 많은 인터넷 대역폭을 차지하며, 만약 잘못된 종류의 정보를 공유한다면 오히려 혼란을 줄 수도 있습니다. 이것이 바로 과학자들이 풀고자 하는 퍼즐입니다. 어떻게 하면 네트워크를 과부하 시키지 않으면서도, 적절한 정보를 적절한 시기에 공유하여 미래를 안전하게 예측할 것인가 하는 문제입니다.

---

내일의 팀워크: 자동차가 미래를 "보는" 새로운 방법

이 논문은 **협력적 결합 인지 및 예측(Collaborative Joint Perception and Prediction, Co-P&P)**이라는 새로운 아이디어를 소개합니다. 이것을 자율주행차를 위한 슈퍼팀 전략이라고 생각해보세요. 저자들(XITASO와 카를스루에 공과대학교의 연구진)은 자동차들이 단순히 "내가 보는 것들의 목록"을 공유하는 것이 아니라, 다음 단계인 미래 예측을 시도하기 전에 함께 협력하여 세상의 완전한 3D 입체 영상을 구축하는 시스템을 제안합니다.

이 논문은 자율주행을 어렵게 만드는 두 가지 큰 문제를 다룹니다:

1. 사각지대: 나무나 다른 차량 뒤에 숨겨진 물체들.
2. "두더지 잡기" 오류: 기존 시스템에서는 자동차가 먼저 물체를 찾고, 그다음 추적하고, 그다음 그것이 어디로 갈지 예측합니다. 만약 첫 번째 단계(물체 찾기)에서 아주 작은 실수를 한다면, 미래를 예측할 때쯤 그 실수는 점점 더 커지게 됩니다. 이는 이미 약간 잘못된 스케치를 바탕으로 도시의 지도를 그리려는 것과 같습니다. 최종 지도는 엉망이 될 것입니다.

저자들은 영리한 해결책을 제시합니다. 자동차들이 먼저 빈칸을 채워 완벽한 그림을 만든 후, 그 완벽한 그림을 사용하여 예측을 수행하도록 하는 것입니다.

"마법 거울"과 "수정 구슬"

이것이 어떻게 작동하는지 설명하기 위해, 자동차들이 거대한 깨진 거울이 있는 방에 있다고 상상해 봅시다. 각 자동차는 거울의 한 조각을 가지고 있습니다.

• 기존 방식 (모듈형 파이프라인): 자동차 A가 자신의 거울 조각을 보고 사람의 스케치를 그린 다음, 자동차 B가 자신의 조각을 보고 스케치를 그린 뒤, 그들이 사람이 어디로 걸어갈지 예측하려고 노력합니다. 만약 자동차 A의 스케치가 흐릿하다면, 예측도 틀리게 됩니다.
• 새로운 방식 (Co-P&P): 자동차들은 먼저 거울 조각들을 공유하여 전체 방의 크고 투명한 이미지를 하나로 만듭니다(이를 **협력적 장면 완성(Collaborative Scene Completion)**이라고 합니다). 일단 완벽한 이미지를 갖추게 되면, 그제서야 "수정 구슬"(결합 인지 및 예측 모듈)을 사용하여 사람이 어디로 갈지 예측합니다. 이미지가 완벽하기 때문에 예측도 훨씬 더 정확해집니다.

큰 발견: 끝날 때까지 기다리지 마라!

이 논문에서 가장 중요한 발견은 자동차들이 언제 정보를 공유해야 하는지에 관한 것입니다. 연구진은 데이터를 공유하는 세 가지 다른 시점을 테스트했습니다:

1. 시작 단계 (탐지 레벨): 가공되지 않은 "여기에 차가 있다"라는 데이터를 공유함.
2. 중간 단계 (추적 레벨): "이 차는 이 방향으로 움직이고 있다"라는 데이터를 공유함.
3. 마지막 단계 (예측 레벨): "이 차는 3초 후에 여기에 있을 것이다"라는 데이터를 공유함.

이 논문은 마지막 단계에서의 공유를 명시적으로 배제합니다. 연구진은 자동차들이 이미 자신만의 예측을 마친 후에 그 예측값을 공유하게 되면, 오히려 상황을 악화시킨다는 것을 발견했습니다. 이는 두 사람이 경주 승자를 맞히려고 하는데, 경주가 다 끝난 후에야 서로의 최종 추측을 공유하는 것과 같습니다. 그때는 이미 한 사람이 논리적 실수를 했다면, 잘못된 답을 공유하는 것은 도움이 되지 않고 오히려 오류를 퍼뜨릴 뿐입니다. 논문은 예측 레벨의 퓨전(fusion)이 전체 시스템 성능의 저하를 초래한다는 것을 보여줍니다.

대신, 가장 좋은 결과는 초기에(탐지 또는 추적 단계에서) 공유하는 것에서 나왔습니다. 이를 통해 자동차들은 미래를 예측하기 전에 서로의 실수를 바로잡을 수 있습니다. 데이터에 따르면, 초기에 공유하는 것이 숨겨진 물체(나무 뒤의 보행자 등)를 포착하는 능력을 크게 향상시킨 반면, 늦은 단계의 예측 공유는 도움이 되지 않았으며 훨씬 더 많은 인터넷 데이터를 소모했습니다.

"압축" 기술

또 다른 멋진 발견이 있습니다. 그 많은 3D 레이저 데이터(포인트 클라우드라고 불리는)를 공유하는 것은 보통 엄청난 양의 인터넷 공간을 차지합니다. 저자들은 RENO라고 불리는 특별한 "뉴럴 코덱"(스마트 압축기)을 사용하는 프로토타입을 제작했습니다. 그들은 미래를 정확하게 예측하는 능력을 잃지 않으면서도 공유되는 데이터를 약 34배(거대한 파일에서 아주 작은 파일로) 압축할 수 있다는 것을 발견했습니다.

친구에게 고화질 영화 전체를 보내는 대신, 친구의 컴퓨터가 영화를 완벽하게 재구성할 수 있도록 알려주는 아주 작은 텍text 메시지를 보내는 것과 같습니다. 이것이 이 압축 기술이 하는 일입니다. 논문은 이러한 강력한 압축을 적용하더라도, 자동차들이 전혀 대화하지 않을 때보다 미래를 더 잘 예측한다는 것을 보여줍니다.

테스트 내용과 결과

연구진은 중국의 실제 데이터셋인 DAIR-V2X-Seq(자동차와 도로 센서 데이터 포함)를 사용하여 아이디어를 테스트했습니다.

• 결과: 데이터를 초기에 결합했을 때(탐지 레벨), 시스템은 메인 차량의 시야에서 가려진 자동차, 자전거, 보행자를 훨씬 더 잘 찾아냈습니다.
• 경고: 또한 현재 시스템은 큰 자동차에 비해 보행자나 자전거 같은 작은 물체를 다루는 데 여전히 다소 어려움을 겪고 있다는 점도 발견했습니다.
• 확신: 이 논문은 이러한 결과들이 측정된 실험적 결과임을 제시합니다. 그들은 단순히 추측한 것이 아니라 수치를 계산했습니다. 그들은 "조기 공유" 전략이 효과적인 반면, "늦은 공유" 전략은 해롭다는 것을 보여주었습니다. 또한, 모든 과정을 한 번에 수행하는 엔드 투 엔드(end-to-end) 프로토타입이 기존의 단계별 방식보다 미래를 훨씬 더 잘 예측한다는 것을 보여줌으로써, 기존의 단계별 방식이 오류를 누적시킨다는 점을 입증했습니다.

이것이 왜 중요한가

이 논문은 자율주행차가 서로 어떻게 대화해야 하는지에 대한 명확한 로드맵을 제공합니다. 이는 우리에게 이렇게 말합니다: "당신의 예측을 마칠 때까지 기다렸다가 도움을 구하지 마세요. 당신이 아직 보고 있는 동안에 도움을 구하세요." 또한, 우리는 이 팀워크가 인터넷 연결을 느리게 하지 않으면서도 효율적으로 작동할 수 있도록 만들 수 있음을 보여줍니다.

저자들은 모든 상황(예: 아주 작은 보행자)에 완벽한 시스템을 구축하는 것이 여전히 진행 중인 과제이며, 시스템을 완전히 훈련시키기 위해 더 많은 데이터가 필요하다는 점을 인정하지만, 그들의 연구 결과는 명확한 방향을 제시합니다. 자동차들이 미래를 예측하기 전에 협력하여 완전한 그림을 구축하게 하고, 스마트한 압축을 통해 데이터를 가볍게 유지함으로써, 우리는 자율주행 자동차를 더 안전하고 주변 세계를 더 잘 인식하도록 만들 수 있습니다.