Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models

자율주행 자동차는 주변 세계를 이해하기 위해 지속적이고 고속인 데이터 스트림에 의존합니다. 카메라는 장면의 시각적 풍부함을 포착하지만, 악천후나 저조도 환경에서는 어려움을 겪을 수 있습니다. 이를 보완하기 위해 많은 자율주행 시스템은 레이저 빛의 빠른 펄스를 발사하여 거리를 측정하고 주변 환경의 3차원 지도를 구축하는 센서인 LiDAR를 사용합니다. 이 지도는 레이저가 부딪힌 표면을 나타내는 수백만 개의 작은 점들로 이루어진 클라우드 형태로 나타납니다. 컴퓨터가 이 데이터를 내비게이션에 유용하게 활용하려면, 그 점들이 무엇에 속하는지—그 클러스터가 보행자인지, 자동차인지, 아니면 나무인지—식별하는 법을 배워야 합니다. 나아가, 차량이 이동하고 있기 때문에 시스템은 시간의 흐름에 따라 이러한 객체들을 추적하여, 한 순간에서 다음 순간으로 점들을 연결함으로써 움직임과 의도를 이해해야 합니다. 4차원 세그멘테이션(segmentation)이라고 알려진 이 과정은 안전한 자율주행의 근간이지만, 매우 큰 난관에 봉착해 있습니다. 바로 이러한 시스템을 가르치기 위해 필요한 데이터를 생성하는 것이 믿기 힘들 정도로 어렵고 비용이 많이 든다는 점입니다.

컴퓨터가 LiDAR 클라우드에서 객체를 인식하는 법을 배우려면, 인간이 먼저 수천 개의 프레임을 수동으로 라벨링하며 모든 자동차와 사람의 윤곽을 그려주어야 합니다. 이는 느리고, 지루하며, 오류가 발생하기 쉬운 작업입니다. 점들이 3차원 공간에 희소하고 흩어져 있기 때문에, 이를 라벨링하는 것은 평면 사진 위에 그림을 그리는 것보다 훨씬 직관적이지 않습니다. 결과적으로, 이러한 시스템의 발전은 알고리즘의 지능력이 아니라, 고품질의 라벨링된 데이터가 절대적으로 부족하다는 점에 의해 병목 현상이 발생하곤 합니다. 연구자들은 컴퓨터가 이미 수십억 개의 이미지와 영상으로부터 학습한 시각적 이해력을 빌려와서, 이 훈련 데이터를 자동으로 생성할 수 있는 방법이 있지 않을까 오랫동안 고민해 왔습니다.

KAIST와 중앙대학교의 연구진은 'LiDAR-SAM2'라고 불리는 새로운 프레임워크를 통해 그 질문에 답하는 중요한 발걸음을 내디뎠습니다. 이들의 연구는 단 하나의 인간도 포인트 클라우드 위에 선을 긋지 않고도 3D LiDAR 데이터를 위한 강력한 라벨링 도구를 만드는 것이 가능하다는 것을 보여줍니다. 수동 주석(annotation)에 의존하는 대신, 그들은 비디오 기반 인공지능 모델의 능력을 3D 레이저 스캔의 언어로 변환하는 시스템을 구축했습니다. 핵심 아이디어는 방대한 양의 비디오 데이터를 통해 시간의 흐름에 따라 객체를 추적하도록 훈련된 일종의 파운데이션 모델(foundation model)을 사용하여, 이를 LiDAR 센서의 독특한 기하학적 구조를 이해하도록 적응시키는 것입니다. 이를 통해 그들은 2D 비디오 전문가를 4D LiDAR 감독관으로 탈바сь시킨 것입니다.

과정은 동기화된 데이터 세트, 즉 동일한 차량에 장착된 카메라의 표준 비디오 영상과 쌍을 이루는 3D LiDAR 스캔 시퀀스로 시작됩니다. 연구진은 먼저 비디오 영상을 비디오 파운데이션 모델에 입력합니다. 이 모델은 객체를 식별하고 프레임 사이에서 그 움직임을 추적하는 데 탁월합니다. 사용자가 첫 번째 비디오 프레임에서 자동차를 클릭하면, 모델은 전체 비디오 시퀀스 동안 해당 자동차를 자동으로 추적하여 모든 후속 프레임에서 차량의 윤곽을 나타내는 마스크(mask)를 생성합니다. 연구진은 이 2D 윤곽을 대응하는 3D LiDAR 점들에 투영합니다. 카메라와 레이저 센서는 서로 어떻게 연관되어 있는지 정확히 알 수 있도록 보정되어 있기 때문에, 시스템은 어떤 레이저 점이 비디오 마스크의 픽셀에 해당하는지 결정할 수 있습니다.

하지만 단순히 2D 마스크를 3D 점들에 투영하는 것만으로는 충분하지 않습니다. 단일 카메라는 차량 전체를 볼 수 없습니다. 측면은 볼 수 있어도 뒷면은 놓칠 수 있으며, 다른 물체에 의해 시야가 가려질 수도 있습니다. 이를 해결하기 위해 연구진은 여러 카메라의 뷰를 결합하고 시간의 흐름에 따라 하나로 엮는 방법을 개발했습니다. 그들은 차량의 알려진 움직임을 사용하여 이전 순간에 보였던 것을 현재 순간으로 투영함으로써, 카메라 뷰가 제한되었던 빈틈을 채웁니다. 이는 3D 점들에 대해 조밀하고 일관된 라벨 세트를 생성하며, 효과적으로 고품질의 훈련 데이터셋을 자동으로 만들어냅니다. 이렇게 생성된 라벨을 연구진은 '의사 라벨(pseudo-labels)'이라 부르며, 이 라벨들은 LiDAR 데이터를 이해하기 위해 특별히 설계된 새로운 모델을 훈련하는 데 사용됩니다.

결과물인 LiDAR-SAM2는 상호작용형 도구로서 작동합니다. 인간 운영자는 LiDAR 시퀀스의 첫 번째 프레임에서 객체를 클릭하기만 하면 되며, 그러면 시스템은 해당 객체에 대해 전체 비디오 동안 일관되고 고품질인 트랙을 자동으로 생성합니다. 연구진은 복잡한 도시 주행 장면을 포함하는 SemanticKITTI라는 표준 데이터셋을 통해 이 접근 방식을 테스트했습니다. 그들은 시스템이 생성한 라벨이 놀라울 정도로 정확하며, 높은 정밀도(precision)와 재현율(recall)을 달성한다는 것을 발견했습니다. 이 자동 생성된 라벨을 사용하여 표준 3D 세그멘테이션 모델을 훈련했을 때, 모델은 인간 전문가가 공들여 라벨링한 데이터로 훈련된 모델과 거의 대등한 성능을 보였습니다. 실제로, 세맨틱 세그멘테이션 작업에서 자동 생성된 라벨로 훈련된 모델은, 훈련에 사용된 LiDAR 점들을 사람이 수동으로 라벨링한 적이 없음에도 불구하고 인간이 작성한 정답(ground truth)에 근접하는 성능 수준을 달お성했습니다.

연구는 또한 라벨 자체의 품질에 대해서도 탐구했습니다. 출력을 시각화함으로써, 연구진은 시스템이 객체 주변에 깨끗한 경계를 생성하고, 자동차와 보행자가 장면을 통과해 이동할 때 일관된 정체성을 유지한다는 것을 보여주었습니다. 이러한 일관성은 자동차가 10초 전에 보았던 차가 지금 보고 있는 차와 동일한 차라는 것을 시스템이 알아야 하는 자율주행에서 매우 중요합니다. 연구진은 최소한의 인간 입력, 즉 객체당 몇 번의 클릭만으로 트래킹을 초기화함으로써 이러한 수준의 품질을 달성할 수 있음을 입증했습니다. 이는 3D 및 4D 장면 이해를 위한 데이터 주석 작업의 무거운 짐을 크게 줄일 수 있으며, 잠재적으로 대규모의 인간 라벨러 팀 없이도 더 안전하고 유능한 자율주행 시스템을 빠르게 개발할 수 있음을 시사합니다.

이 연구는 고품질의 3D 훈련 데이터가 반드시 인간의 노동으로부터 나와야 한다는 관념에 명시적으로 도전합니다. 이전의 상호작용형 4D 세그멘테이션 시도들은 시스템이 객체를 추적하는 법을 가르치기 위해 인간이 주석을 단 데이터셋에 의존했지만, 이 새로운 접근 방식은 최소한의 프롬프트만을 요구함으로써 그러한 의존성을 최소화합니다. 연구진은 비디오 파운데이션 모델에 이미 존재하는 시간적 이해력을 활용함으로써, 처음부터 3D 라벨링 시스템을 부트스트래핑(bootstrap)하는 것이 가능하다고 주장합니다. 그들은 자신들의 방법이 단순한 이론적 가능성이 아니라, 사용 가능한 고충실도(high-fidelity) 데이터를 생성하는 실질적인 도구임을 보여주었습니다. 결과는 자동화된 데이터와 인간이 라벨링한 데이터 사이의 격차가 빠르게 좁혀지고 있으며, 차세대 인지 시스템을 위한 확장 가능한 경로를 제공하고 있음을 나타냅니다.

더 넓은 인공지능의 맥락에서, 이 연구는 한 유형의 강력한 모델을 사용하여 다른 모델을 가르치는 변화를 강조합니다. 2D 비디오 모델을 3D 데이터의 감독 소스로 취급함으로써, 연구팀은 3D 영역의 전통적인 한계를 우회했습니다. 그들은 세상을 보는 새로운 방법을 발명한 것이 아니라, 컴퓨터가 이미 비디오에 대해 알고 있는 것을 레이저 스캔의 언어로 번역하는 방법을 찾아낸 것입니다. 이 연구 결과는 자율주행 데이터의 미래가 더 많은 주석 작업자를 고용하는 데 있는 것이 아니라, 서로 다른 유형의 시각 데이터 사이에 더 스마트한 가교를 구축하는 데 있을 수 있음을 시사합니다. 기술이 성숙해짐에 따라, 이는 자율주행 자동차를 위한 방대하고 다양한 데이터셋의 생성을 가능하게 하여 기술을 더욱 견고하고 접근 가능하게 만들 수 있습니다. 연구는 적절한 프레임워크가 있다면, 자동화된 고품질 3D 주석의 꿈은 더 이상 먼 미래의 목표가 아니라 현재의 현실이라는 결론을 내립니다.