CorrelationFlow: A Training-Free Geometric Approach for LiDAR Scene Flow Estimation

당신이 복잡한 도시를 운전하고 있다고 상상해 보세요. 하지만 눈 대신 당신의 자동차에는 초당 수백만 개의 보이지 않는 광선을 쏘아 올리는 매우 민밀한 레이저 스캐너가 달려 있습니다. 이 광선들은 건물, 다른 자동차, 그리고 보행자에게 부딪혀 튕겨 나오며 주변 세계를 3D 점들의 소용돌이 구름으로 지도화합니다. 이것이 자율주 주행 자동차가 "보는" 방식입니다. 하지만 보는 것만으로는 충분하지 않습니다. 자동차는 무엇이 움직이고 있고 어디로 가고 있는지를 알아야 합니다. 이것을 "장면 흐름(scene flow)"이라고 부릅니다. 이는 마치 그 점 구름 속의 모든 점이 어떤 춤 동작을 하고 있는지 예측하는 것과 같습니다. 보행자가 도로로 발을 내디디고 있는지, 혹은 트럭이 차선을 변경하고 있는지 예측하는 것이죠. 수년 동안 과학자들은 컴퓨터에게 방대한 양의 데이터를 학습시켜, 즉 움직이는 자동차의 수백만 가지 사례를 보여주어 패턴을 암기하게 함으로써 이 문제를 해결하려고 노력해 왔습니다. 이는 마치 개에게 막대기를 가져오도록 끝없이 간식을 주며 훈련시키는 것과 같습니다. 하지만 이 방식에는 문제가 있습니다. 만약 개가 유리로 만든 막대를 본 적이 없거나, 바람이 너무 세게 불고 있다면, 개는 혼란에 빠지게 됩니다.

여기서 하나의 새로운 아이디어가 등장하여 아주 단순한 질문을 던집니다. 우리는 정말로 컴퓨터를 개처럼 훈련시켜야 할까요, 아니면 그냥 오래된 방식의 기하학적 원리와 논리를 사용하면 될까요? 이 논문은 CorrelationFlow라고 불리는 방법을 소개하며, "학습" 단계를 통째로 건너뜁니다. 데이터를 통해 배우는 대신, 움직이는 점들을 하나의 퍼즐처럼 취급합니다. 이 방식은 두 개의 레이저 클라우드 스냅샷을 가져와 이를 드론에서 내려다보는 지도처럼 평면적인 조감도(Bird's-eye view) 사진으로 변환한 다음, 한 사진을 다른 사진 위로 미끄러지듯 움직이며 얼마나 겹치는지 확인합니다. 만약 자동차의 사진을 딱 알맞은 만큼 이동시킨다면, 다음 프레임에 있는 자동차의 위치와 완벽하게 일치하게 됩니다. 이 완격한 일치를 찾아냄으로써, 컴퓨터는 단 한 대의 자동차를 "공부"해 본 적도 없이 자동차가 얼마나 빨리, 어느 방향으로 움직이는지 정확히 계산할 수 있습니다.

"학습" 진영의 문제점

오랫동안 3D 공간에서 사물의 움직임을 파악하는 과학은 특정 집단에 의해 지배되어 왔습니다. 바로 딥러닝(deep learning)입니다. 이들은 거대하고 복잡한 뇌처럼 작동하는 컴퓨터 프로그램입니다. 이들에게는 실제 자동차에서 얻은 수천 시간의 레이저 스캔 데이터와 같은 엄청난 양의 데이터가 주어지며, 이들은 움직이는 모든 점의 움직임을 추측하는 법을 천천히 배웁니다. 실험실 환경에서는 잘 작동하지만, 심각한 사각지대가 있습니다.

첫째, 이러한 "학습" 방식은 특정 시험만을 위해 공부한 학생과 같습니다. 만약 본 적 없는 자동차를 보여주거나, 센서가 약간 다르게 작동하거나, 장면이 매우 멀리 있거나 희소한 경우(예: 안개 낀 밤)에는 처참하게 실패하곤 합니다. 이들은 자신이 학습한 데이터의 오류를 그대로 물려받습니다. 둘째, 이들은 탐욕스럽습니다. 학습을 위해 막대한 양의 비싼 수동 라벨링 데이터가 필요하며, 모든 점에 대해 숫자를 계산해야 하기 때문에 자동차 컴퓨터에서 실행되는 속도가 느립니다.

이 논문의 저자들은 우리가 문제를 너무 복잡하게 만들고 있다고 주장합니다. 그들은 문제의 상당 부분이 AI 붐이 일어나기 훨씬 전부터 존재했던 고전적인 컴퓨터 비전—수학과 논리—로 해결될 수 있다고 제안합니다. 그들은 모델이 움직임을 "추측"하도록 훈련시키는 대신, 기하학을 사용하여 직접 측정할 수 있다고 제안합니다.

CorrelationFlow 솔루션: 슬라이딩 퍼즐

CorrelationFlow를 만든 팀은 완전히 다른 길을 택했습니다. 그들은 학습이 전혀 필요 없는(zero training) 시스템을 구축했습니다. 데이터 세트도, 신경망도, "학습" 단계도 없습니다. 대신, 그들은 복잡한 3D 움직임 문제를 두 가지 간단한 교과서적 연산인 **연결 요소 라벨링(connected-component labeling)**과 **상관관계 극대화(correlation maximization)**로 축소했습니다.

작동 방식은 다음과 같습니다. 재미있는 비유를 들어 단계별로 설명하겠습니다.

1. 조감도 지도 (The Bird's-Eye View Map)
당신의 자동차에 레이저 스캐너가 있다고 상상해 보세요. 그것은 당신 앞의 자동차를 3D 점 구름으로 봅니다. CorrelationFlow가 가장 먼저 하는 일은 이 3D 구름을 하늘에서 수직으로 내려다보는 2D 지도(조감도, BEV)로 평평하게 펼치는 것입니다. 이는 점 구름을 검은 배경 위에 흰색 덩어리로 나타나는 단순한 흑백 이미지로 바꿉니다. 이 작업은 현재 시점($t$)과 아주 짧은 시간이 흐른 뒤의 시점($t+1$)에 대해 각각 수행됩니다.

2. 슬라이딩 퍼즐 (Correlation)
이제 두 장의 종이가 있다고 상상해 보세요. 한 장에는 시간 $t$에서의 자동차 흰색 덩어리가 있고, 다른 한 장에는 시간 $t+1$에서의 덩어리가 있습니다. 자동차가 움직였기 때문에, 두 번째 종이의 덩어리는 위치가 약간 달라져 있습니다.
기존의 방식(학습)은 기억된 패턴을 바탕으로 이동량을 "추측"하려 할 것입니다. 하지만 CorrelationFlow는 훨씬 더 단순합니다. 첫 번째 종이를 두 번째 종이 위로 물리적으로 미끄러뜨리며 가능한 모든 위치를 시도합니다. 그리고 "이 덩어리를 여기로 밀면, 다른 종이의 덩어리와 얼마나 겹치는가?"라고 묻습니다.
이 방식은 **정규화된 상호 상관관계(Normalized Cross-Correlation)**라는 수학적 도구를 사용하여 이 겹침 정도를 측정합니다. 이것은 마치 "매칭 점수"와 같습니다. 덩어리들이 완벽하게 일치하면 점수는 100%이고, 전혀 겹치지 않으면 0%입니다. 컴퓨터는 이 점수가 가장 높은 지점을 찾아냅니다. 그 지점이 자동차가 정확히 얼마나 이동했는지를 알려줍니다.

3. 점들의 그룹화 (Connected Components)
번화한 거리에는 많은 자동차, 보행자, 나무들이 있습니다. 레이저 스캐너는 이들을 모두 하나의 커다란 점 무리로 봅니다. 이를 해결하기 위해 CorrelationFlow는 연결 요소 라벨링 기술을 사용합니다.
점들이 사람들이 서로 손을 잡고 있는 모습이라고 상상해 보세요. 두 점이 충분히 가까우면 그들은 "연결"됩니다. 알고리즘은 손을 잡고 있는 사람들의 모든 그룹을 찾아냅니다. 한 그룹은 자동차일 수 있고, 다른 그룹은 보행자일 수 있습니다. 알고리즘은 각 그룹을 하나의 객체로 취급합니다. 이는 만약 자동차가 움직인다면, 그 자동차의 모든 부분이 함께 움직인다는 가정(강체 운동, rigid motion) 하에 작동합니다. 일단 그룹을 찾으면, 개별 점 하나하나의 움직임을 계산하는 대신 그룹 전체의 움직임을 한 번에 계산합니다.

4. "키포인트" 지름길 (The "Keypoint" Shortcut)
저자들은 특히 멀리 있거나 희소한 객체의 경우 점들을 완벽하게 그룹화하는 것이 어렵다는 것을 깨달았습니다. 그래서 그들은 CorrelationFlow-Keypoints라는 두 번째 버전을 만들었습니다.
객체 전체를 그룹화하는 대신, 이 버전은 객체의 **가장자리(edges)**나 경계만을 살펴봅니다. 지도 위에 나타난 자동차 그림자의 윤곽선에서 특별한 "키포인트"를 추출합니다. 그런 다음, 퍼즐 조각의 모서리를 맞추는 것처럼 두 시점 사이의 이 가장자리 점들을 매칭합니다. 이 버전은 훨씬 더 빠르며, 과거의 기록 없이 단 한 쌍의 스캔만으로도 잘 작동합니다.

결과: 단순함이 승리하다 (때때로)

팀은 자신들의 방법을 Argoverse 2 2026 Scene Flow Challenge라는 거대한 실제 세계 챌린지에서 테스트했습니다. 이것은 단순히 한 종류의 자동차나 한 도시를 대상으로 한 것이 아닙니다. 서로 다른 센서, 서로 다른 차량, 서로 다른 위치를 가진 다섯 가지 데이터 세트를 사용했습니다. 이 테스트는 특정 설정에 맞춰 조정되지 않아도 일반화되어 잘 작동할 수 있는지를 확인하기 위해 설계되었습니다.

결과는 놀랍고 고무적이었습니다:

• 순위: CorrelationFlow는 모든 "비지도 학습(unsupervised)" 방식들 중 2위를 차지했습니다. 대부분의 상위권 경쟁자들이 엄청난 양의 훈련이 필요한 복잡하고 무거운 AI 모델이라는 점을 고려하면 매우 인상적인 결과입니다.
• 장거리 이점: "학습" 방식(AI 모델들)은 객체가 가까울 때(035m)는 훌륭하게 작동했습니다. 하지만 객체가 멀어질수록(3570m), AI 모델들은 무너지기 시작했고 오차율이 급격히 치솟았습니다. 왜일까요? 멀리 있는 객체는 점의 개수가 적기 때문이며, AI는 이 상황에서 혼란을 느낍니다. 반면, CorrelationFlow는 **우아하게 성능이 저하(degraded gracefully)**되었습니다. 당황하지 않은 것입니다. 이 방식은 기억된 패턴에 의존하는 대신 객체의 전체적인 형태와 겹침을 이용하기 때문에, 데이터가 희소한 상황에서도 계속해서 작동했습니다.
• 속도와 효율성: 거대한 신경망을 실행할 필요가 없기 때문에 CorrelationFlow는 훨씬 가볍습니다. 수백만 개의 이미지를 먼저 학습시킬 필요도 없습니다. 그저 실시간으로 수학적 계산을 수행할 뿐입니다.

한계와 미래

저자들은 자신들의 방법이 가진 한계에 대해서도 솔직하게 밝히고 있습니다. 이 방법은 객체가 직선으로 움직이며 프레임 사이에서 급격하게 회전하거나 뒤틀리지 않는다고 가정합니다(이는 짧은 시간 간격 내의 자동차나 보행자에게는 보통 적용되는 사실입니다). 또한 매우 빠르게 움직여서 프레임 사이를 너무 멀리 뛰어넘는 객체들에 대해서는 다소 어려움을 겪지만, 이를 해결하기 위해 큰 단계로 먼저 움직임을 확인한 뒤 작은 단계를 확인하는 "조-세(coarse-to-fine)" 전략을 개발했습니다.

그들은 또한 자신들의 방법이 훌륭하지만 마법은 아니라는 점을 발견했습니다. 만약 자동차 자체의 움직임(ego-motion)이 완벽하게 계산되지 않는다면, 전체 과정이 엉망이 될 수 있습니다. 하지만 핵심 메시지는 명확합니다: 모든 문제를 해결하기 위해 복잡성을 키울 필요는 없다는 것입니다.

이 논문은 장면 흐름 문제의 상당 부분이 실제로 고전적인 컴퓨터 비전으로 해결 가능하다는 것을 시사합니다. 이는 복잡한 퍼즐을 풀 때, 정답을 추측하는 더 크고 똑똑한 로봇을 만드는 것이 아니라, 세상이 실제로 어떻게 돌아가는지를 설명하는 영리하고 단순한 규칙을 사용하는 것이 때로는 최선의 방법이라는 점을 상기시켜 줍니다. 저자들이 말했듯, 발전은 "규모를 키우는 것이 아니라, 공식을 의심하는 것"에서 올 수 있습니다. 거대한 AI 모델에 집착하는 세상에서, CorrelationFlow는 때때로 가장 단순한 기하학적 트릭이 가장 강력한 도구가 될 수 있다는 것을 보여주는 신선한 사례입니다.