💻 computer science

MT-PCR: Hybrid Mamba-Transformer Network with Spatial Serialization for Point Cloud Registration

본 논문은 점구름 데이터의 비정형적 특성을 해결하기 위해 Z-순서 공간 채우기 곡선을 활용한 공간 직렬화 기법을 도입하여 Mamba 와 Transformer 를 융합한 MT-PCR 을 제안함으로써, 기존 Transformer 기반 방법 대비 정확도와 효율성을 동시에 크게 향상시켰음을 보여줍니다.

원저자: Bingxi Liu, An Liu, Hao Chen, Huaqi Tao, Jinqiang Cui, Yiqun Wang, Hong Zhang

게시일 2026-04-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bingxi Liu, An Liu, Hao Chen, Huaqi Tao, Jinqiang Cui, Yiqun Wang, Hong Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: 거대한 퍼즐을 맞추는 딜레마

생각해 보세요. 두 개의 거대한 3D 퍼즐 조각 (예: 건물의 3D 스캔 데이터) 이 있는데, 이걸 정확히 맞춰야 합니다.

기존 방식 (Transformer): 이 퍼즐 조각의 모든 조각을 서로 비교하며 맞추는 방식입니다. 마치 "이 조각이 저 조각과 맞을까? 아니, 저건 어때?"라고 모든 조각끼리 일일이 대화를 시키는 것과 같습니다.
- 단점: 조각이 100 개일 때는 괜찮지만, 조각이 1,000 개, 10,000 개로 늘어나면 대화 횟수가 기하급수적으로 불어나서 시간이 너무 오래 걸리고 컴퓨터 메모리가 터져버립니다. 그래서 기존 방식은 퍼즐 조각을 잘라내서 (다운샘플링) 수를 줄일 수밖에 없는데, 이러면 중요한 디테일이 사라져서 정확도가 떨어집니다.

2. 새로운 해결책: MT-PCR (하이브리드 Mamba-Transformer)

저자들은 이 문제를 해결하기 위해 두 가지 다른 방식의 장점을 섞은 **'MT-PCR'**이라는 새로운 시스템을 만들었습니다.

① Mamba: "효율적인 독서"

기존 방식이 '모두가 서로 대화'하는 거라면, Mamba는 '한 줄로 줄서서 순서대로 읽는' 방식입니다.

비유: 도서관에서 책장을 한 줄로 나열하고, 한 권씩 순서대로 읽어가며 내용을 기억하는 방식입니다. 이렇게 하면 책이 아무리 많아도 시간과 비용이 거의 일정하게 유지됩니다. (선형 복잡도)
문제점: 하지만 3D 점 구름은 책장처럼 정해진 순서가 없습니다. 공중에 흩어진 구슬들처럼 무질서하게 떠다니고 있어서, Mamba 가 "어디서부터 읽어야 하지?"라고 당황합니다.

② Z-Order: "무질서한 구슬을 줄세우기"

저자들은 이 무질서한 3D 점들을 Mamba 가 읽을 수 있도록 **특수한 줄서기 규칙 (Z-Order)**을 만들었습니다.

비유: 3D 공간에 흩어진 구슬들을 나선형 (Z-Order) 으로 감싸며 하나씩 번호를 매겨 나열하는 것입니다. 이렇게 하면 3D 공간에서 가까이 있는 구슬들은 번호도 서로 가깝게 붙게 됩니다.
효과: Mamba 가 이 순서대로 읽으면, "아, 이 구슬 옆에 있는 구슬도 중요하겠구나"라고 **공간적인 구조 (기하학적 특징)**를 자연스럽게 이해하게 됩니다.

③ 순서 표시기 제거: "불필요한 안내문 버리기"

기존 Mamba 모델들은 "이게 첫 번째 글자야, 두 번째 글자야"라고 알려주는 **순서 표시기 (Order Indicator)**를 썼습니다. 하지만 3D 점 구름은 본래 순서가 없는 데이터입니다.

비유: 무질서한 구슬에 억지로 "1 번, 2 번"이라고 번호를 붙이면 오히려 구슬들 사이의 자연스러운 연결고리가 끊어집니다.
발견: 저자들은 이 불필요한 번호표를 아예 떼어버리고, 대신 Mamba 가 구슬들의 자연스러운 흐름만 읽게 했더니 오히려 정확도가 더 높아지는 놀라운 결과를 얻었습니다.

3. 전체 시스템의 흐름 (MT-PCR)

이 시스템은 크게 두 단계로 나뉩니다.

빠른 스캔 (Mamba 단계):
- Z-Order 규칙으로 점들을 줄세운 뒤, Mamba를 이용해 전체적인 모양과 큰 구조를 빠르고 가볍게 파악합니다. (기존 방식보다 훨씬 적은 메모리로 처리 가능)
정밀한 맞춤 (Transformer 단계):
- 큰 구조를 파악한 후, Transformer를 이용해 중요한 부분끼리 정밀하게 비교하고 다듬습니다.

이렇게 빠른 Mamba와 정밀한 Transformer를 섞어서 쓴 덕분에, 속도는 빠르고 정확도는 최고가 되었습니다.

4. 실제 성과: 왜 이것이 중요한가요?

정확도: 3DMatch(실내), KITTI(실외 자율주행) 등 여러 시험에서 기존 최고 기술 (SOTA) 들보다 더 높은 정확도를 기록했습니다. 특히 회전 각도를 아주 정밀하게 맞춥니다.
효율성:
- 메모리: 기존 방식은 점의 수가 늘어나면 메모리가 폭발하듯 늘어나서 큰 데이터를 처리 못 했지만, 이 방법은 메모리 사용량을 6.9 배나 줄였습니다.
- 속도: 같은 성능을 내는데 훨씬 더 빠르게 처리합니다.
실용성: 자율주행차나 로봇이 실시간으로 복잡한 환경을 인식할 때, 무거운 컴퓨터 없이도 가볍게 작동할 수 있는 길을 열었습니다.

요약

이 논문은 **"무질서한 3D 데이터를 Mamba 가 읽기 쉽게 줄세우고 (Z-Order), 불필요한 번호표는 떼어버린 뒤, 빠른 Mamba 와 정밀한 Transformer 를 섞어 썼더니, 기존 방식보다 훨씬 빠르고 정확하게 3D 지도를 맞출 수 있었다"**는 내용입니다.

마치 거대한 퍼즐을 맞추는데, 모든 조각을 서로 대화시키는 대신, 지혜롭게 줄을 세워 순서대로 읽게 하고, 불필요한 지시를 없애서 훨씬 효율적으로 문제를 해결한 것과 같습니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 3D 컴퓨터 비전과 로봇공학에서 **포인트 클라우드 등록 (Point Cloud Registration, PCR)**은 부분적으로 겹치는 두 개의 3D 포인트 클라우드를 정렬하여 하나의 좌표계로 맞추는 핵심 작업입니다.
기존 방법의 한계:
- 최근 학습 기반 PCR 방법들은 Transformer 아키텍처를 주로 사용합니다. Transformer 는 강력한 전역적 공간 관계 모델링 능력을 갖추고 있지만, 시퀀스 길이에 대해 **이차적인 계산 복잡도 (Quadratic Complexity, $O(N^2)$ )**를 가집니다.
- 이로 인해 고해상도 포인트 클라우드를 처리할 때 메모리 부족과 계산 비용 증가 문제가 발생하며, 이를 해결하기 위해 포인트를 다운샘플링하면 중요한 기하학적 정보가 손실됩니다.
Mamba 의 도입과 한계:
- 최근 제안된 Mamba(상태 공간 모델, SSM 기반) 는 **선형 계산 복잡도 (Linear Complexity)**를 가지면서도 장거리 문맥을 효과적으로 모델링할 수 있습니다.
- 그러나 포인트 클라우드 데이터는 순서가 없고 (unordered) 불규칙한 구조를 가지고 있어, 순차적 처리를 전제로 하는 Mamba 를 직접 적용하면 성능이 저하됩니다.

2. 제안 방법론 (Methodology)

저자들은 MT-PCR이라는 새로운 하이브리드 프레임워크를 제안하며, Mamba 의 효율성과 Transformer 의 공간 인식 능력을 결합합니다.

가. 공간 직렬화 (Spatial Serialization)

핵심 아이디어: Mamba 가 포인트 클라우드의 기하학적 구조를 효과적으로 학습할 수 있도록, 3D 포인트를 1 차원 시퀀스로 변환하되 **공간적 근접성 (Spatial Locality)**을 유지합니다.
Z-order Space-filling Curve: 포인트의 3D 좌표를 Z-order (Morton code) 곡선을 따라 정렬하여 시퀀스를 생성합니다. 이는 3D 공간에서 이웃한 점들이 1D 시퀀스에서도 서로 가까이 오도록 하여, Mamba 가 국소적 기하 구조를 잘 학습하도록 돕습니다.
순서 표시자 제거 (Removal of Order Indicator): 기존 Mamba 기반 시퀀스 모델링에서 사용되던 '순서 표시 토큰 (Order-indicator tokens)'을 제거했습니다. 3D 데이터에서는 명시적인 순서 표시가 오히려 공간적 인접성을 해쳐 성능을 저하시킨다는 실험적 발견에 기반합니다.

나. 하이브리드 아키텍처 (Hybrid Mamba-Transformer Network)

** coarse-to-fine (거친 정렬 $\rightarrow$ $\to$ 정밀 정렬) 전략:**
1. 다중 스케일 특징 추출: KPConv 를 사용하여 다중 해상도의 포인트 클라우드 특징을 추출합니다.
2. Mamba-Transformer 코어 매칭:
  - Mamba 인코더: 공간 직렬화된 특징을 입력받아 선형 복잡도로 **전역적 기하학적 문맥 (Global Context)**을 효율적으로 모델링합니다.
  - Transformer 리파인먼트: Mamba 를 거친 특징을 Cross-Attention 메커니즘을 통해 정제하고, 포인트 간의 대응 관계 (Correspondence) 를 세밀하게 조정합니다.
3. 희소 매칭 및 정밀 등록: 초점 포인트 (Keypoints) 간의 매칭을 수행하고, 최종적으로 SVD 를 통해 강체 변환 (회전 및 이동) 을 추정합니다.

3. 주요 기여 (Key Contributions)

최초의 하이브리드 프레임워크: 포인트 클라우드 등록을 위한 최초의 Mamba-Transformer 하이브리드 프레임워크인 MT-PCR을 제안했습니다.
공간 인식 직렬화 전략: Z-order 곡선을 기반으로 한 특징 직렬화 방법을 도입하여, 비정형적인 포인트 클라우드 데이터를 Mamba 에 효과적으로 적용 가능하게 했습니다.
디자인 인사이트: 3D 등록 작업에서는 Mamba 의 일반적인 '순서 표시자 (Order-indicator)'가 불필요하며, 이를 제거하는 것이 성능 향상에 기여함을 증명했습니다.
효율성과 정확도 동시 달성: 기존 Transformer 기반 방법들보다 계산 효율성 (FLOPs, GPU 메모리) 을 획기적으로 개선하면서도 정확도를 높였습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (3DMatch, 3DLoMatch, KITTI, ETH-Challenging) 에서 실험이 수행되었습니다.

정확도 (Accuracy):
- 3DMatch: 등록 회수 (Registration Recall, RR) **95.5%**로 기존 SOTA(CAST, SGU-PCR 등) 를 상회했습니다.
- 3DLoMatch (낮은 겹침): RR **75.4%**로 저중첩 환경에서도 최상의 성능을 보였습니다.
- KITTI (자율주행): 상대 회전 오차 (RRE) 를 **0.16°**로 낮추어 기존 최상위 모델 (DiffusionPCR 등) 보다 정밀한 회전 추정을 달성했습니다.
효율성 (Efficiency):
- 계산 복잡도: Transformer 기반 방법 (GeoTransformer, CAST 등) 은 포인트 수가 증가함에 따라 메모리 부족 (OOM) 이 발생하거나 FLOPs 가 급증하는 반면, MT-PCR 은 선형 스케일링을 유지합니다.
- 성능 비교: 1536 토큰 길이에서 GeoTransformer 대비 6.9 배 낮은 FLOPs와 58.3% 적은 GPU 메모리를 사용하면서도 동등하거나 더 나은 정확도를 달성했습니다.
일반화 능력: KITTI(3D LiDAR) 에서 ETH(2D LiDAR) 로의 전이 학습 실험에서 우수한 일반화 성능을 보였으며, 비지도 도메인 적응 (UDA) 을 통해 짧은 시간 내에 적응이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

확장성 해결: Transformer 의 이차적 복잡도 한계를 극복하여, 고해상도 및 대규모 3D 포인트 클라우드 처리를 가능하게 합니다.
새로운 패러다임: 순차적 모델 (Mamba) 과 비정형 3D 데이터 간의 간극을 '공간 직렬화'로 메우며, 3D 비전 분야에서 SSM(State-Space Models) 의 적용 가능성을 크게 확장했습니다.
실용성: 낮은 계산 비용과 메모리 사용량으로 인해 자율주행, SLAM, AR 등 제한된 컴퓨팅 자원을 가진 실제 환경에서의 실시간 3D 인식에 매우 유리합니다.

이 논문은 Mamba 와 Transformer 의 장점을 융합하여 포인트 클라우드 등록의 정확도와 효율성이라는 두 마리 토끼를 모두 잡은 획기적인 연구로 평가됩니다.