💻 computer science

PRISM-SLAM: Probabilistic Ray-Grounded Inference for Scale-aware Metric SLAM

PRISM-SLAM 은 플뤼커 광선 거리 인자와 동적 불확실성 게이트를 사용하여 비전 기반 모델 사전 지식을 베이지안 인자 그래프에 통합하여 스케일 모호성을 해결하고 동적 환경을 처리함으로써 사후 보정 없이 30 FPS 로 메트릭 일관성 있는 국소화를 달성하는 실시간 단안 SLAM 프레임워크입니다.

원저자: Eunsoo Im

게시일 2026-05-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eunsoo Im

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

스마트폰과 같은 단일 렌즈 카메라를 사용하여 도시를 항해한다고 상상해 보세요. 수십 년 동안 로봇과 자율주행차는 특정 문제에 직면해 왔습니다: 그들은 어느 방향으로 회전하는지 알지만, 실제 세계의 크기가 얼마나 큰지는 전혀 모릅니다.

이는 사람이 거리를 걷는 영화 장면을 보는 것과 같습니다. 사람이 좌우로 움직이는 것은 볼 수 있지만, 기준이 없다면 그들이 장난감 자동차 옆을 지나가는지 실제 트럭 옆을 지나가는지 알 수 없습니다. 이를 '스케일 모호성 (scale ambiguity)'이라고 합니다. 기존 시스템은 크기를 추측하지만, 시간이 지남에 따라 그 추측은 점점 더 나빠져 로봇이 경로에서 벗어나게 만듭니다.

또한, 사람이 카메라 앞을 지나가면 기존 시스템은 전체 세계가 움직인다고 오인하여 충돌하거나 추적을 잃습니다.

PRISM-SLAM은 이 두 가지 문제를 실시간으로 해결하는 새로운 시스템입니다. 작동 원리를 간단한 개념으로 나누어 설명하면 다음과 같습니다:

1. "무한한 끈" 트릭 (크기 문제 해결)

기존 시스템은 사진에서 사물이 얼마나 크게 보이는지에 기반하여 사물까지의 거리를 추측하려 합니다. PRISM-SLAM 은 더 똑똑한 방법을 사용합니다. 수백만 장의 실제 사진을 '본' 강력한 AI(비전 기반 모델) 를 사용하여 사물이 실제로는 얼마나 커야 하는지 대략적으로 알고 있습니다.

단순히 숫자를 추측하는 대신, PRISM-SLAM 은 AI 의 추측을 카메라에서 실제 세계로 뻗어 나가는 무한하고 단단한 끈처럼 다룹니다.

비유: 긴 부러지지 않는 막대를 들고 있다고 상상해 보세요. 만약 전체 세계를 인형집 크기만큼 축소하려 한다면, 그 막대가 갑자기 벽을 뚫고 나와 물리 법칙을 위반하게 될 것입니다.
결과: "막대"(수학적 광선) 가 실제 세계의 측정 공간에 고정되어 있기 때문에, 시스템은 우연히 세계를 축소하거나 확대할 수 없습니다. 이는 기존 시스템을 괴롭히는 '드리프트 (drift)'를 제거하고 로봇이 올바른 실제 세계 크기에 머무르도록 강제합니다.

2. "스마트 필터" (움직이는 사람 처리)

붐비는 도시에서는 사람과 차량이 끊임없이 움직입니다. 기존 시스템은 종종 무겁고 느린 소프트웨어를 사용하여 움직이는 사람 하나하나를 상자 안에 표시하고 무시하려 합니다. 이는 모든 차를 정지 표지판으로 직접 막아 교통을 멈추게 하려는 것과 같습니다—너무 느립니다.

PRISM-SLAM 은 "소프트 게이팅 (Soft Gating)" 메커니즘 (DSUG 라고 함) 을 사용합니다.

비유: 밴드가 연주하는 것을 듣고 있는데 옆에서 누군가 드럼을 두드린다고 상상해 보세요. 모든 소리를 차단하는 노이즈 캔슬링 헤드폰을 쓰는 대신, 드럼 소리의 볼륨만 약간 낮춥니다. 여전히 음악을 들을 수 있지만 드럼 소리가 노래를 망치지 않습니다.
결과: 시스템은 비디오를 프레임 단위로 분석합니다. 깊이 (거리) 가 비정상적으로 빠르게 변하는 곳 (예: 걷는 사람) 을 발견하면 해당 데이터를 폐기하지 않습니다. 대신 "이 부분은 100% 확신이 없으니 조금 덜 신뢰하겠다"라고 판단합니다. 이는 움직이는 사람으로 인해 혼란을 겪지 않고 로봇이 부드럽게 이동하도록 유지합니다.

3. "두 명의 작업자" 팀 (속도와 정확도)

실시간 사용 (부드러운 비디오 게임과 같은 초당 30 프레임) 에 충분히 빠르도록 하기 위해, 시스템은 작업을 두 명의 "작업자"로 나눕니다:

작업자 A (추적기): 컴퓨터의 메인 브레인 (CPU) 에서 실행됩니다. 매우 빠르게 움직여 순간순간 카메라의 위치를 추적합니다.
작업자 B (AI): 그래픽 카드 (GPU) 에서 실행됩니다. 장면의 정확한 실제 세계 거리와 그 추측의 "불확실성"을 파악하기 위해 약간 더 천천히 장면을 살펴봅니다.
결과: 작업자 A 는 로봇이 부드럽게 이동하도록 유지하는 반면, 작업자 B 는 작업자 A 에게 지속적으로 수정 사항을 속삭입니다. 그들은 로봇이 생각하기 위해 멈출 필요가 없도록 함께 작동합니다.

4. "메모리 확인" (루프 클로저)

로봇이 원을 그리며 돌아와 시작점으로 돌아오면, "이봐, 여기서 전에 왔었어!"라고 알아차려야 합니다.

비유: 건물의 모든 벽돌 하나하나를 기억하는 대신, PRISM-SLAM 은 AI 가 가진 장면의 "지문"을 사용합니다. 마치 신분증을 볼 필요 없이 멀리서 친구의 얼굴을 알아보는 것과 같습니다.
결과: 로봇이 이전에 방문한 장소를 인식하면, 걷는 동안 쌓인 작은 오류들을 즉시 수정하여 지도를 완벽한 정렬 상태로 다시 맞춥니다.

왜 이것이 중요한가

이 논문은 PRISM-SLAM 이 나중에 크기를 수정하기 위한 후처리 단계가 필요 없는 첫 번째 시스템이라고 주장합니다.

기존 방식: 지도를 만든 후 크기가 잘못되었음을 깨닫고, 실제 지면과 일치하도록 늘립니다 (사진을 찍은 후 크기를 조정하는 것과 같습니다).
PRISM-SLAM: 첫 번째 초부터 올바른 크기로 지도를 구축합니다.

테스트에서 이 시스템은 움직이는 사람이 있는 동적 환경에서도 표준 카메라만으로 초당 30 프레임으로 실행하면서 짧은 거리에서 로봇의 경로를 3 센티미터 미만의 오차로 추적할 수 있었습니다. 이는 "스마트 AI"와 "신뢰할 수 있는 로봇 항법" 사이의 간극을 메워줍니다.

기술 요약: PRISM-SLAM

문제 정의

단안 동시 위치 추정 및 지도 작성 (SLAM) 은 실제 로봇 응용 프로그램의 배포를 방해하는 두 가지 근본적인 과제에 직면해 있습니다: 스케일 모호성과 동적 환경에서의 추적 실패.

스케일 모호성: 전통적인 기하학 기반 시스템은 절대 스케일을 관측 불가능하게 만드는 핀홀 투영 기하학에 의존합니다. 이는 최적화 헤시안 (Hessian) 에서 랭크 결손 영공간 (null-space) 을 초래하여 시간이 지남에 따라 심각한 스케일 드리프트를 유발합니다. 비전 기반 모델 (VFMs) 은 제로샷 메트릭 깊이 사전 지식을 제공하지만, 이러한 결정론적 예측을 단순히 통합하면 예측 불확실성과 프레임 간 스케일 불일치를 무시하여 최적화 불안정성을 초래합니다.
동적 환경: 움직이는 물체는 표준 번들 조정 (bundle adjustment) 에 필요한 장면 강성 가정을 위반합니다. 기존 방법들은 종종 동적 물체를 제외하기 위해 이진 시맨틱 분할 마스크에 의존합니다. 그러나 하드 임계값 설정은 비선형 솔버 (예: Levenberg-Marquardt) 를 방해하는 기울기 불연속성을 생성하고 높은 계산 오버헤드를 초래하여 실시간 운영을 방해합니다.

또한, 현재 학습 기반 SLAM 시스템들은 종종 런타임에서 검증된 메트릭 출력을 제공하지 못합니다. 많은 시스템들이 실행 중 실제 메트릭 스케일을 복원하는 대신, 사후에 정답 오라클이 궤적을 재조정하는 사후 $Sim(3)$ 정렬에 의존합니다.

방법론

PRISM-SLAM 은 VFM 사전 지식을 구조화된 베이지안 팩터 그래프에 엄격하게 통합하는 실시간 프레임워크를 제안합니다. 이 시스템은 고주파수 기하학적 추적을 무거운 VFM 추론과 분리하기 위해 비동기 멀티 프로세스 아키텍처에서 작동합니다.

1. 핵심 아키텍처 구성 요소

플뤼커 광선 - 거리 팩터 (Plücker Ray-Distance Factor): 스케일 모호성을 해결하기 위해, 시스템은 VFM 메트릭 깊이 예측을 사용하여 2D 픽셀을 3D 공간으로 들어 올려 고정된 무한 광선을 형성합니다. 이는 Plücker 좌표 ( $L = (d_i, m_i)$ ) 를 사용하여 3D 광선 - 거리 공식을 도입합니다. 3D 랜드마크와 이러한 광선 사이의 수직 거리 잔차는 메트릭 스케일을 국소적으로 피셔 식별 가능 (Fisher-identifiable) 하게 만듭니다. 표준 2D 재투영과 달리 임의의 전역 스케일 인자를 적용하면 랜드마크가 고정된 광선에서 물리적으로 벗어나게 되어 최적화기가 스케일 드리프트를 수정하도록 강제합니다.
동적 장면 불확실성 게이팅 (DSUG): 이진 시맨틱 마스크 대신, PRISM-SLAM 은 공간적 신뢰도 (VFM 에서 유래) 와 시간적 깊이 일관성 (자기 운동 보상 후 깊이 잔차) 을 융합하여 인식론적 불확실성 대리 변수 ( $u(p)$ ) 를 도출합니다. 이 불확실성은 소프트 게이팅 시그모이드 함수를 통해 연속적인 정밀도 가중치로 매핑됩니다. 이는 확률적으로 동적 방해 요인과 신뢰할 수 없는 영역을 정보 행렬에서 하위 가중치 처리하여 기울기 불연속성을 피하면서 노이즈를 필터링합니다.
로그 도메인 스케일 적응 필터: 스케일의 곱셈적 성질 ( $s > 0$ ) 과 VFM 의 이분산성 노이즈를 처리하기 위해, 시스템은 스케일을 로그 도메인으로 매핑합니다. DSUG 정보 행렬로 가중치가 부여된 가중 최소 제곱 (WLS) 추정기는 단일 프레임 스케일 관측치를 계산합니다. 이러한 관측치는 1 차원 칼만 필터에 의해 추적되어 프론트엔드에 부드럽고 엄격히 양수인 메트릭 피드백을 보장합니다.
ViT 기반 루프 클로저: 시스템은 VFM 의 비전 트랜스포머 백본에서 [CLS] 토큰을 루프 감지를 위한 전역 장면 기술자로 재사용합니다. 이는 전통적인 어휘 (예: DBoW2) 를 추가 계산 비용 없이 대체하여 위상 일관성을 가능하게 하고 메트릭 전역 번들 조정을 통한 전역 메트릭 보정을 지원합니다.

2. 워크플로우

파이프라인은 네 개의 동시 프로세스로 구성됩니다:

추적: CPU 기반 프론트엔드가 약 30Hz 로 포즈와 희소 점을 추정합니다.
VFM 추출: 비동기 GPU 워커가 DA3 기반 모델을 사용하여 밀집 메트릭 깊이 및 불확실성 사전 지식을 추출합니다.
스케일 복원: 로그 도메인 칼만 필터가 VFM 사전 지식과 희소 점을 융합하여 스케일 모호성을 해결합니다.
메트릭 그래프 최적화: 백엔드는 궤적과 지도를 정제하며, DSUG 를 사용하여 동적 아티팩트를 필터링하고 Plücker 광선 - 거리 팩터를 사용하여 메트릭 일관성을 강제합니다.

주요 기여

Plü커 광선 - 거리 팩터: 단안 관측을 전역적으로 일관된 메트릭 좌표계에 고정하여 메트릭 스케일을 피셔 식별 가능하게 만들어 스케일 드리프트를 수학적으로 해결하는 새로운 공식입니다.
동적 장면 불확실성 게이팅 (DSUG): 명시적 시맨틱 분할 없이 확률적으로 동적 방해 요인을 필터링하여 복잡한 환경에서 견고한 메트릭 최적화를 보장하는 소프트 게이팅 메커니즘입니다.
로그 도메인 스케일 적응 필터: 추적과 VFM 추론 사이의 시간적 간극을 연결하는 비동기 스케일 추정기로, 연속적이고 엄격히 양수인 메트릭 스케일 피드백을 보장합니다.
ViT 기반 메트릭 루프 퓨전: 기반 모델 토큰을 사용하여 누적 드리프트를 해결하고 위상 일관성을 보장하는 제로 비용 장소 인식 방법입니다.

실험 결과

PRISM-SLAM 은 엄격한 단안 RGB 입력을 사용하여 TUM RGB-D, 7-Scenes, BONN Dynamic 벤치마크에서 평가되었습니다.

메트릭 정확도: TUM fr1/xyz 시퀀스에서 PRISM-SLAM 은 엄격한 $SE(3)$ 정렬 (스케일 보정 없음) 하에 3.04 cm의 절대 궤적 오차 (ATE) 를 달성했으며, 이는 사후 정렬된 $Sim(3)$ 오차인 2.86 cm와 거의 동일합니다. 이는 사후 보정 없이 시스템이 실제 메트릭 스케일을 복원할 수 있음을 보여줍니다.
동적 성능: 매우 동적인 시퀀스 (예: fr3/walk-xyz) 에서 시스템은 다른 VFM 통합 시스템들이 실패한 곳에서도 견고한 추적을 유지했습니다. BONN Dynamic 데이터셋에서 시스템은 단안 RGB 에서만 메트릭 스케일을 엄격하게 복원하여 활성 RGB-D 하드웨어를 사용하는 방법들과 경쟁력 있는 결과를 달성했습니다.
실시간 성능: 시스템은 단일 NVIDIA RTX 4500 Ada GPU 에서 30 FPS로 작동하며, 검증된 메트릭 출력을 제공하는 동시에 오프라인 3D 가우시안 스플래팅 방법 (예: WildGS-SLAM 의 약 0.5 FPS) 보다 훨씬 우수한 성능을 보입니다.
애블레이션 연구: Plücker 광선 - 거리 팩터를 제거하면 정확도가 가장 크게 저하되었습니다 (+0.89 cm), 이는 스케일 모호성 해결에서의 역할을 확인시켜 줍니다. 동적 환경에서 DSUG 를 비활성화하면 오류가 심하게 급증 (+7.2 cm) 하여 동적 방해 요인 처리에 대한 필요성을 입증했습니다.

중요성 및 주장

PRISM-SLAM 은 사후 오라클 정렬이나 명시적 시맨틱 분할 없이 런타임에서 검증된 메트릭 스케일 궤적을 제공함으로써 기반 모델과 실제 로봇 응용 프로그램 간의 간극을 해소합니다.

이 논문은 기반 모델 출력을 구조화된 베이지안 추론 엔진 내에서 확률적 사전 지식으로 취급함으로써, 엄격한 $SE(3)$ 정렬 하에 평가된 진정한 메트릭 추적을 달성한 최초의 시스템이라고 주장합니다. 심층 기하학적 사전 지식과 엄격한 확률적 필터링의 통합을 통해 단안 SLAM 의 근본적인 한계인 스케일 모호성과 동적 장면 처리 문제를 해결합니다. 이 시스템은 2cm 미만의 정적 정확도로 실시간으로 작동하는 로봇 및 임베디드 AI 를 위한 견고하고 배포 준비가 된 솔루션을 제공합니다.

저자가 인정하는 한계:

질감이 부족한 환경 (예: 7-Scenes) 에서 학습된 특징 프론트엔드를 사용하면 처리량이 약 20 FPS 로 감소합니다.
심각한 가려짐과 대규모 운동이 있는 장면에서는 메트릭 스케일 복원이 일시적으로 저하될 수 있습니다.
추적 파이프라인이 동적 방해 요인을 억제하지만, 다중 뷰 밀집 매핑 모듈은 여전히 이에 취약하여 최종 재구성에서 유령 아티팩트를 유발할 수 있습니다. 향후 작업은 TSDF 통합 단계에 직접 픽셀별 DSUG 가중치를 통합하는 것을 목표로 합니다.