💻 computer science

MoPe: Motion Permanence for Robust Monocular Gaussian Mapping in Dynamic Environments

이 논문은 현재의 단안 가우시안 SLAM 방식이 가진 메모리 부재의 한계를 극복하기 위해 과거의 동적 상태를 시간적으로 전파함으로써 "운동 영속성(Motion Permanence)"을 강제하는 메모리 인식 불확실성 필터인 MoPe를 소개하며, 이를 통해 동적 환경에서 고스트 현상 아티팩트를 크게 줄이고 추적 견고성을 향상시킨다.

원저자: Qixin Xiao

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qixin Xiao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 문제: "건망증"에 걸린 로봇

로봇이 단 하나의 카메라만을 사용하여 번화한 도시의 거리 3D 지도를 만들려고 한다고 상상해 보세요. 이는 마치 화가가 캔버스 앞에서 사람들이 끊임없이 지나다니는 와중에 벽화를 그리려는 것과 같습니다.

현재의 고성능 매핑 시스템(가우시안 스플래팅을 사용하는 시스템 등)은 배경을 그리는 데는 매우 뛰어나지만, 건망증 증상을 겪습니다. 이들은 마치 사람이 눈을 빠르게 깜빡이는 것처럼, 세상을 한 프레임씩 끊어서 바라봅니다.

결함: 만약 보행자가 신발 끈을 묶기 위해 잠시 멈춰 선다면, 로봇의 카메라는 그를 "정지된 상태"로 인식합니다. 로봇은 그 사람의 과거 움직임에 대한 기억이 없기 때문에, "아, 이건 그냥 조각상이나 벽이구나!"라고 생각합니다. 그리고 그 사람을 영구적인 지도 속에 그려 넣어 버립니다.
결과: 그 사람이 걸어가고 나면, 지도에는 있어서는 안 될 "유령", 즉 반투명한 사람의 잔상이 남게 됩니다. 만약 로봇이 이 지도를 사용하여 길을 찾으려 한다면, 실제로는 뚫려 있는 공간인데도 벽이 있다고 착각하거나, 이러한 유령 같은 잔상 때문에 혼란을 겪을 수 있습니다.

핵심 아이디어: "운동 지속성 (Motion Permanence)"

저자들은 '동적(움직임)'이라는 것이 단순히 지금 이 순간 어떻게 보이느냐의 문제가 아니라, 그 대상의 **역사(history)**에 관한 것이라고 주장합니다.

그들은 **운동 지속성(Motion-Permanence)**이라는 개념을 도입했습니다. 다음과 같이 생각해 보세요:

기존 방식: 친구를 볼 때마다 "너 움직이고 있니?"라고 묻습니다. 만약 친구가 잠시 가만히 서 있으면, 당신은 "아니, 너는 조각상이구나"라고 말합니다.
MoPe 방식: 당신은 "나는 5초 전에 이 친구가 걷고 있는 것을 봤어"라고 기억합니다. 설령 친구가 잠시 멈춰 서더라도, 당신은 그가 여전히 "움직이는 사람"이지 조각상이 아니라는 것을 알고 있습니다. 따라서 그가 잠시 멈췄다고 해서 그를 영구적인 배경의 일부로 취급하지 않습니다.

MoPe의 작동 원리: 3단계 필터

MoPe라고 불리는 이 시스템은 로봇의 기억을 관리하는 똑똑한 보안 요원 역할을 합니다. 이 시스템은 크게 세 가지 임무를 수행합니다.

1. 시간 여행 기억 (전파 - Propagation)
과거를 잊는 대신, MoPe는 "무엇이 움직였는지"에 대한 기억을 현재의 카메라 시야로 물리적으로 투영합니다.

비유: 안개가 자욱한 방을 걷고 있다고 상상해 보세요. 당신은 아까 부딪혔던 경험 덕분에 의자가 거기 있다는 것을 알고 있습니다. 설령 안개(현재의 카메라 시야) 때문에 의자가 보이지 않더라도, 당신의 기억은 의자의 위치 정보를 현재의 순간으로 "왜곡(warp)"하여 전달함으로써 당신이 의자에 부딪히지 않게 해줍니다.

2. "안전장치" 문지기 (삽입 - Insertion)
로봇이 지도에 새로운 세부 정보를 추가하려고 할 때, MoPe는 먼저 자신의 기억을 확인합니다.

비유: 클럽의 가드(bouncer)를 상상해 보세요. 만약 어떤 손님(이미지의 픽셀)이 수상해 보인다면(예: 움직일 가능성이 있는 사람처럼 보인다면), 가드는 이렇게 말합니다. "지금은 가만히 있는 것처럼 보여도 상관없어. 난 네가 움직였던 걸 기억해. 넌 들어올 수 없어."
이는 로봇이 움직이는 사람을 영구적인 지도에 "구워 넣는(bake)" 것을 사전에 방지합니다. 아주 작은 디테일을 놓치는 것이, 지도에 유령을 그려 넣는 것보다 훨씬 낫기 때문입니다.

3. 정리반 (사후 정리 - Post-Cleanup)
가끔은 보안 요원을 뚫고 유령이 몰래 들어올 수도 있습니다. 그래서 MoPe는 마지막 점검을 수행합니다. 이 시스템은 지도의 3D 객체(가우시안)들을 살펴보고 묻습니다. "이 객체가 과거에 움직이는 사람처럼 행동했었나?"

비유: 만약 유령이 발견된다면, MoPe는 그것을 격렬하게 삭제하지 않습니다(자칫 실제 벽까지 지워버릴 수 있기 때문입니다). 대신, 라디오 볼륨을 줄이듯 유령의 불투명도를 서서히 낮추어 완전히 사라지게 만듭니다.

결과: 더 깨끗한 지도, 더 매끄러운 주행

논문은 사람들이 걷거나, 멈추거나, 다시 출발하는 실제 데이터셋을 통해 MoPe를 테스트했습니다.

더 나은 추적: 로봇은 사람들이 멈춰 서더라도 혼란을 겪지 않았습니다. 장면이 혼란스러운 상황에서도 중심을 잘 잡았습니다.
유령 제거: 지도가 훨씬 깨끗해졌습니다. 사람이 걸어가고 나면 뒤에 "유령"을 남기지 않았습니다.
더 빠르고 가볍게: 놀랍게도, 지도에 불필요한 "유령" 데이터를 추가하지 않음으로써 시스템은 실제로 메모리를 적게 사용했고 속도도 약간 더 빨라졌습니다. 이는 꼭 필요하지 않은 돌덩이들을 배낭에 담지 않아 배낭이 더 가벼워진 것과 같습니다.

결론

MoPe는 특정 문제를 해결합니다: "가만히 있는" 사람이 사실은 "움직이는" 사람이라는 것을 로봇이 잊어버리는 문제를 해결합니다.

로봇에게 움직임에 대한 기억을 부여함으로써, MoPe는 지도가 안정적이고 신뢰할 수 있는 세상을 나타내도록 보장하며, 잠시 멈춰 섰던 사람들로 인해 생기는 혼란스러운 유령들로부터 자유롭게 만듭니다. 이는 로봇이 자신의 단기 기억 때문에 발을 헛디디지 않고, 복잡하고 변화무쌍한 현실 세계를 항해할 수 있게 하는 한 단계입니다.

기술 요약: MoPe: 동적 환경에서의 강건한 단안 가우시안 매핑을 위한 운동 영속성(Motion Permanence)

1. 문제 정의

로봇의 자율 주행은 동적인 환경에서도 안정적으로 유지되는 장면 표현에 의존합니다. 단안 가우시안 스플래팅(3DGS) SLAM은 고정밀 매핑을 제공하지만, 현재의 불확실성 인지 방식(예: WildGS-SLAM)은 결정적인 "기억 결여(memoryless)" 한계를 가집니다. 이러한 시스템은 각 프레임마다 오직 즉각적인 이미지 증거에만 기반하여 동적 불확실성을 독립적으로 추정합니다.

이러한 접근 방식은 보행자와 같은 동적 객체가 잠시 멈추거나, 속도를 줄이거나, 폐쇄(occlusion) 후 다시 나타날 때 실패합니다. 이러한 순간에 객체의 외형은 정적인 배경 요소와 구별할 수 없을 정도로 유사해집니다. 결과적으로, 시스템은 이 영역에 낮은 불확실성을 잘못 할당하여 동적 콘텐츠가 정적 맵에 "구워지는(baked)" 현상을 허용하게 됩니다. 이는 지속적인 고스팅(ghosting) 아티팩트, 왜곡된 기하 구조, 그리고 하위 로컬라이제이션 및 내비게이션을 저해할 수 있는 잘못된 월드 모델을 초래합니다. 핵심 문제는 표현 수준의 불일치입니다. 즉, '동적임(dynamic-ness)'을 운동 이력에 의해 정의되는 시간적 속성이 아니라, 즉각적인 외형적 특성으로 취급한다는 점입니다.

2. 방법론: MoPe

저자들은 동적 정체성을 일시적인 상태가 아닌 지속적인 시간적 상태로 재정의하는 메모리 인식 불확실성 필터인 MoPe(Motion Permanence)를 제안합니다. 이 방법은 객체의 동적 정체성이 매 프레임마다 새로 결정되는 것이 아니라, 잠시 멈추더라도 시간이 지나도 지속되어야 한다는 원리에 기반하여 작동합니다.

MoPe는 세 가지 밀접하게 결합된 구성 요소를 단안 가우시안 매핑 백본에 통합합니다.

A. 시간적 증거 축적을 통한 운동 영속성

불확실성을 일시적인 프레임별 예측으로 취급하는 대신, MoPe는 시간적으로 전파되는 동적 사후 확률( $p_t$ )을 유지합니다.

측정: 각 프레임에 대해, 픽셀당 불확실성 맵은 동적 증거 점수로 변환됩니다. 이는 가능성이 높은 일시적 클래스에 대한 소프트 플로어(soft floor) 역할을 하는 세그멘테이션 모델의 약한 시맨틱 사전 정보(weak semantic prior)에 의해 선택적으로 보강됩니다.
SE(3) 전파: 변화하는 시점 간에 동적 정체성을 보존하기 위해, 역사적 사후 확률( $p_{t-1}$ )은 추정된 카메라 모션( $T_{t-1 \to t}$ )과 가용 깊이( $D_t$ )를 사용하여 기하학적으로 일관된 SE(3) 워핑(warping)을 통해 현재 프레임으로 투영됩니다.
유계 베이지안 퓨전(Bounded Bayesian Fusion): 워핑된 역사적 상태는 현재 프레임의 증거와 유계 로그 오즈(log-odds) 업데이트를 통해 융합됩니다:
$L_t = \text{clip}(\tilde{L}_{t-1 \to t} + \gamma \cdot \text{logit}(m_t), -c, c)$
$p_t = \sigma(L_t)$
로그 오즈 공간에서의 이러한 축적은 동적으로 행동하는 영역이 내구성이 있는 증거를 반복적으로 축적하도록 보장합니다. 결정적으로, 클리핑 경계( $c$ )는 포화를 방지하여, 객체가 지속적으로 멈춰 서 있을 경우 해당 영역이 "정적" 상태로 회복될 수 있도록 함으로써 영구적으로 정지한 객체에도 대응할 수 있게 합니다.

B. 사후 확률 가이드 최적화 및 가우시안 삽입

지속적인 사후 확률( $p_t$ )은 전체 온라인 파이프라인을 가이드합니다:

트래킹(Tracking): 높은 사후 확률(동적)을 가진 영역의 잔차(residual)는 가중치가 낮아져, 트래커가 일시적으로 정지한 방해 요소에 영향을 받지 않도록 합니다.
매핑(Mapping): 렌더링 목적 함수는 시간적으로 정보가 반영된 불확실성에 의해 조절되며, 지속적인 동적 증거가 있는 영역에 대한 최적화 가중치를 줄입니다.
실패 폐쇄형 삽입(Fail-Closed Insertion): 픽셀은 동적 점수가 임계값 미만으로 유지될 때만 가우시안 삽입 대상으로 허용됩니다. 이 "실패 폐쇄형" 전략은 오염보다 누락을 우선시합니다. 즉, 영역이 불확실하거나 동적일 경우 삽입을 건너뛰어 맵에 고스팅이 구워지는 것을 방지합니다.

C. 가우시안 수준의 사후 클린업

최종 안전 장치로서, 온라인 과정을 통과한 가우시안들은 여러 키프레임에 걸쳐 평가됩니다. 만약 특정 가우시안이 높은 비율의 동적 관측을 보인다면, 해당 가우시안의 불투명도(opacity)는 강제 삭제되는 대신 점진적으로 감쇠(decay)됩니다. 이는 불확실하지만 유효한 배경 구조는 보존하면서, 지속적인 잔상(afterimage)을 억제합니다.

3. 주요 기여

표현 수준의 한계 식별: 본 논문은 단일 프레임 불확실성 추정의 기억 결여 특성이 불확실성 기반 단안 가우시안 매핑의 근본적인 실패 모드임을 식별하고, 동적임(dynamic-ness)이 지속적인 시간적 상태로 취급되어야 한다고 주장합니다.
운동 영속성 도입: 기하학적으로 일관된 SE(3) 전파와 유계 베이지안 로그 오즈 퓨전을 통해 실현된 새로운 원리를 도입했습니다. 이는 간헐적인 움직임과 반복적인 폐쇄 상황에서도 시간적으로 일관된 동적 사후 확률을 유지합니다.
시스템 통합: 트래킹, 매핑, 동적 인지 가우시안 삽입 및 사후 클린업 전반에 걸쳐 이 사후 확률을 통합함으로써, 동적 오염을 억제하고 잔류 고스팅을 줄이는 데 성공했습니다.

4. 실험 결과

MoPe는 Wild-SLAM MoCap 벤치마크, Bonn, 그리고 TUM RGB-D 동적 벤치마크에서 평가되었습니다.

트래킹 강건성: MoPe는 모든 데이터셋에서 최고의 트래킹 정확도(ATE RMSE)를 달성하였으며, WildGS-SLAM 베이스라인 대비 유의미한 개선을 보였습니다 (Wild-SLAM에서 17.4%, Bonn에서 15.6% 개선). 이러한 이득은 기억 결여 가정이 가장 크게 위배되는 간헐적 움직임이 있는 시퀀스에서 가장 두드러졌습니다.
맵 품질 및 아티팩트 억제: MoPe는 고스팅과 잔상을 크게 줄였습니다. iphone_wandering 시퀀스에서, 특히 잔상이 축적되기 쉬운 "테일(tail)" 구간에서 가장 깨끗한 배경 재구성을 생성했습니다. 정성적 결과는 부유하는 잔상 없이 효과적으로 동적 보행자를 제거함을 보여주었습니다.
효율성: 추가된 시간적 로직에도 불구하고 MoPe는 계산 효율적입니다. 시간적 사후 확률은 트래킹에 약 0.3ms만을 추가합니다. 놀랍게도 총 실행 시간은 베이스라인보다 낮았으며(65.3ms vs 69.7ms), 메모리 사용량 또한 감소했습니다(5.3GB vs 5.8GB). 이는 "실패 폐쇄형" 삽입 게이팅이 동적 콘텐츠의 삽입을 거부함으로써 더 가벼운 가우시안 맵을 유지하기 때문입니다.
절제 연구(Ablation): 전체 파이프라인(시간적 퓨전 + 시맨틱 사전 정보 + 삽입 게이팅 + 불투명도 감쇠)이 최상의 결과를 냈습니다. 각 구성 요소는 상호 보완적인 것으로 나타났으며, 가장 강력한 개선은 멈춤과 움직임이 반복되는 인간의 움직임이 있는 시퀀스의 테일 구간에서 확인되었습니다.

5. 의의 및 주장

본 논문은 MoPe가 불확실성 기반 시스템의 특정하고 흔한 실패 모드, 즉 일시적으로 정지하거나 간헐적으로 움직이는 방해 요소에 의해 정적 맵이 오염되는 문제를 해결한다고 주장합니다.

타겟팅된 개선: 저자들은 MoPe가 모든 장면에 대한 포괄적인 개선책은 아니라고 겸허히 명시합니다. 연속적인 움직임(예: 걷는 로봇)이나 정적인 장애물이 많은 시퀀스에서는 보수적인 삽입 전략이 미세한 디테일 재구성을 약간 저하시킬(PSNR/SSIM을 약간 낮춤) 수 있습니다. 그러나 MoPe는 "기억 결여" 가정이 실패하는 지점, 즉 멈춤과 움직임이 반복되는 동적 인간 환경에서 명확한 이득을 제공합니다.
표현 중심의 자율 주행: MoPe의 의의는 동적임을 즉각적인 외형적 단서가 아닌 시간적 속성으로 전환했다는 점에 있습니다. 장면 표현 내에 시간적 동적 상태를 유지함으로써, MoPe는 변화하는 실제 환경에서 로컬라이제이션 및 내비게이션에 사용되는 정적 월드 모델이 동적 방해 요소에 의해 오염되지 않도록 보장하며, 보다 신뢰할 수 있는 표현 중심의 자율 주행을 향한 실질적인 발걸음을 제시합니다.