💻 computer science

TCGSplat: Temporal Confidence Guided 3D Gaussian Splatting for RGB-D SLAM

TCGSplat은 신뢰할 수 없는 관측치를 필터링하기 위해 각 가우시안 프리미티브(Gaussian primitive)에 대한 시간에 따라 진화하는 신뢰도 점수를 유지하고 렌더링함으로써 추적, 매핑 및 루프 폐쇄를 향상시키는 견고한 3D 가우시안 스플래팅 기반의 SLAM 시스템입니다.

원저자: Xingchen Guo, Zhi Liu, Dandan Huang, Xingzhao Wang, Huiji Wang, Huilin Jiang

게시일 2026-08-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xingchen Guo, Zhi Liu, Dandan Huang, Xingzhao Wang, Huiji Wang, Huilin Jiang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇과 증강 현실 안경은 기능을 수행하기 위해 자신이 어디에 있는지, 그리고 주변에 무엇이 있는지를 알아야 합니다. 이를 위해 그들은 SLAM(Simultaneous Localization and Mapping, 동시적 위치 추정 및 지도 작성)이라고 불리는 기술을 사용합니다. 로봇이 방 안을 이동하는 모습을 상상해 보십시오. 로봇은 벽, 가구, 바닥의 디지털 지도를 구축하는 동시에 자신의 위치를 끊임없이 계산해야 합니다. 수년 동안 이러한 시스템은 세상을 표현하기 위해 경직된 기하학적 형상에 의존해 왔습니다. 이 방식은 정확하긴 했지만, 종종 각진 모양으로 보여 실제 환경의 풍부한 색상과 질감을 포착하는 데 실패했습니다. 최근에는 3D 가우시안 스플래팅(3D Gaussian Splatting)이라는 새로운 방법이 등장하여, 컴퓨터가 수백만 개의 작고 흐릿한 3D 타원체를 사용하여 장면을 표현할 수 있게 해주었습니다. 이 접근 방식은 방의 모습을 실시간으로 놀라울 정도로 사실적이고 사진 같은 모습으로 만들어냅니다. 그러나 중대한 문제가 여전히 남아 있습니다. 로봇이 움직임에 따라 센서 노이즈나 갑작스러운 움직임 때문에 디지털 지도의 일부가 흔들리거나 신뢰할 수 없게 된다는 점입니다. 만약 로봇이 이러한 흔들리는 부분을 너무 많이 신뢰하게 되면, 길을 잃거나 왜곡된 지도를 만들 수 있습니다.

장춘 과학기술대학교의 연구진은 이 특정 문제를 해결하기 위해 TCGSplat이라는 새로운 시스템을 개발했습니다. 디지털 지도의 모든 조각을 똑같이 신뢰할 수 있는 것으로 취급하는 대신, 이들의 시스템은 각 작은 3-D 타원체에 시간이 지남에 따라 변하는 '신뢰도 점수(confidence score)'를 부여합니다. 이 점수를 로봇이 특정 지점을 볼 때마다 업데이트되는 신뢰도 등급이라고 생각하십시오. 만약 지도의 한 부분이 여러 번 관찰되었고 일관되게 보인다면, 그 신뢰도 점수는 올라갑니다. 만약 어떤 부분이 새롭거나, 흐릿하거나, 예상치 못하게 변했다면, 그 점수는 떨어집니다. 시스템은 이 점수를 사용하여 서로 다른 영역에 얼마나 많은 주의를 기울일지 결정합니다. 로로봇이 자신의 위치를 파악하려고 할 때, 신뢰도가 높은 영역에 집중하고 흔들리는 영역은 무시합니다. 반대로 지도를 개선하려고 할 때는 신뢰도가 낮은 영역을 수정하는 데 더 많은 노력을 기울입니다. 이 단순하지만 강력한 아이디어 덕분에 로봇은 어렵고 노이즈가 많은 환경에서도 경로를 이탈하지 않고 유지할 수 있습니다.

연구팀은 합성된 실내 장면과 핸드헬드 카메라로 촬영된 실제 기록을 포함한 여러 표준 데이터셋을 통해 시스템을 테스트했습니다. 이 테스트에서 새로운 시스템은 이전 방식들보다 카메라의 경로를 추적하는 데 있어 더 정확하다는 것을 입증했습니다. 실제 실내 영상 세트에서, 이 시스템은 카메라 위치 추적의 평균 오차를 3.37센티미터로 줄였으며, 이는 동일한 3D 가우시안 기술을 사용하는 기존의 선도적인 방법들보다 더 나은 결과였습니다. 연구진은 또한 생성된 지도가 기하학적으로 더 정확할 뿐만 아니라, 더 높은 선명도와 적은 시각적 아티팩트(artifact)를 가져 인간의 눈에 더 잘 보인다는 것을 발견했습니다. 시스템은 "이 장면의 이 부분에 대해 내가 얼마나 확신하는가?"라고 끊임없이 자문하고 그에 따라 행동을 조정함으로써 이를 달성했습니다.

이 연구의 핵심 특징은 시스템이 자신의 이력으로부터 학습하는 방식입니다. 시스템은 단순히 현재의 이미지만을 보고 지도의 특정 부분이 좋은지 결정하는 것이 아닙니다. 대신, 그 지도의 부분이 과거에 어떻게 행동했는지를 기억합니다. 만약 특정 3D 타원체가 오랫동안 안정적이었다면, 시스템은 그것을 더 신뢰합니다. 만약 그 동일한 타원체가 자신의 이력과 일치하지 않는 방식으로 갑자기 튀거나 모양이 변한다면, 시스템은 이를 신뢰할 수 없는 것으로 표시합니다. 이러한 시간적 측면은 매우 중요한데, 이는 로봇이 세상의 실제 변화와 자신의 센서가 만든 실수를 구분할 수 있게 해주기 때문입니다. 연구진은 시간 기반의 신뢰도를 사용함으로써 로봇이 급격한 움직임이나 조명이 열악한 구역과 같은 어려운 상황을 이전보다 훨씬 더 잘 처리할 수 있음을 입증했습니다.

또한 이 연구는 이러한 접근 방식이 속도 면에서 큰 비용을 치르지 않는다는 것을 보여주었습니다. 시스템은 신뢰도를 추적하기 위해 추가적인 계산을 수행하지만, 현대적인 컴퓨터 하드웨어에서 실시간 사용이 가능할 만큼 충분히 빠르게 작동합니다. 각 프레임을 처리하는 데 걸리는 시간은 이전의 최선책들과 비교했을 때 아주 약간 증가했을 뿐이며, 이는 로봇이 여전히 빠르게 움직이고 반응할 수 있음을 의미합니다. 연구진은 이 방법이 단순한 사무실 공간부터 복잡하고 어수선한 공간에 이르기까지 다양한 유형의 환경에서 작동함을 확인했습니다. 신뢰 메커니즘을 통합함으로써, 그들은 3D 가우시안 스플래팅을 더 견고한 내비게이션 도구로 만들었습니다. 이 연구는 로봇이 진정으로 세상을 이해하기 위해서는 단순히 그곳에 무엇이 있는지에 대한 그림뿐만 아니라, 그 그림에 대해 자신이 얼마나 확신하는지에 대한 감각도 필요하다는 것을 시사합니다. 이 새로운 시스템은 그 감각을 제공하며, 결과적으로 현실 세계에서 더 안전하고 신뢰할 수 있는 항법을 이끌어냅니다.

기술 요약: TCGSplat: RGB-D SLAM을 위한 시간적 신뢰도 가이드 기반 3D 가우시안 스플래팅

문제 정의

3D 가우시안 스플래팅(3DGS)은 효율적인 미분 가능한 렌더링과 고충실도 외관 모델링 덕분에 실시간 밀집 SLAM을 위한 유망한 장면 표현 방식이 되었으나, 기존의 3DGS-SLAM 방식들은 중요한 한계를 보입니다. 즉, 이들은 현재의 관측치를 기반으로 가우시안 프리미티브를 최적화할 뿐, 각 프리미티브의 시간 변화에 따른 신뢰도를 명시적으로 모델링하지 못합니다.

온라인 매핑 시나리오에서 개별 가우시안은 관측 빈도가 다르고, 기하학적 파라미터 업데이트의 정도가 다르며, 유효한 관측 피드백의 수준이 변동됩니다. 결과적으로 이들의 신뢰도는 시간이 지남에 따라 진화합니다. 기존 방법들은 고정된 속성이나 즉각적인 관측 잔차(residual)에 의존하여 신뢰도를 추정하는 경우가 많아, 프리미티브의 시간적 진화를 포착하지 못합니다. 이러한 명시적인 시간적 신뢰도 모델링의 부재는 센서 노이즈, 폐쇄(occlusion), 동적 방해 요소가 존재하는 까다로운 환경에서 신뢰할 수 없는 가우시안 프리미티브가 카메라 트래킹, 맵 최적화 및 루프 클로저에 악영향을 미치는 결과를 초래할 수 있습니다.

방법론

저자들은 각 가우시안 프리미티브에 대해 시간에 따라 진화하는 신뢰도 점수를 유지하고 활용하도록 설계된 신뢰도 인식 3DGS-SLAM 시스템인 TCGSplat(Temporal Confidence Guided Splatting)을 제안합니다. 이 시스템은 서브맵 기반 3DGS-SLAM 프레임워크(구체적으로 LoopSplat을 확장)를 기반으로 구축되었으며, 세 가지 주요 단계로 작동하는 시간적 신뢰도 업데이트 모듈을 도입합니다.

1. 가우시안별 시간적 신뢰도 모델링

TCGSplat은 각 가우시안 $G_i$ 에 대해 신뢰도 상태 $p_i^t \in [p_{min}, 1]$ 와 이력 상태 벡터 $h_i^t$ 를 유지합니다. 신뢰도는 시간적 감쇠(decay)와 관측 피드백의 조합을 사용하여 온라인으로 업데이트됩니다:

시간적 감쇠 (Temporal Decay): 오래된 가우시안이 지배적인 상태가 되는 것을 방지하기 위해, 신뢰도는 감쇠 시간 상수 $\tau$ 에 의해 하한값 $p_{min}$ 을 향해 자연스럽게 감소합니다.
관측 피드백 (Observation Feedback): 시스템은 신뢰도를 강화하거나 페널티를 부여하기 위해 두 가지 단서를 평가합니다:
- 기하학적 안정성 (Geometric Stability): 이전 매핑 단계와 비교하여 위치, 스케일, 회전의 변화량을 가중 합산한 "자기 거리(self-distance)"( $d_i^t$ )를 계산합니다. 이는 과거 자기 거리의 지수 이동 평균(EMA) 베이스라인( $\bar{d}_i^{t-1}$ )과 비교됩니다. 현재의 변화가 역사적 평균보다 작으면 안정성을 나타내고, 크면 불안정성을 나타냅니다.
- 렌더링 잔차 (Rendering Residuals): 가우시안의 투영 중심점에서 샘rgb-D 잔차를 샘플링하여 관측 품질 점수( $Q_{r,i}^t$ )를 생성합니다.
업데이트 메커니즘: 가우시안이 안정성(낮은 기하학적 변화)과 낮은 렌더링 잔차를 보일 때 양의 흥분(positive excitation)이 적용됩니다. 큰 기하학적 편차가 발생하면 음의 페널티가 적용됩니다. 신뢰도는 감쇠된 상태와 이러한 흥분 및 페널티 항을 결합하여 $p_{min}$ 과 1 사이로 제한되어 업데이트됩니다.
서브맵 교정 (Submap Calibration): 서브맵을 저장하기 전, 서브맵 내에서 서로 다른 시점에 생성된 가우시안들 간의 형평성을 보장하기 위해, 시스템은 새로 생성된 프리미티브가 놓친 감쇠 업데이트 횟수를 보상합니다.

2. 신뢰도 가이드 최적화

가우시안별 신뢰도 점수는 표준 가우시안 알파 합성(alpha compositing)을 사용하여 이미지 공간 신뢰도 맵( $P_t$ )으로 렌더링됩니다. 이 맵은 세 가지 핵심 프로세스를 가이드합니다:

트래킹 (Tracking): 신뢰도 맵은 픽셀 단위 트래킹 가중치를 구성하는 데 사용됩니다. 신뢰도가 높은 가우시안에 의해 지원되는 영역은 포즈 추정을 위한 강력한 제약을 제공하며, 신뢰도가 낮은 영역은 무시되지는 않지만 가중치가 낮아집니다(최소 가중치 $w_{min}$ 을 통해).
매핑 (Mapping): 시스템은 신뢰도가 낮은 영역에 더 높은 재구성 가중치를 할당하여, 충분히 정교해지지 않은 프리미티브의 추가 최적화를 유도합니다. 반대로, 성숙하고 신뢰도가 높은 영역은 보수적인 업데이트를 받습니다. 또한, 고신뢰도의 성숙한 가우시안이 노이즈에 의해 불안정해지는 것을 방지하기 위해 비정상적인 기하학적 증가를 억제하는 **안정성 손실(stability loss)**이 도입됩니다.
그래디언트 스케일링 (Gradient Scaling): 기하학적 파라미터(중심, 스케일, 회전)에 대한 그래디언트 스케일링 인자는 신뢰도에 반비례합니다. 신뢰도가 낮은 가우시안은 더 강한 기하학적 업데이트를 받는 반면, 신뢰도가 높은 가우시안은 더 보수적으로 최적화됩니다.

3. 루프 클로저 뷰포인트 선택

루프 클로저 과정에서 시스템은 LoopSplat의 표준 서브맵 검색 및 등록 파이프라인을 유지합니다. 그러나 시스템은 시간적 신뢰도를 활용하여 **후보 뷰포인트를 재순위화(rerank)**합니다. 신뢰할 수 없는 맵 영역(높은 불투명도 영역에서의 낮은 평균 신뢰도)이 지배적인 뷰포인트는 디스크립터 점수에서 페널티를 받아, 서브맵 등록이 가장 신뢰할 수 있는 관측치에 의존하도록 보장합니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

가우시안별 시간적 신뢰도 모델: 시간적 감쇠, 이력 인식 기하학적 피드백 및 RGB-D 렌더링 잔차를 통해 업데이트되는 독립적인 신뢰도 상태를 유지하는 새로운 온라인 3DGS-SLAM 프레임워크를 제안합니다.
신뢰도 가이드 최적화 프레임워크: 가우시안별 신뢰도를 이미지 공간 가중치로 렌더링하는 시스템입니다. 이 메커니즘은 트래킹 중에는 신뢰할 수 있는 영역을 강조하고, 매핑 중에는 낮은 신뢰도 영역에 최적화 노력을 할당하며, 루프 클로저를 위한 뷰포인트 선택을 지원합니다.
포괄적인 평가: Replica, TUM RGB-D, ScanNet 데이터셋에 대한 광범위한 실험을 통해 제안된 접근 방식의 효과(트래킹 정확도, 재구성 품질, 렌더링 품질 측면)를 입증했습니다.

실험 결과

저자들은 세 개의 데이터셋에 대해 최첨단 신경 임플리시트(neural implicit) SLAM 방식(예: NICE-SLAM, GO-SLAM) 및 3DGS 기반 방식(예: SplaTAM, LoopSplat, VarSplat)과 TCGSplat을 비교 평가했습니다.

트래킹 정확도: TCGSplat은 절대 궤적 오차(ATE RMSE)에서 경쟁력 있거나 우수한 결과를 달성했습니다.
- Replica: 평균 ATE 0.25 cm로, VarSplat과 대등하며 LoopSplat보다 약간 우수합니다.
- ScanNet: 3DGS 기반 방법 중 가장 좋은 평균 결과(7.6 cm)를 달성하여, LoopSplat(8.5 cm)과 VarSplat(7.9 cm)의 오차를 줄였습니다.
- TUM RGB-D: 비교된 3DGS-SLAM 방법 중 가장 낮은 평균 ATE(3.37 cm)를 기록했습니다.
재구성 품질: Replica 데이터셋에서 TCGSplat은 평균 Depth L1 0.85 및 F1 점수 90.2%를 달성하여, 서브맵 기반 베이스라인들과 경쟁력 있는 품질을 보이면서도 까다로운 장면에서 깊이 일관성을 개선했습니다.
렌더링 품질: TCGSplat은 세 데이터셋 모두에서 가장 높은 PSNR(Replica에서 37.84 dB, TUM에서 22.83 dB, ScanNet에서 24.95 dB)과 경쟁력 있는 SSIM 및 LPIPS 점수를 달了했습니다.
런타임 효율성: 신뢰도 렌더링 및 업데이트로 인한 추가적인 오버헤드가 발생함에도 불구하고, TCGSplat은 여전히 효율적입니다. RTX 4090 기준으로, 매핑 반복 시간은 11.28 ms(LoopSplat)에서 14.82 ms로, 트래킹은 11.20 ms에서 12.23 ms로 증가했으나, 반복당 VarSplat보다 여전히 효율적입니다.

의의 및 주장

본 논문은 시간적 신뢰도 모델링이 온라인 3DGS-SLAM에서 기하학 및 외관(appearance)에 대한 유용한 보완책이 될 수 있음을 TCGSplat을 통해 보여준다고 주장합니다. 개별 프리미티브의 신뢰도가 반복적인 관측과 최적화를 통해 어떻게 진화하는지를 명시적으로 모델링함으로써, 시스템은 센서 노이즈와 까다로운 카메라 움직임에 대한 강건성을 향상시킵니다.

저자들은 자신들의 접근 방식이 단순히 트래킹을 개선하는 데 그치지 않고, 최적화된 가우시안 표현 자체를 향상시켜 더 우수한 렌더링 품질을 이끌어낸다고 단언합니다. 어블레이션 연구(ablation studies)는 신뢰도 가이드 구성 요소(매핑, 트래킹 및 루프 뷰포인트 재순위화)가 상호 보완적인 개선을 제공하며, 전체 시스템이 최상의 포즈 추정 결과를 달성함을 확인시켜 줍니다. 이 연구는 시간적으로 진화하는 신뢰도 점수를 포함하는 것이 시스템으로 하여금 안정적이고 성숙한 맵 요소와 불안정한 새로운 관측 영역을 구분하게 함으로써, 최적화 자원을 더욱 효과적으로 할당할 수 있게 한다는 점을 시사합니다.