Real-Time RGB-D SLAM with Gaussian Scene Representation for Dynamic Environments

당신이 색상과 깊이(depth)를 모두 볼 수 있는 카메라를 사용하여 방의 완벽한 3D 홀로그램을 만들려고 한다고 상상해 보십시오. 이것은 로봇과 자율주행차가 자신이 어디에 있는지, 그리고 주변 세계가 어떻게 생겼는지를 알게 해주는 초능력인 SLAM(Simultaneous Localization and Mapping, 동시적 위치 추정 및 지도 작성)의 세계입니다. 오랫동안 이러한 시스템은 움직임이 없는 조용하고 정지된 방에서 가장 잘 작동했습니다. 하지만 실제 세상은 무질서합니다. 사람들이 지나다니고, 의자가 밀려나고, 강아지가 바닥을 가로질러 뛰어다닙니다. 로봇이 움직이는 물체를 지도로 만들려고 하면 혼란에 빠집니다. 로봇은 지나가는 사람을 벽의 일부라고 생각하거나, 벽 자체가 움직이고 있다고 생각합니다. 이는 지도를 흔들리고 결함이 있게 만듭니다.

이를 해결하기 위해 과학자들은 **가우시안 스플래팅(Gaussian Splatting)**이라는 영리한 기술을 사용하기 시작했습니다. 지도를 딱딱한 블록이나 와이어프레임으로 구축하는 대신, 이들은 색을 입히고 모양을 만들 수 있는 수백만 개의 작고 뭉글뭉글한 3D "구름"(가우시안)으로 지도를 만듭니다. 이를 통해 지도는 믿기 힘들 정도로 사실적으로 보이며, 로봇은 어떤 각도에서도 즉각적으로 세상을 볼 수 있습니다. 하지만 이 화려한 구름들을 사용하더라도, 사람이 장면 속을 걸어 지나가면 로봇은 실수로 벽 위에 "사람 구름"을 뿌리게 되어, 지도를 망치는 유령 같은 잔상(artifact)을 만들어냅니다. 큰 질문은 이것입니다: 전체 시스템을 다시 구축하거나 속도를 늦추지 않고 어떻게 지도를 깨끗하게 유지하고 로봇을 안정적으로 유지할 것인가?

로봇의 눈을 위한 "고스트 비-곤(Ghost-B-Gone)" 필터

이 논문은 움직이는 사람들 때문에 로봇이 혼란에 빠지지 않도록, 역동적이고 분주한 환경에서 로봇이 지도를 만드는 것을 도와주는 영리하고 새로운 방법을 소개합니다. 가천대학교의 이채민, 조해민 저자는 움직이는 물체(예: 사람)가 로봇의 지도에 들어오는 것을 사전에 차단하는 클럽의 보안 요원처럼 작동하는 가벼운 "프런트엔드(front-end)" 필터를 제안합니다.

문제점: 기계 속의 "유령"
당신이 아름다운 그림을 사진으로 찍으려 하는데, 친구가 계속 렌즈 앞을 지나간다고 상상해 보십시오. 만약 당신이 계속 사진을 찍고 그것들을 쌓아서 3D 모델을 만든다면, 당신의 친구는 그림 앞에 떠 있는 흐릿하고 투명한 유령처럼 나타날 것입니다. 로봇 매핑의 세계에서도 정확히 이런 일이 일ند어납니다. 로봇이 가우시안 스플래팅을 사용하여 지도를 만들 때, 로봇은 지금 보고 있는 것과 잠시 전의 것을 일치시키려고 노력합니다. 만약 사람이 움직이고 있다면, 로봇은 혼란에 빠집니다. 로봇은 사람의 팔을 그 뒤에 있는 벽과 일치시키려 하거나, 벽이 움직이고 있다고 생각합니다. 이는 지도에 "유령" 구조물을 생성하고, 마치 술 취한 선원이 직선을 걷는 것처럼 로봇의 경로(궤적)를 흔들리게 하고 드리프트(drift)하게 만듭니다.

해결책: "출입 금지" 표지판
저자들의 해결책은 간단하지만 효과적입니다: 움직이는 것들을 들여보내지 마십시오.

로봇의 두뇌(로봇이 어디에 있는지 계산하는 복잡한 수학)를 고치려고 노력하는 대신, 그들은 로봇이 지도를 만들기 바로 직전인 맨 앞 단계에 필터를 배치합니다. 작동 방식은 다음과 같습니다:

1. 감시하는 눈 (세그멘테이션/Segmentation): 로봇은 빠른 AI 모델(YOLACT라고 불림)을 사용하여 카메라 이미지를 보고 보이는 모든 사람 주변에 즉각적으로 마스크(mask)를 그립니다. 이는 마치 로봇이 방 안의 모든 사람에게 "출입 금지" 표지판을 붙이는 것과 같습니다.
2. 지우개 (깊이 마스킹/Depth Masking): 그런 다음 로봇은 자신의 깊이 센서(물체가 얼마나 멀리 있는지 알려주는 장치)를 확인합니다. "출입 금지" 표지판이 있는 곳마다 로봇은 깊이 데이터를 지워버립니다. 이는 효과적으로 "여기에 사람이 보이지만, 나는 이 공간이 비어 있는 것처럼 간주하겠다"라고 말하는 것입니다.
3. 깨끗한 구축 (가우시안 매핑/Gaussian Mapping): 이제 로봇은 오직 정적인 것들(벽, 바닥, 가구)만을 사용하여 3D 가우시안 지도를 구축합니다. 움직이는 사람들이 지도가 만들어지기 전에 지워졌기 때문에, 그들은 3D 구름의 일부가 되지 않습니다. 유령도, 결함도 없습니다.

연구 결과
연구진은 사람들이 책상 주변을 걷거나 의자에 앉아 있는 까다로운 시퀀스를 포함하여 여러 표준 로봇 데이터셋을 통해 이 아이디어를 테스트했습니다.

• 더 나은 안정성: 사람이 방을 가로질러 걷는 장면(fr3_walking_xyz 시퀀스)과 같이 움직임이 많은 장면에서, 새로운 방식은 로봇의 경로 오차를 무려 67.0% 줄였습니다. 로봇은 경로를 벗어나지 않고 궤도를 유지했습니다.
• 더 깨끗한 지도: 3D 재구성 결과물을 살펴보았을 때, 필터가 없는 기본 방식(baseline)은 가구에 붙어 있는 사람의 "유령" 덩어리들을 보여주었습니다. 반면, 새로운 방식은 가구가 완벽하게 보이고 사람은 사라진 깨끗하고 선명한 지도를 만들어냈습니다.
• 속도가 중요합니다: 팀은 이 "보안 요원"을 추가함으로써 로봇이 느려질까 봐 걱정했습니다. 그들은 이 시스템이 여전히 실시간으로 실행되며, 평균 약 **26.91 FPS(초당 프레임 수)**를 기록한다는 것을 발견했습니다. 이는 로봇이 움직이면서 동시에 생각하기에 충분히 빠른 속도입니다.

주의점: 너무 많이 지우지 마십시오
논문은 또한 작은 결점도 지적합니다. 만약 로봇이 사람들이 아주 가만히 앉아 있는 방(fr3_sitting_static 시퀀스)에 있다면, 필터가 실수로 그들까지 지워버릴 수 있습니다. 로봇은 자신의 위치를 파악하기 위해 약간의 데이터 포인트가 필요한데, 앉아 있는 사람을 지워버리면 가끔 로봇의 위치 정확도가 그냥 사람을 무시했을 때보다 약간 낮아질 수 있습니다. 이는 트레이드오프(trade-off)입니다: 필터는 바쁘고 움직임이 많은 장면에는 훌륭하지만, 상황이 차분할 때는 너무 공격적으로 작동하지 않도록 주의해야 합니다.

이것이 중요한 이유
이 연구는 움직이는 사람들을 처리하기 위해 로봇의 두뇌를 완전히 재설계할 필요가 없다는 것을 시사합니다. 단지 앞문에 스마트하고 가벼운 필터를 설치하면 됩니다. 수학적 계산을 망치기 전에 동적인 물체들을 제거함으로써, 로봇은 사람들이 바로 앞에서 뛰거나 걷거나 춤을 추고 있을 때조차도 세상에 대한 안정적이고 고품질의 지도를 구축할 수 있습니다. 저자들은 이 접근 방식이 속도를 희생하지 않으면서도 복잡한 실제 세상에서 로봇을 더 견고하게 만들 수 있는 실용적인 방법임을 보여줍니다.