SuperMap: A Spatio-Temporal SLAM System for Visual-Language Navigation

우리 집과 사무실을 누비는 로봇들은 근본적인 문제에 직면해 있습니다. 세상은 정지된 박물관 전시물이 아니라는 점입니다. 세상은 의자가 끌려 나오고, 쓰레기통이 비워지며, 사람들이 문을 통해 지나다니는 살아있는 공간입니다. 기계가 이러한 환경을 안전하게 탐색하고 "아까 식물 근처에 있었던 의자로 가라"와 같은 복잡한 지시를 수행하려면, 단순히 방의 스냅샷만으로는 부족합니다. 로봇에게는 사물이 무엇인지뿐만 아니라, 그 사물들이 시간이 지남에 따라 어떻게 움직이고, 사라지고, 변했는지까지 이해하는 기억력이 필요합니다. 이것이 바로 로봇에게 주변 환경에 대한 지속적이고 진화하는 이해력을 부여하기 위해 전념하는 분야인 시공간 매핑(spatio-temporal mapping)의 영역입니다. 현대 인공지능은 단일 이미지에서 사물을 인식하는 데 매우 능숙해졌지만, 이러한 순간들을 하나의 일관된 장기적인 이야기로 엮어내는 것은 어려운 과제로 남아 있습니다. 이러한 능력이 없다면, 로봇은 5분 전에 보았던 의자를 잊어버리거나 카트가 새로운 위치로 이동했다는 사실을 알아차리지 못해 혼란에 빠지고 임무에 실패할 수 있습니다.

카네기 멜론 대학교의 연구진은 이 문제를 해결하기 위해 '슈퍼맵(SuperMap)'이라 불리는 새로운 시스템을 개발했습니다. 이 시스템은 로봇을 위한 실시간 기억 장치 역할을 하며, 로봇이 움직이고 환경이 변함에 따라 업데이트되는 상세한 4차원 공간 지도를 구축할 수 있게 해줍니다. 변화를 무시하거나 지도를 만들기 위해 몇 시간의 오프라인 처리가 필요한 기존 방식들과 달리, 슈퍼맵은 로봇이 주행하는 동안 즉각적으로 작동합니다. 이 시스템은 거리와 위치의 정밀한 측정과 더 함께, 로봇이 이전에 본 적 없는 특정 물체일지라도 이름으로 사물을 인식하는 능력을 결합합니다. 그 결과, 물건이 어디에 있는지뿐만 아니라 어디에 있었는지, 어디로 가고 있는지, 그리고 어떤 것이 사라졌는지까지 아는 디지털 세계 표현을 만들어냅니다.

이 성과의 핵심은 시스템이 찰나의 모습과 지속적인 사실 사이의 차이를 처리하는 방식에 있습니다. 로봇이 방을 볼 때, 카메라에는 이미지의 흐름이 들어옵니다. 과거에는 물체가 사람이나 벽 뒤로 잠시 가려지면, 로봇의 지도는 종종 해당 물체를 놓쳐 마치 영원히 사라진 것처럼 취급하곤 했습니다. 슈퍼맵은 일관성 중심의 접근 방식을 사용하여 이를 방지합니다. 시스템은 현재의 시야를 자신이 기억하는 내용과 끊임없이 대조합니다. 만약 쓰레기통이 오늘 보이지만 어제도 그곳에 있었다면, 시스템은 이를 지도에 유지합니다. 만약 쓰레기통이 사라졌다면, 시스템은 단순히 그것을 잊어버리는 대신 사라졌음을 기록합니다. 이를 통해 로봇은 사람의 앞을 지나가는 것과 같은 일시적인 차단과, 가구가 다른 방으로 옮겨지는 것과 같은 영구적인 변화를 구분할 수 있습니다.

이 기억을 구축하기 위해 시스템은 세 가지 주요 프로세스를 동시에 실행합니다. 첫째, 센서를 사용하여 벽과 바닥까지의 거리를 높은 정확도로 측정하며 정밀한 3차원 모델을 생성합니다. 둘째, 해당 공간 내의 사물을 식별하고 고유한 정체성과 이름을 부여합니다. 만약 로봇이 "빨간 양동이"를 본다면, 단순히 일반적인 양동이가 아니라 그 특정한 양동이를 기억합니다. 셋-째, 이 사물들을 관계와 이력을 기록하는 네트워크로 연결합니다. '씬 그래프(scene graph)'라고 불리는 이 네트워크를 통해 로봇은 과거에 대해 질문에 답할 수 있습니다. 예를 들어, 카트가 현재는 이동했을지라도 한때 테이블 옆에 있었다는 사실을 기억해낼 수 있습니다. 이러한 능력은 "식물 근처에 있었던 의자로 돌아가라"와 같이 방의 이력에 의존하는 지시를 따르는 데 매우 중요합니다.

연구진은 실제 실내 환경에서 의도적인 변화를 주며 이 시스템이 얼마나 잘 적응하는지 테스트했습니다. 양동이나 안전 표지판 같은 새로운 항목을 추가하고, 식물이나 의자 같은 기존 항목을 제거했습니다. 이 테스트에서 슈퍼맵은 위치를 잃거나 물체를 서로 혼동하지 않고도 새로운 물체의 등장과 기존 물체의 소멸을 성공적으로 추적했습니다. 또한 의자가 시야에서 벗어났다가 다시 돌아온 후에도 그 정체성을 유지했는데, 이는 많은 기존 시스템이 실패했던 부분입니다. 시스템은 10분이라는 긴 시간 동안 발생하는 장기적인 변화도 처리할 수 있음을 입증했으며, 이는 역동적인 공간에서 작동하는 로봇에게 상당한 기간입니다.

단순히 사물을 추적하는 것을 넘어, 이 시스템은 로봇이 언어 명령을 이해하고 행동할 수 있게 합니다. 복잡한 3D 지도를 언어 모델이 읽을 수 있는 구조화된 형식으로 변 변환함으로써, 로봇은 방에 대해 추론할 수 있습니다. 예를 들어, 다른 물체와의 관계를 바탕으로 물체를 찾으라는 요청을 받으면, 로봇은 기억 속의 연결 고리를 추적하여 목표물을 찾아낼 수 있습니다. 실험에서 이 방식은 동일한 화이트보드가 가득한 방에서 상대적 위치를 이해함으로써 특정 화이트보드로 이동하는 것을 가능하게 했는데, 이는 로보가 원시 비디오 영상에만 의존했다면 불가능했을 작업입니다. 시스템은 방대한 양의 비디오 데이터를 처리하는 대신, 압축되고 정리된 지도를 사용하여 빠르게 결정을 내립니다.

슈퍼맵의 성능은 기존의 다른 방법들과 비교하여 측정되었으며, 속도와 정확도 모두에서 상당한 개선을 보여주었습니다. 일부 시스템은 지도를 구축하는 데 몇 분 또는 몇 시간이 걸리는 오프라인 처리를 필요로 하는 반면, 슈퍼맵은 로봇이 움직이는 속도에 맞춰 실시간으로 업데이트하며 작동합니다. 또한 개별 사물을 추적하는 데 있어 다른 방식들보다 뛰어난 성능을 보였으며, 물체가 부분적으로 가려지거나 어려운 각도에서 보일 때도 정체성을 올바르게 식별하고 유지했습니다. 연구진은 기하학적 데이터와 시각적 인식을 교차 검증하는 능력이 성공의 핵심이었으며, 이를 통해 오류를 걸러내고 세계에 대한 안정적인 관점을 유지할 수 있었다고 밝혔습니다.

이 연구는 로봇을 인간의 환경에서 진정으로 유용하게 만드는 데 있어 한 단계 나아간 진전입니다. 시간의 흐름과 공간의 유동성을 존중하는 기억을 로봇에게 부여함으로써, 슈퍼맵은 이전에는 도달할 수 없었던 수준의 인지력을 가지고 로봇이 탐색할 수 있게 합니다. 이 시스템은 오픈 소스로 설계되어, 다른 연구자들이 더 적응력이 높고 신뢰할 수 있는 로봇을 만들기 위해 이를 기반으로 발전시킬 수 있습니다. 로봇이 우리의 가정과 일터로 계속 들어옴에 따라, 과거를 기억하고 현재를 이해하는 능력은 로봇이 우리와 효과적으로 공존하는 데 필수적일 것입니다. 슈퍼맵은 혼란스럽고 변화하는 세상을 기계가 이해하고 신뢰할 수 있는 지도로 바꾸는 기초를 제공하며, 그 미래를 위한 토대를 마련하고 있습니다.