Language-Guided Semantic Navigation with Monocular SLAM and Vision-Language Models

당신의 지저로 된 침실을 항해하는 로봇을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 "선반 위의 빨간 책을 찾아줘"와 같은 간단한 명령을 내리고 싶습니다. 하지만 로봇은 의미를 보지 못합니다. 그것은 단지 픽셀의 덩어리만을 볼 뿐입니다. 로봇이 이를 이해하려면 두 가지 초능력이 함께 작동해야 합니다. 첫째, 로봇은 벽, 바닥, 가구가 3D 공간의 어디에 위치해 있는지 아는 정신적 지도가 필요합니다. 이는 충돌 없이 이동하기 위함입니다. 이것을 SLAM(Simultaneous Localization and Mapping)이라고 부르며, 기본적으로 로봇이 "나는 내가 어디에 있는지 알고, 방이 어떻게 생겼는지 안다"라고 말하는 방식입니다. 둘째, 언어 능력이 필요합니다. 로봇은 "빨간 책"이 단순한 모양이 아니라, 특정 색상과 이름을 가진 구체적인 사물이라는 것을 이해해야 합니다. 여기서 시각-언어 모델(Vision-Language Models)이 등장합니다. 이들은 사진을 보고 문장을 읽은 뒤, 그 둘을 연결할 수 있는 AI 두뇌입니다.

과학자들이 던져온 핵심 질문은 다음과 같습니다: 레이저 스캐너나 깊이 카메라 같은 비싸고 무거운 센서 없이도 저렴하고 가벼우면서도 똑똑하게 작동하는 로봇을 만들 수 있을까? 오늘날 대부분의 로봇은 거리를 감지하기 위해 "제3의 눈"(깊이 센서와 같은)이 필요하며, 이로 인해 부피가 커지고 비싸집니다. 이 논문은 로봇이 단 하나의 표준 카메라(스마트폰에 있는 것과 같은)와 이를 해결할 스마트한 AI 두뇌만으로도 충분히 해낼 수 있는지 묻습니다. 연구진은 로봇이 언어를 이해할 만큼 똑똑하면서도, 저렴한 하드웨어에서 실행될 수 있을 만큼 가벼운 시스템을 구축할 수 있는지 확인하고자 했습니다.

---

이 논문의 핵심 아이디어: 하나의 눈과 거대한 두뇌를 가진 로봇

이 논문은 단 하나의 카메라와 매우 스마트한 AI만을 사용하여 실내 공간을 항해하는 새로운 방법을 제시합니다. 저자인 룽-수안 우(Rong-Syuan Wu)와 메이-융 첸(Mei-Yung Chen)은 "경량화되고 모듈화된" 프레임워크를 구축했습니다. 이것은 마치 모든 조각이 완벽하게 맞물리는 커스텀 레고 세트를 만드는 것과 같습니다. 완전히 새로운 카메라나 새로운 두뇌를 발명하는 대신, 그들은 두 가지 기존의 강력한 도구를 가져와서 결합하여 인간의 음성 명령을 따를 수 있는 로봇을 만들어냈습니다.

시스템은 세 가지 주요 부분으로 구성됩니다. 첫째, **기하학적 백본(Geometric Backbone)**은 MASt3R-SLAM이라는 도구를 사용합니다. 이것을 로봇의 평형감각과 공간 인지 능력이라고 상상해 보세요. 이 도구는 단일 카메라로부터 들어오는 비디오 스트림을 받아 실시간으로 방의 조밀한 3D 지도를 구축합니다. 마치 로봇이 레이저 스캐너 없이도 의자 다리와 테이블 모서리가 어디에 있는지 파악하며 실시간으로 방의 3D 조각상을 그려내는 것과 같습니다.

둘째, 시스템은 시각-언어 모델(VLM)로 구동되는 **의미론적 두뇌(Semantic Brain)**를 가지고 있습니다. 연구진은 Gemma 3와 Qwen2.5-VL이라는 두 가지 특정 AI 모델을 사용했습니다. 첫 번째 부분이 로봇의 눈과 공간감이라면, 이 부분은 로봇의 어휘력입니다. 로봇이 비디오의 핵심 순간(키프레임)을 볼 때, 로봇은 AI에게 "이것은 무엇인가?"라고 묻습니다. AI는 단순히 "물체"라고 말하는 것이 아니라, "빨간 토스터기", "나무 의자", 또는 "어질러진 종이 더미"라고 말할 수 있습니다. 이것을 "오픈 보캐블러리(open-vocabulary)" 이해라고 하며, 이는 로봇이 말로 설명할 수만 있다면 이전에 본 적 없는 물체라도 인식할 수 있음을 의미합니다.

마지막으로 **내비게이션 파일럿(Navigation Pilot)**이 있습니다. 이 부분은 당신의 말을 듣는 부분입니다. 만약 당신이 "토스터기를 찾아가"라고 말하면, 시스템은 그 문장을 지도상의 위치로 변환합니다. 시스템은 구축된 3D 지도를 살펴보고, "토스터기"라고 표시된 지점을 찾은 다음, 로봇이 충돌하지 않고 그곳에 도달할 수 있는 경로를 계획합니다.

테스트 방법: 시뮬레이션과 실제 로봇

팀은 단순히 아이디어만 제시한 것이 아니라, 두 가지 방식으로 직접 구축하고 테스트했습니다. 첫 첫째, 환경을 완벽하게 제어할 수 있는 비디오 게임 세계와 같은 컴퓨터 시뮬레이션인 AI2-THOR를 사용했습니다. 둘째, 단일 USB 웹캠이 달린 작은 바퀴 달린 로봇인 터틀봇3(TurtleBot3)에 시스템을 탑려했습니다. 그들은 가구와 가전제품이 있는 복잡한 사무실을 돌아다니며, 깊이 센서나 추가 레이저, 혹은 미리 프로그래밍된 지도 없이 오직 카메라만을 사용하여 주행했습니다.

결과는 시스템이 작동한다는 것을 보여주었습니다. 실제 환경 테스트에서 로봇은 성공적으로 방의 3D 지도를 구축했으며, "전자레인지는 어디에 있나요?"와 같은 질문에 답하거나 텍yl 명령에 따라 특정 물체로 이동할 수 있었습니다. 연구진은 지도의 상세함과 로봇이 생각하는 속도 사이에서 적절한 균형을 맞출 수 있다는 것을 발견했습니다.

트레이드오프: 속도 vs 상세함

이 논문에서 가장 흥란한 발견 중 하나는 AI의 지능과 작동 속도 사이의 트레이드오프입니다. 연구진은 다양한 크기의 AI 모델과 다양한 유형의 질문을 테스트했습니다.

• 속도: "이 물체는 무엇입니까?"(예: "냉장고")와 같이 단순하고 짧은 질문을 던졌을 때, 시스템은 매우 빨랐습니다. Gemma-3-4B라는 더 작은 모델을 사용한 가장 빠른 설정은 답변을 내놓는 데 평균 0.52초가 걸렸습니다.
• 상세함: "배경에 있는 물체를 설명해 주세요"와 같이 더 자세한 정보를 요구하면 시간이 더 오래 걸렸습니다. 더 큰 모델인 Qwen2.5-7B를 사용하고 상세한 프롬프트를 입력한 가장 느린 설정은 평균 5.27초가 걸렸습니다.

이는 만약 로봇이 즉각적으로 반응하기를 원한다면 질문을 짧게 유지하고 더 작은 AI 두뇌를 사용해야 한다는 것을 알려줍니다. 반대로 로봇이 매우 상세하게 설명하기를 원한다면 조금 더 기다려야 합니다.

그들은 또한 3D 지도의 품질을 살펴보았습니다. 그들은 두 가지 모드를 비교했습니다: "오프라인(Offline)"(로봇이 사후에 전체 비디오를 처리하는 방식)과 "실시간(Real-Time)"(진행하면서 처리하는 방식)입니다.

• 오프라인 모드: 이 모드는 입방미터당 40,492.05개의 포인트를 생성하는 매우 조밀하고 고품질인 지도를 만들었습니다. 마치 방의 고해상도 사진과 같았습니다.
• 실시간 모드: 이 모드는 입방미터당 14,663.76개의 포인트로 덜 상세했지만, 초당 약 5~6 프레임을 처리하며 로봇이 계속 움직일 수 있을 만큼 충분히 빨랐습니다.

이것이 미래에 갖는 의미

이 논문은 이러한 접근 방식이 로봇을 더 비싸게 만들지 않으면서도 더 똑똑하게 만드는 실용적인 방법이라고 결론짓습니다. 단 하나의 카메라와 현대적인 AI를 사용함으로써, 그들은 로봇이 언어를 이해하고 복잡한 방을 항해할 수 있음을 보여주었습니다. 저자들은 이것이 병원이나 가정에서 도움을 줄 수 있는 서비스 로봇을 위한 "비용 효율적인 경로"라고 제안합니다.

하지만 논문은 이것이 아직 모든 문제를 해결하는 마법 같은 해결책은 아니라는 점을 주의 깊게 언급합니다. 시스템은 수행된 테스트에서는 잘 작동했지만, 저자들은 향후 사용을 위해 AI가 지연되지 않도록 더 빠르게 만들어야 하며, 훨씬 더 혼란스러운 실제 환경에서도 테스트하고 싶다고 지적했습니다. 그들은 또한 더 견고하게 만들기 위해 나중에 더 많은 센서를 추가할 계획이지만, 현재로서는 단 하나의 카메라와 거대한 언어 모델이 항해하는 로봇의 핵심적인 역할을 할 수 있음을 증명했습니다.