Hybrid Visual Perception and LLM Framework for Service Robot Planning and Navigation

서비스 로봇은 더 이상 미래의 개념만이 아닙니다. 이들은 병원, 호텔, 공공장소에 나타나 사람들을 안내하고 간단한 잡무를 수행하는 임무를 맡기 시작했습니다. 이 기계들이 진정으로 유용해지기 위해서는 단순히 미리 프로그래밍된 경로를 따르는 것 이상의 능력이 필요합니다. 이들은 인간이 무엇을 요청하는지 이해해야 하고, 장애물을 피하거나 특정 물건을 찾기 위해 주변 세상을 보아야 하며, 그 후 업무를 완수하기 위해 어떻게 움직일지 결정해야 합니다. 오랫동안 과제는 언어 이해, 환경 인지, 그리고 움직임 계획이라는 이 세 가지 능력을 하나의 시스템으로 결합하여, 도움을 줄 만큼 똑똑하면서도 로봇 자체의 온보드 컴퓨터에서 실행될 수 있을 만큼 작고 빠르게 만드는 것이었습니다.

수년 동안 연구자들은 이 문제를 해결하기 위해 모든 것을 한 번에 처리하려는 거대하고 통합된 인공지능 시스템을 구축하려고 노력해 왔습니다. 흔히 시각-언어 모델(vision-language models)이라 불리는 이 시스템들은 사진을 보면서 동시에 문장을 읽을 수 있기 때문에 매우 강력합니다. 하지만 이들은 매우 무거워서, 소형 배터리 구동 로봇 내부에는 들어갈 수 없는 엄청난 양의 컴퓨팅 자원을 요구합니다. 이는 딜레마를 생성합니다. 즉, 복잡한 지시를 이해할 만큼 똑똑하지만 실시간으로 반응하기에는 너무 느린 로봇이 되거나, 혹은 빠르지만 자신이 보고 있는 것을 이해하기에는 너무 멍청한 로봇이 되는 것입니다.

인도네시아, 일본, 벨기에의 연구진은 다른 방식의 돌파구를 제안했습니다. 하나의 거대한 뇌가 모든 것을 하도록 강요하는 대신, 그들은 서로 대화하는 두 개의 특화된 부분으로 업무를 나누었습니다. 그들의 새로운 프레임워크에서는 빠르고 가벼운 시각 시스템이 물체를 포착하는 일을 담당하고, 별도의 언어 모델이 지시를 이해하고 계획을 세우는 일을 담당합니다. 이러한 분리는 로봇이 거대한 외부 서버를 필요로 하지 않고도 임베디드 컴퓨터에서 구동될 수 있게 해줍니다. 연구진은 이 접근 방식을 공공 건물을 안내하도록 설계된 가이드 로봇에 테스트했으며, 업무를 분리함으로써 로봇이 복잡한 명령을 이해하고, 물체를 찾고, 특정 위치로 이동하는 것을 높은 정확도로 수행하면서도 일체형 시스템보다 훨씬 빠르게 반응할 수 있음을 발견했습니다.

그들이 사용한 로봇은 표준 모바일 베이스를 기반으로 제작되었으나, 단일 카메라와 '젯슨 오린 나노(Jetson Orin Nano)'라고 알려진 소형 컴퓨터 칩을 장착했습니다. 이 칩은 현대적인 소프트웨어를 실행할 수 있을 만큼 강력하면서도, 벽 콘센트에 연결된 채로 움직이지 않고 자유롭게 움직여야 하는 로봇에 들어갈 수 있을 만큼 작습니다. 연구진은 "앞쪽 사무실로 가서 사람을 찾아라"와 같은 인간의 자연어 명령을 수용하도록 시스템을 프로그래닝했습니다. 로봇이 이러한 명령을 받으면, 시스템의 언어 부분은 이를 단계별 목록으로 분해합니다. 로봇이 특정 위치로 이동한 다음 사람을 찾아야 한다는 것을 결정하는 것입니다. 결정적으로, 언어 부분은 시각 시스템에게 무엇이 중요할지 추측하게 하는 대신, 무엇을 찾아야 하는지를 정확하게 알려줍니다.

이러한 역할 분담이 시스템 속도의 핵심입니다. 전통적인 일체형 시스템에서는 컴퓨터가 이미지 전체와 문장 전체를 동시에 처리해야 하므로 시간이 오래 걸립니다. 이 새로운 설정에서는 언어 모델이 로봇이 "사람"을 찾아야 한다고 빠르게 결정한 다음, 시각 탐지기에 해당 특정 물체를 찾으라는 단순하고 짧은 지시를 보냅니다. 시각 탐지기는 매우 빠르게 설계되어 카메라 피드를 스캔하고 사람을 발견했는지 보고합니다. 시각 시스템이 방 안의 모든 것을 분석하는 데 시간을 낭비하지 않고, 언어 시스템이 픽셀을 해석하는 데 시간을 낭비하지 않기 때문에 전체 과정은 훨씬 더 빠르게 진행됩니다. 연구진은 이 속도 차이를 측정했으며, 시스템이 로컬에서 실행되느냐 클라우드 서버에 연결되느냐에 따라 이 분리형 시스템이 일체형 시스템보다 3배에서 20배 더 빠르다는 것을 발견했습니다.

이 접근 방식이 실제 세상에서 실제로 작동하는지 확인하기 위해, 팀은 일련의 테스트를 수행했습니다. 먼저, 가장 가까운 방이나 앞쪽 사무실로 가라는 식의 이동 명령만을 따르는 로봇의 능력을 테스트했습니다. 이 테스트에서 로봇은 경로를 성공적으로 계획하고 96%의 확률로 정확한 목적지에 도착했습니다. 다음으로, 시각 구성 요소를 추가하여 로봇에게 특정 위치로 가서 소화전, 의자 또는 사람과 같은 특정 물체를 찾도록 했습니다. 로봇이 항해한 후 검색까지 해야 하는 이러한 더 복합적인 시나리오에서 시스템은 84%의 성공률을 보였습니다. 발생한 몇 안 되는 실패 사례들은 대개 로봇의 단일 카메라가 물체와의 정확한 거리를 판단하는 데 어려움을 겪어, 명령을 오해하거나 물체를 보지 못해서가 아니라 약간 너무 일찍 또는 너무 늦게 멈췄기 때문이었습니다.

연구진은 또한 컴퓨터 시뮬레이션을 벗어나 실제 건물 로비에 있는 실제 물리적 로봇에 시스템을 배치했습니다. 그들은 동일한 유형의 명령을 주었고, 로봇은 공간을 항해하고, 사람을 찾기 위해 멈추며, 사용자에게 다시 말을 거는 등 작업을 신뢰성 있게 수행했습니다. 이 실세계 테스트는 시스템이 소프트웨어의 구조적 변경 없이도 사람들이 지나다니거나 조명 조건이 변하는 실제 환경의 복잡함을 처리할 수 있음을 확인시켜 주었습니다. 결과는 로봇이 인간의 목소리를 해석하고, 어디로 갈지 결정하고, 필요한 것을 찾고, 임무를 수행하는 동시에 로봇 자체에 장착된 작은 컴퓨터에서 실행될 수 있음을 보여주었습니다.

이 연구는 서비스 로봇의 미래가 로봇의 뇌를 더 크고 복잡하게 만드는 것이 아니라, 그들이 생각하는 방식을 조직하는 것에 달려 있을 수 있음을 시사합니다. 보는 일과 추론하는 일을 분리함으로써, 연구진은 로봇이 매우 유능하면서도 효율적일 수 있다는 것을 입증했습니다. 일체형 시스템은 인상적이지만, 이동형 로봇이 실용적으로 사용되기에는 너무 무거운 경우가 많습니다. 이 하이브리드 접근 방식은 로봇이 병원, 호텔, 사무실에서 사람들을 돕고, 지시에 빠르게 반응하며, 붐비는 공간을 안전하게 이동할 수 있는 길을 제시합니다. 이 연구가 로봇 공학의 모든 문제를 해결했다고 주장하는 것은 아니지만, 도움을 줄 만큼 똑똑하고 유용할 만큼 빠른 로봇을 만드는 명확하고 검증된 방법을 제공합니다.