D-VLC: Decentralized Vision-Language Collaboration for Heterogeneous Embodied Multi-Robot Systems in Unknown Environments

로봇 그룹이 한 번도 본 적 없는 낯설고 어지러운 새 집에 투입되는 세상을 상상해 보세요. 그들의 인간 상사는 "오래된 시계와 차고를 찾되, 조심해!"와 같이 모호하고 까다로운 명령을 내립니다. 과거에는 서로 다른 종류의 로봇 팀이 이런 과업을 수행하도록 만드는 것이, 마치 모든 연주자가 서로 다른 언어를 사용하고 서로 다른 악보를 보고 있는 오케케스트라를 지휘하는 것과 같았습니다. 그들은 무엇을 해야 할지 정확히 알려주는 엄격하게 미리 작성된 대본("규칙 기반" 계획)이 필요했기에, 뜻밖의 상황이나 새로운 지시를 잘 처리하지 못했습니다.

이를 해결하기 위해 과학자들은 로봇에게 "거대한 뇌"를 부여하기 시작했습니다. 먼저, 그들은 로봇에게 복잡한 문장을 이해하고 큰 과업을 작은 단계들로 나눌 수 있는 초스마트 텍스트 독서가와 같은 **대규모 언어 모델(LLM)**을 주었습니다. 그다음, 이 텍스트 독서가에 눈을 달아준 **시각-언어 모델(VLM)**을 추가했습니다. 이 모델들은 사진을 보고, 자신이 보는 것(예: "저것은 문이다" 또는 "저것은 빨간 컵이다")을 이해하며, 들리는 단어와 연결할 수 있습니다. 연구자들이 던지는 핵심 질문은, 우리가 이 다양한 로봇 팀에게 이러한 "눈과 뇌"를 부여함으로써, 미리 작성된 지도나 모든 움직임을 일일이 지시하는 중앙 집중형 상사 없이도 그들이 스스로 상황을 파악하며 움직이게 할 수 있는가 하는 점입니다.

이것이 바로 D-VLC(분산형 시각-언어 협업)라는 논문이 탐구하는 내용입니다. 연구진은 두 대의 비행 드론과 팔이 달린 지상 로봇을 포함한 서로 다른 로봇 팀이 이러한 스마트 AI 모델을 사용하여 미지의 환경에서 협력하는 시스템을 구축했습니다. 하나의 중앙 컴퓨터가 모든 결정을 내리는 방식(이는 속도가 느려지거나 혼란을 야기할 수 있음) 대신, 각 로봇은 스스로 생각하고, 가장 중요한 정보만을 공유하며, 필요할 때 팀원을 돕습니다.

마법이 일어나는 방식은 다음과 같습니다. 로봇들을 어두운 동굴 속의 탐험가 그룹이라고 상상해 보세요. 그들은 서로에게 자신의 인생 전체를 외치며 전달하는 대신, 지금까지 본 동굴의 아주 작고 단순화된 스케치("미니 지도")를 주고받습니다. 만약 비행 드론이 열 수 없는 문을 발견한다면, 단순히 막혀서 멈춰 서는 것이 아니라 지상 로봇에게 "이봐, 이거 열 수 있어?"라고 묻습니다. 그러면 지상 로봇은 "물론이지"라고 답하고 문을 엽니다. 그 후 비행 드론은 다음 단서를 찾기 위해 다시 빠르게 날아갑니다. 그들은 그룹 회의를 기다리지 않고, 비동기적으로 계속 움직이고, 생각하고, 서로를 돕습니다.

이 논문은 이 접근 방식이 시뮬레이션에서 매우 효과적임을 보여줍니다. 재난 현장 잔해, 병원, 집과 같은 까다로운 시나리오에서 테스트했을 때, 어떤 특정 "거대한 뇌" AI 모델을 사용하더라도 로봇 팀은 70% 이상의 성공률로 목표물을 찾아냈습니다. 훨씬 더 좋은 점은, 이들이 단순히 근처의 빈 공간을 향해 맹목적으로 움직이는 로봇 팀("기하학적 탐욕적" 접근 방식)보다 훨씬 빠르게 과업을 완수했다는 것입니다. 실제로 가장 똑똑한 설정은 55.8% 더 빨랐습니다.

연구진은 이 방법이 새로운 로봇이나 새로운 방에 맞춰 매번 다시 학습시킬 필요가 없다는 점에서 매우 훌륭하다는 것을 발견했습니다. 로봇들은 명령을 이해하고, 주변을 살피며, 자신의 능력에 따라 누가 무엇을 해야 할지를 스스로 판단할 수 있습니다. 비록 이것이 실제 로봇을 이용해 야생에서 테스트된 것이 아니라 컴퓨터 시뮬레이션에서 수행된 것이지만, 결과는 로보트들에게 이러한 분산형의 협력적인 "상식"을 부여하는 것이 인간의 세세한 관리 없이도 복잡한 현실 세계의 업무를 함께 수행할 수 있게 하는 열쇠가 될 수 있음을 시사합니다.