당신이 로봇에게 목소리 명령과 한 쌍의 카메라 눈만을 사용하여 거대하고 보이지 않는 미로를 항해하는 법을 가르치고 있다고 상상해 보세요. 이것은 **시각-언어 항해(Vision-and-Language Navigation, VLN)**의 세계입니다. 이것은 마치 실제 집 안에서 벌어지는 고도의 긴장감이 흐르는 "사이먼 세즈(Simon Says)" 게임과 같습니다. 하지만 로봇은 "빨간 소파를 지나 왼쪽으로 꺾은 뒤, 파란 램프 앞에서 멈춰 서서 주방으로 가세요"와 같은 문장을 듣고 정확히 자신이 어디에 있는지, 다음에 무엇을 해야 하는지를 파악해야 합니다. 까다로운 점은 로봇이 단순히 다리를 움직여야 하는 것이 아니라, 여정의 이야기를 이해해야 한다는 것입니다. 로봇은 이미 빨간 소파를 지나쳤는지, 아니면 여전히 소파를 찾고 있는 중인지를 알아내야 합니다. 만약 로스트가 길을 잘못 들었다면, 다시 움직이기 전에 "아, 경로를 놓쳤구나!"라고 깨닫고 자신의 정신적 지도를 수정해야 합니다. 이러한 능력이 없다면, 로봇은 이미 램프를 지나쳤는데도 계속해서 "파란 램프에서 왼쪽으로 꺾으라"는 명령을 수행하려고 시도하며 길을 잃고 혼란에 빠질 수 있습니다.

이것이 바로 베이항 대학교와 남부 과학기술 대학교와 같은 대학의 연구진들이 해결하고자 했던 문제입니다. 그들은 대부분의 로봇 내비게이터들이 두 가지 매우 다른 일을 동시에 수행하려고 한다는 점을 발견했습니다. 바로 큰 그림(경로)을 추적하는 것과 아주 작은 다음 단계(움직임)를 결정하는 것입니다. 그들은 로봇이 길을 잃었을 때, 로봇이 명령을 오해한 것인지(잘못된 단계에 있다고 생각하는지), 아니면 단지 움직임을 제대로 실행하지 못한 것인지 구별하기 어렵다는 것을 발견했습니다. 이를 해결하기 위해 그들은 Route2Step이라는 새로운 시스템을 구축했습니다. 이것을 로봇에게 과도하게 일하는 하나의 뇌 대신 두 명의 크루를 붙여주는 것이라고 생각해 보세요. 한 명인 "지시 분석가(Instruction Analyst)"는 투어 가이드처럼 행동하며 끊임없이 지도를 확인하며 "좋아요, 우리는 현재 '침실 나가기' 단계에 있습니다"라고 말합니다. 다른 한 명인 "동작 생성기(Action Generator)"는 운전자로서 그 가이드의 말을 듣고 "알겠습니다, 지금 왼쪽으로 돌겠습니다"라고 말합니다. 이 두 업무를 분리함으로써, 로봇은 자신의 움직임을 망치지 않으면서도 정신적 지도를 수정할 수 있고, 그 반대의 경우도 마찬가지입니다.

두 개의 머리를 가진 항해사

기존의 로봇 훈련 방식은 마치 학생이 수학과 역사를 동시에 배우면서 오직 최종 시험 점수만을 보고 공부하는 것과 같았습니다. 로봇이 길을 잃으면, 선생님은 로봇이 왜 자신이 올바른 위치에 있다고 생각했는지 설명해주지 않은 채 그저 "틀렸어, 다시 해봐"라고 말할 뿐이었습니다. 연구진은 이것이 로봇이 "길을 잃은 것"과 "단지 서투른 것"의 차이를 배우는 데 어려움을 준다는 것을 발견했습니다.

이를 해결하기 위해 그들은 로봇의 뇌를 명확하고 명시적인 인터페이스를 통해 서로 대화하는 두 개의 별개 모듈로 나누는 Route2Step 프레임워크를 도입했습니다.

투어 가이드 (MIA):
첫 번째 모듈은 **지시 분석 모듈(Instruction Analysis Module, MIA)**입니다. MIA를 전체 지시 매뉴얼을 들고 로봇의 비디오 기록을 지켜보는 매우 주의 깊은 투어 가이드라고 상상해 보세요. MIA의 유일한 임무는 한 가지 질문에 답하는 것입니다: "우리는 지금 어느 부분의 지시를 수행하고 있는가?" 그것은 "침실을 나가는" 단계인가, 아니면 "복도를 걷는" 단계인가? 또한 MIA는 로봇이 "정상(Normal)" 상태(경로를 완벽하게 따르는 중)인지, 아니면 "회복(Recovering)" 상태(실수 후 경로를 되찾으려는 중)인지 확인합니다. MIA는 로봇에게 다리를 어떻게 움직일지 알려주지 않습니다. 단지 로봇의 정신적 지도를 업데이트할 뿐입니다.

운전자 (MAG):
두 번째 모듈은 **동작 생성 모듈(Action Generation Module, MAG)**입니다. 이 모듈은 운전자입니다. MAG는 현재 위치, 로봇의 눈을 통해 들어오는 최근 비디오 피드, 그리고 투어 가이드로부터 받은 특정 지시("우리는 현재 침실를 나가고 있습니다")를 받습니다. 이를 바탕으로 MAG는 즉각적인 물리적 동작을 결정합니다: "왼쪽으로 꺾기, 앞으로 가기, 멈추기". MAG는 오직 즉각적인 "방법"에만 집중하기 때문에, 로봇이 실수로 경로를 벗어나더라도 당황하지 않고 현재의 단계를 최선으로 실행하려고 노력합니다.

"E-SPA"의 마법

당신은 이렇게 물을 수도 있습니다: "사람이 각 단계가 언제 발생하는지 정확히 적어주지 않는다면, 로봇이 자신이 어떤 단계에 있는지 어떻게 알 수 있나요?" 여기서 연구진은 창의적인 방법을 사용했습니다. 그들은 E-SPA(에너지 최소화 의미론적 경로 정렬, Energy-minimizing Semantic Path Alignment)라는 방법을 개발했습니다.

E-SPA를 스마트한 퍼즐 해결사라고 생각하세요. 로봇은 사람이 경로를 따라 걷는 긴 연속 비디오를 받지만, 지시는 하나의 긴 문장으로 되어 있습니다. E-SPA는 비디오와 텍스트를 살펴보고 자연스러운 끊김이 어디인지 찾아냅니다. E-SPA는 " '침실 나가기' 지시가 논리적으로 어디서 끝나고 '주방으로 걷기'가 어디서 시작되는가?"라고 묻습니다. 이는 단어를 시각적 단서(예: 문을 보는 것) 및 움직임(예: 문을 통과하는 것)과 매칭함으로써 수행됩니다. 이를 통해 시스템은 사람이 매번 작업이 바뀔 때마다 버튼을 누를 필요 없이, "긴 이야기" 형태의 지시로부터 "단계별" 지도를 만들어낼 수 있습니다.

연구 결과

연구진은 이 새로운 두 머리 로봇을 R2R-CE라는 표준 항해 챌린지에서 테스트했습니다. 결과는 유망했습니다. 새로운 시스템을 사용했을 때 로봇의 성공률은 **48.1%**에서 **55.3%**로 뛰어올랐습니다. 로봇이 우회로를 들르지 않고 목표를 잘 찾아냈는지를 측정하는 지표인 SPL(Success weighted by Path Length) 점수는 **43.3%**에서 **48.2%**로 향상되었습니다.

하지만 진짜 마법은 그들이 어떻게 이를 달성했느냐에 있었습니다. 보통 로봇이 실수로부터 배우게 하려면, 사람이 로봇이 취하는 모든 단계를 교정해 주는 수천 개의 예시가 필요합니다. 이는 비용이 많이 들고 시간이 오래 걸립니다. 그러나 Route2Step은 영리한 트릭을 사용했습니다. 그들은 "투어 가이드"(MIA)가 로봇이 언제 길을 잃었는지 감지하도록 가르치는 데 약 190,000개의 예시를 사용했지만, "운전자"(MAG)가 특정 움직임을 수정하는 법을 가르치는 데는 단 11,500개의 예시만을 사용했습니다.

이는 로봇에게 구체적인 움직임 하나하나를 미세하게 관리하는 것보다, 이야기 속에서 자신이 어디에 있는지를 깨닫도록 돕는 것이 훨씬 더 중요하다는 것을 시사합니다. 로봇의 정신적 지도를 수정함으로써, 로봇은 종종 스스로 올바른 움직임을 찾아낼 수 있었습니다.

실제 환경 테스트 및 향러 단계

연구팀은 컴퓨터 시뮬레이션에만 머물지 않았습니다. 그들은 이 로봇을 실제 네 발 달린 로봇 개(Unitree GO2)에 탑재하여 실험실, 공원, 카페를 포함한 실제 실내외 환경에 보냈습니다. 그들은 실제 세계를 위해 로봇을 재학습시키지 않았습니다. 단지 시뮬레이션에서 배운 기술을 그대로 사용하게 했을 뿐입니다.

이 실제 환경 테스트에서 로봇은 33번의 시도 중 19번을 성공적으로 완료했습니다. 120단어로 된 긴 지시가 포함된 특히 어려운 실내 작업의 경우, 기존 방식의 로봇(StreamVLN)은 완전히 실패하여 평균적으로 7단계 중 약 2.2단계만을 완료했습니다. 반면, Route2Step 로봇은 평균 5.0단계를 완료했으며 5번의 시도 중 3번을 성공했습니다. 이는 "투어 가이드" 접근 방식이 실제 세계가 무질서하고 혼란스러워질 때도 로봇이 경로를 유지하도록 돕는다는 것을 보여줍니다.

연구진은 또한 이 "투어 가이드" 아이디어가 얼마나 유연한지도 보여주었습니다. 그들은 자신들의 시스템에서 "지시 분석" 부분을 가져와, 전혀 학습되지 않은 채 고정된 네 가지 다른 기존 로봇 내비게이터에 연결했습니다. 이 로봇들에게 자신이 어떤 단계에 있는지 알려주는 "투어 가이드"의 조언을 제공하기만 해도, 네 가지 로봇 모두 항해 능력이 향상되었습니다. 이는 "어떤 단계인지"와 "어떻게 움직이는지"를 분리하는 것이 그들의 특정 설계뿐만 아니라 모든 로봇에게 유용한 아이디어임을 입증합니다.

요약하자면, Route2Step은 더 나은 로봇 항해의 핵심이 단순히 로봇을 움직이는 데 더 똑똑하게 만드는 것이 아니라, 자신이 이야기 속 어디에 있는지를 더 잘 알게 만드는 것임을 시사합니다. 진행 상황을 추적하는 작업과 움직이는 작업을 분리함으로써, 로봇은 더 견고해지고, 더 효율적으로 학습하며, 실제로 복잡하고 예측 불가능한 실제 세계를 다룰 수 있게 됩니다.