당신이 로봇에게 거대하고 낯선 집을 안내하는 유능한 가이드가 되도록 가르치고 있다고 상상해 보세요. 이를 위해 로봇은 그 장소에 대한 정신적 지도를 구축해야 하며, 동시에 그곳에 있는 것들이 무엇인지 이해해야 합니다. 이것이 바로 로보틱스와 인공지능, 구체적으로는 **언어 가이드 내비게이션(language-guided navigation)**이라 불리는 분야의 세계입니다. 여기서 큰 과제는 "오픈 보캐블러리(open-vocabulary)" 이해력입니다. 즉, 로봇이 단순히 "의자"나 "탁자" 같은 정해진 목록의 사물만을 인식하는 것(마치 플래시카드 세트로 학습하는 아이처럼)이 아니라, "창가 근처에 있는 이상하게 생긴 빨간 물건"이나 "소화기"와 같이 인간이 주는 어떤 설명도 이해할 수 있어야 한다는 것입니다.

로봇이 성공하려면, 이러한 단어들을 실제 세상의 물리적 객체와 연결해야 합니다. 하지만 각도에 따라 물체를 보는 것은 까다로울 수 있습니다. 의자는 정면에서 보면 "좌석"처럼 보일 수 있고, 옆면에서는 "등받이"처럼 보일 수 있으며, 옷이 덮여 있다면 "헝겊 더미"처럼 보일 수도 있습니다. 만약 로봇이 너무 일찍 성급한 판단을 내려서(단 한 번의 눈길만으로 "이것은 확실히 의자다"라고 결정해 버린다면), 나중에 도움이 될 수 있는 다른 유용한 단서들을 버리게 될 수도 있습니다. 이 논문은 로봇이 이러한 기억을 어떻게 저장해야 하는지에 대한 문제를 다룹니다. 즉, 발견하는 즉시 하나의 정답을 확정 지어야 할까요, 아니면 나중에 무언가를 찾아야 할 때까지 가능한 모든 다양한 설명을 계속 간직하고 있어야 할까요?

논문의 이야기: 로봇의 "노트" vs. "최종 판결"

OpenBelief-Nav라는 시스템을 개발한 저자들은 대부분의 로봇이 결론을 내리는 데 너무 성급하다고 주장합니다. 그들은 로봇이 사물을 기억하는 새로운 방식을 제안합니다. 즉, 어떤 물체를 보자마자 "주방 식탁"이라는 하나의 라벨을 확정 짓는 대신, 로봇은 증거 노트를 유지해야 한다는 것입니다.

이것은 마치 탐정이 미스터리를 해결하는 것과 같습니다. 기존 방식에서 탐정은 용의자를 보자마자 "저 자가 도둑이다!"라고 즉시 결정하고 감옥에 가둡니다. 만약 탐정이 틀렸다면, 사건은 망가집니다. OpenBelief-Nav 방식에서 탐정은 용의자에 대한 파일을 작성합니다. 그 파일 안에는 "키가 큰 남자로 보였다", "파란 모자를 쓰고 있었다", "아마 키가 작았을지도 모른다?"와 같이 목격자들의 모든 설명을 적어 넣습니다. 탐정은 아직 최종 정체를 결정하지 않습니다. 그저 모든 단서를 안전하게 보관할 뿐입니다.

로봇의 뇌 속에서 작동하는 방식:

1. 증거 노트: 로봇은 방을 돌아다니며 사진을 찍고, 똑똑한 AI를 사용하여 자신이 보고 있는 물체가 무엇인지 추측합니다. 단순히 "이것은 램프다"라고 저장하는 대신, AI가 사용한 구체적인 문구, AI의 확신도, 그리고 정확히 어떤 사진에서 나온 정보인지를 저장합니다. 또한 물체가 어떻게 보이는지에 대한 일반적인 "시각적 요약"도 함께 보관합니다.
2. 기다림의 미학: 로봇은 이러한 "증거 노트"를 가진 채로 집의 지도를 만듭니다. 로봇은 물체를 반드시 단 하나로만 규정하도록 강요하지 않습니다. 나중에 인간이 무언가를 물었을 때, 그 물체가 "램프"일 수도, "조명 기구"일 수도, 혹은 (AI가 혼란스러워했다면) 심지어 "무서운 괴물"일 수도 있다는 가능성을 열어둡니다.
3. 작업 시점의 결정: 오직 인간이 "소화기를 찾아줘"와 같은 명령을 내릴 때만 로봇은 노트를 펼칩니다. 로봇은 저장된 모든 단서를 살펴보고 다음과 같이 질문합니다: "'소화기'라는 설명에 가장 잘 부합하는 물체는 이것들 중 무엇인가?" 모든 단서를 간직했기 때문에, 로봇은 단서를 미리 버려버린 로봇보다 훨씬 더 현명한 선택을 할 수 있습니다.

연구 결과: 선택지를 열어두는 것이 승리한다

연구진은 두 가지 주요 방식으로 이 아이디어를 테스트했습니다. 하나는 3D 방의 컴퓨터 시뮬레이션에서, 다른 하나는 Unitree G1이라는 실제 걷는 로봇을 통해서였습니다.

1. 사물 이름 맞히기 (Segmentation)
컴퓨터용 "아이 스파이(I Spy)" 게임처럼, 방 안의 모든 물체를 식별하고 라벨을 붙이는 작업에서, 모든 증거를 간직한 로봇(Full-Belief)이 가장 좋은 성과를 냈습니다.

• ScanNet200 데이터셋에서, 새로운 방식은 0.2742의 점수를 기록하여, 단 하나의 답을 빨리 결정하는 기존의 "Early-Commit" 방식의 점수인 0.2393을 앞질렀습니다.
• Replica 장면에서도, 새로운 방식은 0.2912를 기록하여, 기존 방식의 0.2701보다 높은 점수를 얻었습니다.
• 교훈: 소수 의견(예: 물체가 다른 것일 수도 있다는 두 번째 추측)을 버리지 않음으로써, 로봇은 올바른 라벨을 더 자주 찾아낼 수 있었습니다.

2. 물체 찾기 (Navigation)
실제로 문장을 바탕으로 물체를 찾아 이동하는 작업에서는 결과가 조금 더 미묘했습니다. 로봇은 "노트"를 읽는 서로 다른 전략을 사용했습니다.

• 시뮬레이션 환경(HM3D-YCB)에서의 78번의 내비게이션 실험에서, 두 가지 전략이 가장 효과적이었습니다: Consensus(모든 단서의 평균값 사용)와 Early-Commit(즉시 최선의 추측 선택). 두 방식 모두 78번 중 60번의 실험에서 성공했습니다.
• 흥미롭게도, Full-Belief 전략(모든 가중치 부여된 단서 사용)은 78번 중 58번의 실험에서 성공했습니다.
• 교훈: 때로는 너무 많은 옵션을 갖는 것이 내비게이션에 약간의 혼란을 줄 수도 있지만, 이 논문은 서로 다른 작업에는 메모리를 읽는 서로 다른 방식이 필요하다는 것을 보여줍니다. 핵심은 메모리 그 자체가 두 가지 방식을 모두 지원할 만큼 유연하다는 것입니다.

3. "앗, 이게 아니네" 수정하기
이 논문의 가장 멋진 부분은 로봇이 실수를 처리하는 방식입니다. 로봇이 소화기를 찾았다고 생각했는데, 막상 도착해보니 빨간색 소화전(fire hydrant)을 본 상황을 가정해 봅시다.

• 기존 로봇들은 멈춰 서거나 포기할 수 있습니다.
• OpenBelief-Nav는 특별한 "수정 루프(correction loop)"를 가지고 있습니다. 로봇은 이렇게 말합니다: "좋아, 이 후보는 실패했어. 이번 질문에 대해서는 이 특정 추측을 목록에서 지우겠지만, 지도에서 이 물체 자체를 삭제하지는 않을 거야." 그러고 나서 남은 후보들을 살펴보고 다시 시도합니다.
• Unitree G1 로봇을 이용한 20번의 실제 주행에서, 이 수정 정책은 로봇이 목표를 10번 중 8번 확인하는 데 도움을 주었습니다. 수정 과정 없이 첫 번째 추측만 따랐을 때는 10번 중 6번만 성공했습니다.
• 교훈: 로봇은 지도를 망가뜨리거나 원래의 지침을 잊지 않고도 잘못된 추측으로부터 회복할 수 있습니다.

결론

이 논문은 로봇이 세상에 이름을 붙이는 데 너무 서둘러서는 안 된다고 제 제안합니다. 수집한 다양한 설명과 단서들을 담은 "믿음(belief)"을 유지함으로써, 로봇은 물체를 식별하는 데 더 정확해지고 실수를 했을 때도 더 회복력이 높아질 수 있습니다. 이는 정답지를 통째로 외우는 학생과 연구 노트 전체를 간직하는 학생의 차이와 같습니다. 시험 문제가 바뀌었을 때, 노트를 가진 학생이 정답을 찾을 확률이 훨씬 높습니다.

저자들은 이것이 파일럿 연구라는 점을 명시하고 있습니다. 그들은 특정 데이터셋과 제한된 실제 주행을 통해 테스트했습니다. 이 연구가 로봇 내비게이션의 모든 문제를 영원히 해결했다고 주장하는 것이 아니라, 최종 결정을 늦추는 것이 물체를 식별하고 실제 세상에서 찾는 데 있어 더 나은 성능을 이끌어낸다는 것을 보여주었다는 점을 강조합니다.