SC$^{2}$-WM: A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments

당신이 로봇에게 거대하고 보이지 않는 미로 속에서 투어 가이드가 되는 법을 가르치고 있다고 상상해 보세요. 로봇은 카메라를 가지고 있고 당신의 목소리를 들을 수 있지만, 전체 지도를 한 번에 볼 수는 없습니다. 로봇은 오직 자신의 렌즈 바로 앞에 보이는 것만을 봅니다. 이것이 바로 **시각-언어 내비게이션(Vision-and-Language Navigation, VLN)**의 세계입니다. 로봇은 "빨간 소파를 지나 왼쪽 복도에서 왼쪽으로 꺾은 뒤, 램프 앞에서 멈춰라"와 같은 문장을 듣고, 실제로 그 램프를 찾기 위해 몸을 움직여야 합니다. 까다로운 점은 로봇이 "부분적으로 관찰 가능한(partially observable)" 상태라는 것입니다. 즉, 손전등을 들고 어두운 집 안을 걷는 것과 같아서, 자신이 어디에 있는지 알기 위해서는 자신이 어디를 지나왔는지 기억해야 합니다.

오늘날 대부분의 로봇은 계획을 세운 뒤, 경로가 여전히 제대로 맞는지 확인하지 않고 단계별로 그냥 걸어 나가는 방식으로 이 문제를 해결하려고 합니다. 이는 마치 종이 지도만 뚫어지게 쳐다보며, 벽에 부딪히기 전까지는 결코 창밖을 내다보지 않고 운전하는 자동차와 같습니다. 만약 로봇이 초기에 아주 작은 실수(예를 들어 왼쪽으로 너무 많이 꺾음)를 하면, 로봇은 계속해서 잘못된 방향으로 걸어가게 되고, 그 오류는 쌓여 결국 속수무책으로 길을 잃게 됩니다. 이 논문은 로봇이 생각하는 새로운 방식을 소개합니다. 단순히 맹목적으로 걷는 대신, 다음에 어떤 일이 일어날지 "백일몽(daydream)"을 꾸고, 그 백일몽이 현재의 느낌과 일치하는지 확인하며, 실제로 발을 내딛기도 전에 경로를 수정하는 법을 배우는 것입니다.

길을 잃지 않기 위해 백일몽을 꾸는 로봇

새로운 3D 연속 환경을 탐색하도록 설계된 새로운 로봇 두뇌, SC2-WM을 만나보세요. 저자들은 대부분의 로봇이 정답을 확인하지 않고 시험을 치는 학생과 같다는 점에 주목했습니다. 지시 사항을 읽고, 추측하고, 움직입니다. 만약 추측이 틀리면, 벽에 부딪히거나 갇힐 때까지 자신이 틀렸다는 것을 깨닫지 못합니다. 연구진은 로봇에게 머릿속에 살고 있는 "두 번째 눈"을 선물하고자 했습니다.

SC2-WM을 하나의 초능력을 가진 로봇이라고 생각해 보세요: 바로 **예견력(foresight)**입니다. 로봇은 실제로 다리를 움직이기 전에 잠시 멈추어 스스로에게 묻습니다. "내가 이 발걸음을 내디디면, 1초 후에 세상이 어떻게 보일까?" 로봇은 미래의 '정신적 영화'를 만듭니다. 이것을 "월드 모델(World Model)"이라고 부릅니다. 이는 단순히 체스 말을 움직이는 것이 아니라, 상대방의 다음 수와 그 이후의 보드 상태를 상상하는 체스 선수와 같습니다.

여기서 마법이 일어납니다. 로봇은 미래에 대한 자신의 "정신적 영화"를 현재의 현실과 비교합니다.

• "상태 수준(State-Level)" 수정: 당신이 걷고 있는데, 꿈속에서는 주방이 보여야 한다고 생각했지만 실제 눈에는 여전히 침실이 보인다고 가정해 봅시다. 당신의 뇌는 "잠깐, 뭔가 이상해!"라고 말할 것입니다. SC2-WM도 정확히 이 작업을 수행합니다. 로봇은 자신의 예측과 현재 상태 사이의 불일치를 감지합니다. 그런 다음 실제로 발을 내딛기 전에 오류를 수정하기 위해 내부 지도를 부드럽게 조정합니다. 이는 마치 GPS가 당신이 길을 잘못 들었다는 것을 깨닫고, 잘못된 길로 차를 몰기 전에 즉시 경로를 재계산하는 것과 같습니다.
• "모델 수준(Model-Level)" 수정: 때때로 로봇의 백일몽 능력이 한 번도 본 적 없는 이상한 방에 대해서는 충분하지 않을 수 있습니다. 벽 색깔이 다르거나 가구 배치가 이상할 수도 있습니다. 이 경우 로봇은 "내 내부 지도가 구식이야!"라고 깨닫습니다. 그러면 로봇은 특수한 "적응 모드"를 실행합니다. 이 특정 환경을 더 잘 이해하기 위해 자신의 뇌 규칙을 빠르게 업데이트합니다. 이는 마치 학생이 특정 시험에 대한 학습 가이드가 틀렸다는 것을 깨닫고, 새로운 질문에 맞춰 빠르게 노트를 다시 쓰는 것과 같습니다.

이 논문은 외부적인 보상(예: 마지막에 사람이 "잘했어!"라고 말해주는 것)에 의존하는 것은 너무 느리고 드물다고 주장합니다. 대신, SC2-WM은 내부 피드백을 사용합니다. 로봇은 자신의 "직감"(기대했던 것과 실제로 보이는 것의 차이)에 귀를 기울여 실시간으로 스스로를 교정합니다.

실험 결과가 보여준 것

연구진은 이 "백일몽 꾸는" 로봇을 두 가지 주요 디지털 세계인 R2R-CE와 RxR-CE에서 테스트했습니다. 이 환경들은 가구, 복도, 까다로운 지시 사항들로 가득 찬 복잡한 3D 환경입니다. 그들은 SC2-WM을 이러한 자기 수정 능력이 없는 다른 최고 수준의 로봇들과 비교했습니다.

결과는 매우 유망했습니다. 로봇이 가본 적 없는 방(처음 방문하는 집 같은)을 탐색해야 하는 R2R-CE 데이터셋에서, SC2-WM은 이전 최고의 방식보다 **성공률(SR)**을 7.1% 향상시켰고, **경로 길이에 따른 성공 가중치(SPL)**를 거의 7.8% 향상시켰습니다. 또한 로봇은 더 짧은 경로를 걸었으며, 다른 로봇들보다 평균 5미터 적은 거리를 이동했습니다. 이는 로봇이 헤매지 않았음을 의미합니다.

더 길고 복잡한 지시 사항이 있는 훨씬 더 어려운 RxR-CE 데이터셋에서, 로봇은 성공률을 9.1%, 경로 효율성을 7.1% 개선했습니다. 연구진은 또한 실제 물리적 로봇인 Unitree GO2 사족 보행 로봇(카메라가 달린 네 발 달린 개 모양 로봇)에서도 테스트를 진행했습니다. 실제 환경에서 SC2-WM은 85%의 성공률을 기록하며, 표준 로봇의 **70%**를 앞질렀습니다. 이는 "백일몽" 기법이 컴퓨터 시뮬레이션뿐만 아니라, 지저도한 실제 방 안에서도 작동한다는 것을 시사합니다.

이것이 왜 중요한가

이 논문은 로봇에게 자신의 내부 예측을 확인할 수 있는 능력을 부여함으로써, 로봇을 훨씬 더 신뢰할 수 있게 만들 수 있다고 제안합니다. 경직된 기계로서 스크립트를 따르다가 상황이 조금만 틀어져도 실패하는 대신, SC2-WM은 끊임없이 나침반을 확인하는 신중한 탐험가처럼 행동합니다. 로봇은 인간이 틀렸다고 말해줄 필요가 없습니다. 자신의 "백일몽"이 현실과 일치하지 않는다는 것을 깨달음으로써 스스로 알아냅니다.

저자들은 이것이 모든 것을 즉시 해결하는 마법의 해결책은 아니라는 점을 주의 깊게 언급합니다. 그들은 로봇이 최근 몇 단계(약 4단계 전)의 기억을 가지고 있고, 정말 필요할 때만 뇌 규칙을 업데이트할 때 가장 잘 작동한다는 것을 발견했습니다. 또한 일부 다른 방법들이 거대하고 무거운 AI 모델을 사용하는 반면, SC2-WM은 "경량화(lightweight)"되어 있어 단일 그래픽 카드에서도 효율적으로 실행된다는 점을 강조했습니다. 이는 이 기술이 클라우드의 슈퍼컴퓨터 없이도 우리 집을 항해해야 하는 작은 실제 로봇들에 결국 탑재될 수 있음을 의미합니다.

요약하자면, SC2-WM은 로봇에게 조금 더 자기 인식 능력을 가르칩니다. 로봇이 "앞을 내다보고" 발생하기 전에 자신의 실수를 바로잡을 수 있게 함으로써, 우리는 마침내 복잡하고 무질서한 세상을 길을 잃지 않고 항해할 수 있는 로봇을 얻게 될지도 모릅니다.