The Objective Is the Bottleneck: Latent World Models Encode What Their Planners Cannot Use

로봇에게 미로를 탐색하는 법을 가르친다고 상상해 보십시오. 이를 위해 로봇은 자신의 뇌 속에 세상이 어떻게 보이는지를 나타내는 '정신적 지도'를 구축합니다. 이 지도는 그림이 아니라, 어느 순간에든 세상이 어떤 모습인지를 보여주는 압축된 수학적 요약본입니다. 과학자들은 이를 '잠재 세계 모델(latent world model)'이라고 부릅니다. 로봇은 자신이 움직이는 영상을 관찰하고 다음에 어떤 일이 일어날지 예측함으로써 이 지도를 학습합니다. 만약 미래를 정확하게 예측할 수 있다면, 우리는 로봇이 세상을 이해하고 있다고 가정합니다. 일단 이 지도를 갖추게 되면, 로봇은 '플래너(planner)'라고 불리는 결정 알고리즘을 사용하여 보물 상치를 찾는 것과 같은 목표를 향한 최적의 경로를 찾아냅니다. 이 분야의 큰 의문은 항상 이것이었습니다. 만약 로봇이 멀리 있는 목표에 도달하는 데 실패한다면, 그것은 로봇의 정신적 지도가 흐릿하고 부정확하기 때문일까요, 아니면 결정 도구가 고장 났기 때문일까요? 이 논문은 그 미스터리를 파고들며, 문제가 로봇의 시력에 있는지 아니면 나침반에 있는지 테스트합니다.

연구진은 간단한 2개 방 환경을 탐색하는 특정 로봇을 조사했습니다. 그들은 로봇의 '정신적 지도'가 먼 미래를 내다보는 데 있어서도 매우 선명하고 정확하다는 것을 발견했습니다. 하지만 로봇은 계속해서 멀리 있는 목표에 도да하는 데 실패했습니다. 놀라운 발견은 로봇이 경로를 볼 수 없어서 실패한 것이 아니라, 거리를 측정하는 데 사용하는 '나침반'이 고장 났기 때문이라는 점입니다. 로봇은 특정 수학적 점수(현재의 정신적 상태와 목표 사이의 제곱 거리)를 최소화하려고 노력하고 있었지만, 이 점수는 일정 지점을 지나면 의미를 잃었습니다. 이는 마치 목적지에 가까워지고 있음에도 불구하고 실제로는 반대 방향으로 운전하고 있다고 알려주는 GPS와 같았습니다.

이 논문은 로봇의 내부 지도가 로봇이 실제로 계획하려는 25단계보다 훨씬 더 먼 75단계 앞의 세계 상태를 매우 적은 오차로 예측할 수 있음을 보여줍니다. 문제는 지도가 아니라, 성공 여부를 판단하는 규칙인 '목적 함수(objective function)'였습니다. 연구진은 로봇의 마음속에서 거리를 측정하는 표준적인 방식이 '포화(saturation)'되고 이후 '역전(inversion)'된다는 것을 발견했습니다. 즉, 목표가 약 120 유닛보다 멀어지면, 목표로부터 멀어지는 동작이 오히려 로봇의 비용 점수를 낮추어, 로봇이 자신이 진전을 이루고 있다고 착각하게 만들었습니다. 목표가 어디에 있는지, 어떻게 가야 하는지에 대한 정보는 로봇의 뇌에 여전히 온전히 존재했지만, 로봇의 플래너는 잘못된 메트릭을 보고 있었기에 그 정보를 무시하고 있었습니다.

이를 해결하기 위해 연구진은 로봇을 다시 훈련시키거나 더 강력한 하드웨어를 제공하지 않았습니다. 대신, 그들은 단순히 고장 난 나침반을 새것으로 교체했습니다. 그들은 플래너에게 단순히 '근접성(proximity, 얼마나 가까워 보이는가)'이 아니라 '도달 가능성(reachability, 실제로 갈 수 있는가)'을 신경 쓰도록 가르쳤습니다. 그들은 단순히 두 점 사이의 거리를 측정하는 대신, 한 프레임에서 다른 프레임으로 가는 데 몇 단계가 걸릴지를 예측하는 작은 조력자를 훈련시킴으로써 이를 수행했습니다. 이 새로운 접근 방식은 엄청난 성공을 거두었습니다. 원래 로봇의 설정에서, 100단계 떨어진 목표에 도달하는 성공률은 처참했던 26%에서 눈부신 98%로 급증했습니다. 더욱 인상적인 것은, 로봇이 평소 시간 예산의 3분의 1만 사용하고도 저 멀리 있는 목표들의 92%에 도달할 수 있었다는 점입니다.

하지만 이 수리는 모든 곳에서 작동하는 마법의 탄환은 아닙니다. 연구진이 동일한 수리법을 원 저자의 공개된 가중치(weights)에 적용했을 때, 성공률은 14%에서 34%로 향상되는 데 그쳤으며, 더 단순한 선형 방식이 달성한 70%에는 미치지 못했습니다. 그 이유는 원본 모델의 '정신적 지도'가 미래를 상상할 때 현실에서 너무 멀리 벗어나기 때문입니다. 새로운 나침반은 실제 영상 프레임을 바탕으로 훈련되었지만, 플래너는 상상된 프레임을 기준으로 점수를 매겼습니다. 원본 모델의 예측이 너무 부정확했기 때문에, 상상된 프레임이 실제 프레임과 너무 달라져서 새로운 나침반이 제대로 작동할 수 없었던 것입니다. 이는 중요한 규칙을 강조합니다: 학습된 계획 비용은 플래너가 실제로 사용할 정확한 유형의 '상상된' 데이터에 기반하여 훈련되어야 하며, 그렇지 않으면 예측이 드리프트(drift)될 때 실패하게 됩니다.

이 연구는 또한 이상한 특이점을 밝혀냈습니다: '최고의' 플래너는 가장 정확한 지도를 가진 것이 아니었습니다. 사실, 공간적 거리를 예측하는 데 있어 더 못한 비용 함수를 사용하는 플래너가 더 잘 계획했습니다. 이는 새로운 비용 함수가 벽을 가로지르는 것에 대해 추가 비용을 부과하도록 학습된 반면, 기존의 것은 벽을 전혀 신경 쓰지 않았기 때문입니다. 기존의 플래너는 두 방이 물리적으로 가까이 있기 때문에 가깝다고 생각하여 문을 무시했습니다. 새로운 플래너는 문을 통해 지나가야 한다는 것을 이해했으며, 이 덕분에 더 나은 항해사가 되었습니다. 논문은 장기 계획(long-horizon planning)에 있어서 병목 현상은 미래를 예측하는 능력이 아니라, '거기에 도달한다는 것'이 실제로 무엇을 의미하는지 정의하는 능력이라고 결론짓습니다. 만약 당신의 나침반이 잘못된 방향을 가리키고 있다면, 아무리 완벽한 시력을 가지고 있어도 목적지를 찾을 수 없습니다.