Operator-on-F complements value-equivalence: a planning-time diagnostic for latent world models

당신이 로봇에게 비디오 게임을 하는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇이 단순히 점수만을 암기하는 것이 아니라, 게임 세계가 실제로 어떻게 돌아가는지를 이해하기를 원합니다. 인공지능 분야에서는 이를 "모델 기반 강화 학습(model-based reinforcement learning)"이라고 부릅니다. 로봇은 자신의 뇌 속에 "세계 모델(world model)"을 구축하며, 이 모델은 실제 게임을 직접 접하지 않고도 주변을 움직이고, 점프하고, 장애물을 피하는 연습을 할 수 있는 내부 시뮬레이션 공간입니다.

오랫동안 과학자들은 이 정신적 시뮬레이션이 훌륭한지 확인하는 간단한 방법을 사용해 왔습니다. 바로 "로봇이 보상(점수)을 정확하게 예측하는가?"라고 묻는 것입니다. 만약 로봇이 점프를 하면 점수를 얻을 것이라고 예측했고 실제로 점수를 얻었다면, 우리는 로봇이 게임을 이해했다고 가정합니다. 이 아이디어를 "가치 등가성(value equivalence)"이라고 합니다. 이는 마치 기상 예보관에게 "온도를 맞혔나요?"라고만 물어봄으로써 그가 유능한지 판단하는 것과 같습니다. 온도를 맞혔다면, 우리는 그가 바람, 구름, 기압 체계도 잘 이해하고 있다고 가정합니다. 하지만 만약 예보관이 운 좋게 온도는 맞혔지만, 바람의 방향은 완전히 틀리게 예측했다면 어떨까요? 로봇은 자신이 승리할 것이라고 생각할지 모르지만, 막상 점프를 하려고 할 때 물리 법칙에 대한 정신적 모델이 고장 나 있다면 맵 밖으로 떨어져 버릴 수도 있습니다. 즉, 점수 예측은 괜찮더라도 말입니다.

이 논문은 로봇의 뇌를 검사하는 더 세심하고 새로운 방법을 소개합니다. 저자인 도나 바칼리스(Donna Vakalis)와 동료들은 "operator-on-F"라고 불리는 진단 도구를 제안합니다. 이 도구는 단순히 최종 점수를 확인하는 대신, 로봇의 '다음 단계'에 대한 정신적 시뮬레이션이 현실과 일치하는지를 확인합니다. 당신에게 5초 후에 세상이 어떻게 변할지 보여주는 마법 수정구가 있다고 상상해 보세요. 기존 방식은 그 수정구가 5초 뒤에 최종 점수를 제대로 예측하는지 확인합니다. 하지만 새로운 방식은 수정구가 보여주는 '매 순간의 세상 모습'이 실제 세상과 일치하는지를 확인합니다. 연구진은 이 방법을 가상 치타를 달리도록 훈련된 유명한 AI 모델인 TD-MPC2에 적용했습니다. 그 결과, 기존 방식은 모델이 잘 작동하고 있다고 말했지만, 새로운 방식은 모델의 가장 큰 버전에서 심각한 문제를 발견해 냈습니다. 즉, 점수는 여전히 잘 맞히고 있음에도 불구하고 정신적 시뮬레이션이 붕괴되었음을 밝혀낸 것입니다.

치팅하는 치타 이야기

실험 속으로 들어가 봅시다. 연구진은 가상의 치타를 최대한 빨리 달리도록 훈련된 강력한 AI 모델을 가져왔습니다. 그들은 100만 개의 "뉴런"(파라미터)을 가진 아주 작은 모델부터 3억 1,700만 개의 뉴런을 가진 거대한 모델까지, 다섯 가지 다른 버전의 모델을 테스트했습니다.

먼저 표준적인 확인 절차를 수행했습니다: "모델이 보상을 얼마나 잘 예측하는가?" 결과는 놀라울 정도로 평범했습니다. 아주 작은 모델부터 거대한 모델까지, 모든 모델이 거의 동일하게 아주 적은 양의 오차만을 보이며 보상을 예측했습니다. 오차는 0.028에서 0.091 사이의 매우 좁은 범위에 머물렀습니다. 이는 마치 다섯 명의 학생이 수학 시험을 봤는데, 모두 97%에서 99% 사이의 점수를 받은 것과 같습니다. 이 결과만 본다면, 당신은 그들이 모두 똑같이 천재적이라고 생각할 것입니다.

하지만 그다음, 연구진은 새로운 "operator-on-F" 테스트를 적용했습니다. 이 테스트는 단순히 최종 점수만을 보는 것이 아니라, 로봇이 실행되는 동안의 내부 세계 지도를 살펴보았습니다. 그들은 다음과 같이 물었습니다: "만약 로봇이 5단계 후에 위치 X에 있을 것이라고 생각한다면, 실제로 위치 X에 있는가?"

결과는 충격적이었습니다. 보상 예측은 모두 비슷했지만, "operator error"(정신적 지도가 얼마나 틀렸는지)는 천차만별이었습니다.

• 작은 모델들은 0.28에서 0.36 사이의 낮은 오차를 보였습니다. 이들의 정신적 지도는 준수했습니다.
• 하지만 거대한 317M 모델은 어땠을까요? 오차가 2.62까지 치솟았습니다. 이는 다른 모델들보다 무려 10배 가까이 더 나쁜 수치였습니다.

여기서 반전이 일립니다. 망가진 정신적 지도를 가진 거대 모델(오차 2.62)은 실제로 게임 도중 추락했습니다. 이 모델의 성과(return)는 형편없는 0.9로 급락했습니다. 반면, 더 나은 정신적 지도를 가진 작은 모델들은 훨씬 더 빠르게 달리고 있었습니다. 그런데 만약 당신이 보상 예측만을 보고 있었다면, 이 재앙을 전혀 눈치채지 못했을 것입니다. 거대 모델의 보상 오차는 여전히 다른 모델들과 마찬가지로 그 미미한 범위인 0.091 안에 머물러 있었기 때문입니다.

연구진은 이 새로운 오차 지표와 로봇의 실제 수행 능력 사이에 매우 강력한 연결 고리가 있음을 발견했습니다. operator error와 로봇의 성능 실패 사이의 상관관계는 -0.90이었습니다. 이는 정신적 지도가 나빠질수록 로봇의 성능도 거의 완벽하게 일치하며 나빠진다는 것을 의미합니다. 반면, 기존의 보상 예측 확인법은 로봇의 실제 성공과 거의 아무런 관련이 없었습니다(상관관계 단 -0.30).

기존 방식이 실패한 이유

이 논문은 기존의 방식(가치 등가성)이 문제가 생겼을 때 "침묵"할 수 있다고 주장합니다. 이는 자동차 정비사가 라디오가 작동하는지만 확인하는 것과 같습니다. 엔진이 폭발하기 직전이라도 라디오는 여전히 잘 나올 수 있습니다. 정비사는 "모든 것이 완벽합니다!"라고 말하지만, 정작 자동차는 불타고 있는 상황이죠.

이 연구에서 "라디오"는 보상 예측이었고, "엔진"은 세상의 물리 법칙을 시뮬레이션하는 모델의 능력이었습니다. 317M 거대 모델은 작동하는 라디오를 가졌지만, 고장 난 엔진을 가지고 있었습니다. 새로운 "operator-on-F" 테스트는 보닛을 열고 엔진을 직접 점검하는 정비사 역할을 했습니다.

또한 연구진은 이 새로운 테스트를 "Bellman residual"이라는 또 다른 흔한 지표와 비교했습니다. 그들은 새로운 테스트가 Bellman residual과 서로 상충한다는 것을 발견했습니다. 실제로 Bellman residual은 정규화되지 않은 보상 오차와 너무 유사하여, 모델들을 구분하는 데 아무런 도움을 주지 못했습니다. 오직 새로운 테스트만이 진짜 좋은 모델과, 그저 점수 예측 운이 좋았던 모델을 구분해 낼 수 있었습니다.

다양한 아키텍처에서의 테스트

이것이 특정 유형의 AI에서만 나타나는 우연한 현상이 아님을 증명하기 위해, 연구진은 점수에 대한 정보 없이 학습하는(순수 SSL 모델) LeWM이라는 완전히 다른 종류의 모델을 사용하여 이 방법을 테스트했습니다. 그들은 이 새로운 LeWM 모델을 표준적인 단일 작업 TD-MPC2 모델과 비교했습니다.

결과는 명확하고 뚜렷했습니다. 새로운 LeWM 모델의 operator error는 0.384 ± 0.009였던 반면, 표준 모델은 0.840이었습니다. 그 차이가 너무 커서 두 모델의 신뢰 구간(실제 값이 존재할 것으로 예상되는 범위)이 서로 겹치지 않았습니다. 이는 새로운 진단 도구가 처음에 시작했던 모델뿐만 아니라 다양한 유형의 AI 뇌에서도 작동한다는 것을 시사합니다.

핵심 요약

이 논문은 기존의 방법이 쓸모없다거나 새로운 방법이 모든 것을 해결하는 마법의 탄환이라고 주장하는 것이 아닙니다. 대신, 보상 예측에만 의존하는 것은 위험하다고 경고합니다. 그것은 마치 요리사가 메인 요리를 태워 먹었는지 무시한 채, 오직 디저트가 맛있는지만 보고 요리사를 평가하는 것과 같습니다.

저자들은 두 가지 확인을 모두 사용해야 한다고 결 결론짓습니다. 즉, 기존의 보상 확인과 새로운 "operator-on-F" 확인을 병행해야 한다는 것입니다. 새로운 확인법은 기존 방식이 놓치는 모델의 세계 이해 결함을 잡아내는 안전망 역할을 합니다. 317M 치타 모델의 경우, 점수를 완벽하게 예측하고 있음에도 불구하고 왜 로봇이 실패하고 있는지 설명할 수 있었던 유일한 도구는 바로 이 새로운 확인법이었습니다. 결국, 미래의 점수를 맞히는 데는 뛰어날 수 있어도, 미래의 세상 자체를 이해하는 데는 엉망일 수 있다는 사실이 드러난 것입니다.