로봇이나 비디오 게임 캐릭터를 위한 "두뇌"를 구축하려고 상상해 보세요. 이 두뇌는 세상을 이해하고, 다음에 무슨 일이 일어날지 예측하며, 무엇을 해야 할지 결정해야 합니다. 연구계에서는 이를 **세계 모델 (World Model)**이라고 부릅니다.

하지만 여기에 문제가 있습니다. 연구자들은 서로 다른 아키텍처와 이름을 사용하여 이러한 두뇌를 다양한 방식으로 구축해 왔으며, 종종 어느 것이 "최고"인지 논쟁을 벌여 왔습니다. 이 논문은 우리가 잘못된 질문을 하고 있다고 주장합니다. "어떤 아키텍처가 가장 강력한가?"라고 묻는 대신, 우리는 **"이 두뇌의 내부 기억 (내부 상태) 이 실제로 어떤 일을 수행하는가?"**라고 물어야 합니다.

저자 김원우 (Keon Woo Kim) 는 세계 모델이 그 내부 상태 (즉, "기억") 가 수행하도록 설계된 구체적인 업무만큼만 좋다고 제안합니다. 전구 나사를 조이기 위해 망치를 사용하지 않는 것처럼, 물체 조작을 돕도록 설계된 기억 시스템을 예측에 얼마나 잘 활용되는지로 판단해서는 안 됩니다.

이 논문은 단순한 개념과 비유로 분해되어 있습니다.

1. 핵심 아이디어: "충분성" 필터

이 논문은 **충분성 제약 (Sufficiency Constraints)**이라는 개념을 소개합니다. 세계 모델의 내부 상태를 배낭으로 생각하세요.

• 배낭에 모든 것을 담을 수는 없습니다. 너무 무겁기 때문입니다.
• 무엇을 보관하고 무엇을 버릴지 결정해야 합니다.
• 규칙: 당신이 곧 수행할 특정 작업에 필요한 것만 보관합니다.

만약 당신의 작업이 날씨를 예측하는 것이라면, 배낭에는 구름과 바람 데이터가 필요하지만 잔디의 색깔은 버릴 수 있습니다.
만약 당신의 작업이 자동차를 운전하는 것이라면, 배낭에는 도로 기하학과 신호등이 필요하지만 구름의 정확한 질감은 알 필요가 없습니다.

논문은 다음과 같이 말합니다: "좋은" 세계 모델은 가장 많은 정보를 기억하는 모델이 아닙니다. 그것은 특정 업무에 필요한 것만 정확히 기억하고 나머지는 무시하는 모델입니다.

2. 두뇌의 여섯 가지 "업무" (역할)

이 논문은 현재 모든 연구를 세계 모델의 기억이 수행할 수 있는 여섯 가지 고유한 "업무"로 분류합니다. 이들은 단순히 다른 소프트웨어가 아니라 서로 다른 목적입니다.

1. 수정구 (예측 임베딩, Predictive Embedding):

   • 업무: 비디오의 다음 프레임이 어떻게 보일지 추측하는 것.
   • 비유: 구름의 패턴에만 관심 있는 기상학자처럼요. 그들은 도로를 달리는 자동차에는 관심이 없지만, 내일 하늘이 올바르게 보일지 여부만 관심 있습니다.
   • 보관하는 것: 시각적 패턴, 구조.
   • 버리는 것: 세상을 변화시키는 방법에 대한 세부 사항.

2. 전략가 (순환적 신념 상태, Recurrent Belief State):

   • 업무: 에이전트가 보상 (예: 게임 승리) 을 얻기 위해 결정을 내리도록 돕는 것.
   • 비유: 체스 선수처럼요. 그들은 말의 색깔을 기억하지 않고, 어떤 수가 체크메이트로 이어지는지 기억합니다. 승리에 도움이 되지 않는 모든 것을 버립니다.
   • 보관하는 것: 가치, 보상, 행동의 결과.
   • 버리는 것: 예쁜 그림이나 관련 없는 질감.

3. 사서 (객체/인과 구조, Object/Causal Structure):

   • 업무: 세상이 상호작용하는 별개의 사물 (객체) 로 구성되어 있음을 이해하는 것.
   • 비유: 흐릿한 픽셀의 수프를 보는 대신, 이 모델은 "컵", "테이블", "손"을 봅니다. 당신이 컵을 밀면 테이블은 움직이지 않는다는 것을 압니다.
   • 보관하는 것: 개체와 그들 간의 관계.
   • 버리는 것: 세상이 하나의 거대하고 연결되지 않은 덩어리라는 생각.

4. 번역가 (잠재 행동 인터페이스, Latent Action Interface):

   • 업무: 지시 사항 없이 비디오만 있을 때 "무슨 일이 일어났는지" 파악하는 것.
   • 비유: 요리하는 인간의 비디오를 보는데 그들이 무엇을 하는지 모른다고 상상해 보세요. 이 모델은 "아, 그들이 스푼을 집었을 거야"라고 추측하려 합니다. 그것이 보는 변화를 설명하기 위해 "유령 행동"을 만들어냅니다.
   • 보관하는 것: 움직임과 변화의 아이디어.
   • 버리는 것: 로봇이 눌러야 하는 구체적인 물리적 버튼.

5. 지도 제작자 (현실 기반 계획 인터페이스, Grounded Planning Interface):

   • 업무: 목표까지의 경로를 찾을 수 있는 정신적 지도를 만드는 것.
   • 비유: 단순히 길을 보여주는 GPS 가 아니라 목적지까지의 거리를 계산하는 GPS 와 같습니다. "주방에 어떻게 가나요?"라고 물을 수 있도록 세상을 조직합니다.
   • 보관하는 것: 거리, 실현 가능성, 목표.
   • 버리는 것: 실제 세상과 단순히 "닮은" 모습.

6. 기록관 (기억 기질, Memory Substrate):

   • 업무: 지금 당장 볼 수 없는 것들을 기억하는 것.
   • 비유: 방에 들어가는데 불이 꺼지면, 당신은 여전히 의자가 그곳에 있음을 압니다. 이 모델은 카메라가 볼 수 없을 때조차 세상의 "숨겨진" 부분 (예: 매트 아래에 숨긴 열쇠) 을 기억합니다.
   • 보관하는 것: 역사와 숨겨진 사실.
   • 버리는 것: "보이는 것이 전부가 아니다"라는 생각.

3. 세 가지 큰 규칙 (명제)

이 논문은 이러한 업무를 쉽게 섞어서 사용할 수 없는 이유를 설명하는 세 가지 규칙을 제시합니다.

• 규칙 1: 신념 규칙. 당신이 일어난 모든 일에 대한 완벽한 기억을 가지고 있다면, 예측, 제어, 계획 등 무엇이든 할 수 있습니다. 하지만 완벽한 기억을 가질 수 없으므로, 무엇을 보관할지 선택해야 합니다.
• 규칙 2: 예측 대 제어의 간극. 이 부분이 매우 중요합니다. 한 모델이 미래를 예측하는 데 놀라울 정도로 뛰어나다 하더라도 (규칙 1), 그것을 제어하는 데는 형편없을 수 있습니다 (규칙 2).
  • 비유: 기상 예보가가 폭풍을 완벽하게 예측할 수는 있지만, 그것이 그들이 폭풍을 견디기 위한 대피소를 지는 방법을 안다는 뜻은 아닙니다. 대피소를 짓기 위해서는 다른 종류의 "기억"이 필요합니다.
• 규칙 3: 수동 대 능동 간극. 단순히 비디오를 보는 것 (수동) 은 당신이 개입했을 때 무슨 일이 일어나는지 가르쳐 주지 않습니다.
  • 비유: 테이블에서 떨어지는 유리의 비디오를 보는 것은 그것이 깨진다는 것을 가르쳐 줍니다. 하지만 당신이 그것을 잡으면 무슨 일이 일어나는지는 가르쳐 주지 않습니다. 그것을 알기 위해서는 "내가 이것을 하면 어떻게 될까?" (반사실적) 를 이해하는 모델이 필요합니다.

4. 평가 매트릭스 (점수판)

"모델 X 가 가장 좋다"라고 말하는 단일 순위표 대신, 이 논문은 점수판을 제안합니다.
모델은 고용된 특정 업무에 따라 판단해야 합니다.

• 만약 당신이 그것을 수정구로 고용했다면, 미래 예측 능력을 기준으로 판단하세요.
• 만약 당신이 그것을 전략가로 고용했다면, 게임 승리 능력을 기준으로 판단하세요.
• 만약 당신이 그것을 사서로 고용했다면, 객체 이해 능력을 기준으로 판단하세요.

이 논문은 많은 모델이 실패하는 이유는 우리가 "전략가"를 "수정구"로서 얼마나 잘 수행하는지로 판단하거나 그 반대의 경우를 겪기 때문이라고 보여줍니다.

5. 결론: "올바른" 적합성

이 논문은 단순하고 강력한 아이디어로 결론을 내립니다:
실행 가능한 세계 모델은 가장 많은 정보를 보존하는 모델이 아닙니다.
그것은 현재 수행해야 할 특정 작업에 맞는 올바른 것들을 버리는 모델입니다.

만약 당신이 축구하는 로봇을 구축한다면, 잔디의 질감을 완벽하게 기억하는 모델이 필요하지 않습니다. 공이 어디에 있고 얼마나 빠르게 움직이는지 기억하는 모델이 필요합니다. 만약 당신의 모델이 잔디 질감을 기억하지만 공을 잊어버린다면, 그것이 훌륭한 "사진작가"라 하더라도 나쁜 축구 선수가 됩니다.

간단히 말해: "가장 똑똑한" 두뇌를 찾으려 하지 마세요. 당신이 필요로 하는 업무에 맞는 올바른 "배낭"을 가진 두뇌를 찾으세요.