기술 요약: 토큰에서 상태로: 세계 모델의 특수한 사례로서의 LLM과 그 너머의 연속적 경로

문제 정의

현재 AI 커뮤니티는 거대언어모델(LLM)과 세계 모델(World Model) 사이의 관계를 이분법적인 대립 관계로 설정하고 있다. 즉, LLM은 단순한 토큰 예측기로 간주되는 반면, 세계 모델은 계획을 지원하기 위해 현실을 시뮬레이션하는 시스템으로 정의된다. 얀 르쿤(Yann LeCun, 2022)은 범용 지능을 달나기 위해서는 자기회귀적 토큰 예측을 버리고 잠재 공간 아키텍처(특히 JEPA: Joint Embedding Predictive Architectures)로 전환해야 한다고 주장해 왔다. 본 논문은 이러한 프레임워크가 불필요하게 이분법적이며, LLM과 세계 모델 사이의 자연스럽고 연속적인 능력의 스펙트럼을 가리고 있다고 주장하며 해당 프레임에 이의를 제기한다. 핵심적으로 다루는 문제는 LLM과 세계 모델을 통합하는 공식적인 프레임워크의 부재와, LLM이 가능케 했던 실질적인 이점들을 폐기하지 않으면서 한 단계에서 다른 단계로 전이하기 위한 명확한 로드맵의 부재이다.

방법론 및 형식주의

본 논문은 LLM과 세계 모델의 관계를 재정의하기 위해 공식적인 수학적 접근 방식을 채택한 후, 기존 및 신흥 아키텍처에 대한 구조적 분석을 수행한다.

1. LLM의 공식적 임베딩
저자는 세계 모델을 튜플 $(S, A, T, \rho_0)$로 정의한다. 여기서 $S$는 상태 공간, $A$는 행동 공간, $T$는 전이 함수, $\rho_0$는 초기 상태 분포이다. 본 논문은 특정하고 제한적인 선택을 통해 자기회귀적 LLM을 이 프레임워크에 공식적으로 임베딩한다:

• 상태 공간 ($S$): 모든 유한한 토큰 시퀀스의 집합 ($V^*$).
• 행동 공간 ($A$): 토큰의 어휘 집합 ($V$), 여기서 유일한 행동은 토큰을 추가하는 것이다.
• 전이 함수 ($T$): 선택된 토큰을 시퀀스에 추가하는 결정론적 함수 ($s \cdot a$).
• 정책 ($\pi_\theta$): 다음 토큰에 대한 확률 분포를 예측하는 LLM 자체.

이 정의 하에서, LLM은 전이 함수를 통해 세계 시뮬레이터와 에이전트 역할을 동시에 수행한다. 본 논문은 LLM이 상태 공간이 이산적 토큰으로 제한되고 전이가 사소한(trivial) "퇴화된 특수 사례(degenerate special case)"의 세계 모델이라고 주장한다.

2. 연속적 스펙트럼 분석
본 논문은 표준 차기 토큰 예측(NTP)에서 JEPA에 이르는 스펙트럼을 구축한다. 저자는 이 스펙트럼을 표준 LLM 형식의 제약 조건을 정확히 하나씩 완화하는 일련의 단계로 분석한다. 이 분석은 각 완화가 두 가지 실질적인 이점에 미치는 영향을 추적한다:

1. 인터넷 규모의 자기지도 학습 데이터에 대한 접근성.
2. 트랜스포머(Transformer) 아키텍처와의 호환성 (이산적 토큰에 최적화됨).

주요 기여

1. 포함 관계 주장 (The Containment Claim)
주요 이론적 기여는 LLM $\subset$ 세계 모델임을 증명하는 것이다. 본 논문은 세계 모델이 LLM을 대체하는 것이 아니라, LLM의 일반화된 형태임을 입증한다. 이는 연구의 목표를 "LLM을 버리는 것"에서 "LLM의 제약 조건을 점진적으로 완화하는 것"으로 재설정한다.

2. 5가지 제약 조건 식별
본 논문은 더 넓은 세계 모델 클래스 내에서 LLM의 특수 사례를 정의하는 다섯 가지 구체적인 제약 조건을 분리해 냈다:

• 상태 표현 (State Representation): 이산적 토큰 시퀀스로 제한됨 (vs. 임의의 연속적/잠재 상태).
• 행동 입도 (Action Granularity): 하나의 마이크로 토큰으로 제한됨 (vs. 의미론적 에이전트 행동).
• 상태 지속성 (State Persistence): 매 패스마다 컨텍스트로부터 상태를 다시 도출해야 함 (vs. 명시적으로 저장된 변수).
• 학습 감독 (Training Supervision): 원시 텍스트에 대한 차기 토큰 예측에 의존 (vs. 쌍을 이룬 상태-행동-다음 상태 튜플).
• 계층 아키텍처 (Layer Architecture): 이산적 토큰에 공동 설계된 트랜스포머로 제한됨.

3. "데이터 절벽"과 "아키텍처 격차"
본 논문은 스펙트럼을 이동함에 따라 발생하는 두 가지 결정적인 병목 현상을 식별한다:

• 데이터 문제: 초기 스펙트럼 단계(NTP, 다중 토큰 예측, 미래 요약)는 인터넷 규모의 텍스트를 활용할 수 있지만, JEPA로 가는 마지막 단계는 계측된 환경으로부터의 쌍을 이룬 (관측, 행동, 다음 관측) 데이터를 필요로 한다. 이 데이터는 인터넷 텍스트($\sim 10^{13}$ 토큰)보다 수만 배 더 희귀하다($\sim 10^9$ 샘플).
• 아키텍처 문제: 트랜스포머 아키텍처는 이산적 토큰에 매우 최적화되어 있다. 예측 대상이 연속적인 잠재 공간(Next-Latent)으로 이동함에 따라, 트랜스포머의 귀납적 편향(inductive bias)은 덜 최적화된다. 본 논문은 이 분야에 텍스트를 위한 트랜스포머와 유사한, 연속 상태 예측을 위한 "결정화된(crystallized)" 아키텍처가 부족할 수 있음을 시사한다.

4. 내부 표현의 경험적 재해립
본 논문은 메커니즘적 해석 가능성(mechanistic interpretability) 연구 결과(예: OthelloGPT, Llama-2)를 종합하여, "세계 모델"이 이미 LLM 내부에 존재한다고 주장한다. 즉, 오직 토큰 시퀀스만 학습했음에도 불구하고, 숨겨진 활성화 값(hidden activations) 내에 보드 상태, 지리적 공간, 시간 등에 대한 풍부하고 선형적인 표현을 인코딩하고 있다는 것이다. 이는 "세계 모델"이 잠재 활성화 속에 존재하며, 토큰은 단지 인터페이스 역할을 할 뿐이라는 주장을 뒷받성한다.

결과 및 증거

본 논문은 새로운 실험 결과를 제시하는 대신, 이론적 주장을 뒷받침하기 위해 기존 연구를 종합한다:

• OthelloGPT 및 체스 모델: 숨겨진 활성화 값이 99% 이상의 정확도로 전체 보드 상태를 인코딩함을 보여줌으로써, 토큰 예측 아키텍처 내에서도 세계 상태 표현이 가능하다는 것을 입증한다.
• 다중 토큰 예측 (MTP): Gloeckle 등(2024)과 DeepSeek-V3를 인용하여, $k$개의 토큰을 동시에 예측하는 것이 데이터 및 아키텍처의 이점을 희생하지 않으면서 추론 능력을 향상시킨다는 것을 보여준다.
• 미래 요약 및 Next-Latent: Mahajan 등(2026)과 Teoh 등(2026)을 인용하여, 압축된 미래나 잠재 상태를 예측함으로써 NTP와 JEPA 사이를 잇는 중간 단계의 아키텍처를 제시한다.
• 생각의 사슬 (CoT): CoT를 새로운 패러다임이 아니라, 기존의 토큰-상태 세계 모델 내에서 계획 지평(planning horizon)을 넓히는 메커니즘으로 재해석하며, 이를 통해 스펙트럼의 입도 축을 따라 이동하는 효과를 설명한다.

의의 및 주장

본 논문은 자신의 의의가 "토큰 예측기"와 "세계 모델" 사이의 잘못된 이분법을 해소하는 데 있다고 주장한다. LLM을 세계 모델의 제약된 부분 집합으로 프레임화함으로써, 일반 지능을 향한 경로를 불연속적인 도약이 아닌 **경사 상승(gradient ascent)**의 과정으로 제시한다.

• 점진적 전이: 앞으로의 길은 LLM을 버리는 것이 아니라, 제약 조건을 점진적으로 완화하는 것이다. 중간 단계(MTP, 미래 요약, Next-Latent)는 인터넷 규모의 데이터와 트랜스포머 아키텍처의 확장성을 유지하면서도 세계 모델 역량을 개선할 수 있는 방법을 제공한다.
• 경계의 명확화: 본 논문은 진정한 연구의 최전선가 JEPA로의 전환에 있으며, 여기서 데이터 가용성과 아키텍처 적합성이 동시에 붕괴된다고 상정한다. 이는 "행동 조건부 세계 모델" 문제를 해결하기 위해 단순히 더 많은 데이터뿐만 아니라, 연속 상태 예측을 위한 새로운 아키텍처 프리미티브(primitive)가 필요할 수 있음을 시사한다.
• 르Cun의 비판에 대한 재평가: 본 논문은 현재의 LLM이 물리적 세계에서 폐쇄 루프 계획(closed-loop planning)을 수행할 수 없다는 르Cun의 지적이 옳지만, 그것이 토큰 예측 패러다임을 완전히 버려야 한다는 점에서는 틀렸다고 주장한다. 대신, 스펙트럼 관점은 CoT와 잠재 공간 예측이 동일한 근본적 형식론의 자연스러운 확장임을 보여준다.

결론적으로, 본 논문은 목적지(행동 조건부 잠재 공간 세계 모델)는 명확하지만, 그 경로는 두 상충하는 기술 사이의 이분법적 선택이 아니라 아키텍처와 데이터 진화의 연속적인 스펙트럼이라고 단언한다.