기술 요약: 월드 모델(World Models)과 피지컬 AI(Physical AI)에 관한 튜토리얼

문제 정의

본 논문은 인공지능 분야 내에서 "월드 모델"의 정의와 적용에 있어 나타나는 파편화 문제를 다룹다. 월드 모델이라는 용어는 예측, 추론, 의사결정이 가능한 지능형 시스템을 구축하는 데 있어 핵심적인 개념으로 부상하고 있으나, 문헌마다 일관되지 않게 사용되고 있다. 전통적으로 이는 롤아웃(rollout)과 계획(planning)을 위해 사용되는 환경 역학(environment dynamics)의 명시적 모델을 의미한다. 보다 최근에는 독립적인 역학 함수를 노출하지 않고도 예측적 정규성을 포착하는 암묵적 내부 표현(implicit internal representations)을 포함하는 개념으로 확장되었다. 이러한 개념적 모호함은 방법론 간의 비교를 어렵게 하고, 신규 연구자들이 이 분야를 탐색하는 데 방해가 된다. 또한, 모델 기반 강화 학습(Model-based RL)과 파운데이션 모델(Foundation Models) 분야에서 상당한 진전이 있었음에도 불구하고, 특히 에이전트가 현실 세계의 제약, 안전 위험, 심투리얼(sim-to-real) 격차 속에서 작동해야 하는 피지컬 AI(로보틱스 및 자율주행과 같은 체화된 시스템)에 적용되는 관점에서 이들을 하나의 통합된 개념적 프레임워크 내로 묶어주는 체계적인 튜토리얼이 부족한 실정이다.

방법론 및 프레임워크

본 논문은 새로운 알고리즘을 제안하는 것이 아니라, 다양한 월드 모델링 접근 방식들을 통합하기 위한 일관된 개념적 프레임워크를 구축한다. 방법론은 다음과 같다:

1. 개념적 구분: 본 튜토리얼은 기존의 접근 방식들을 두 가지 주요 패러다임으로 분류한다:

   • 명시적 월드 모델 (Explicit World Models): 롤아웃 기반의 추론, 계획, 반사실적 추론(counterfactual reasoning)을 지원하기 위해 구조화된 역학(전이 모델)을 학습한다. 이들은 내부 시뮬레이터로서 기능한다.
   • 암묵적 월드 모델 (Implicit World Models): 독립적인 역학 함수 없이, 확장 가능한 학습된 표현(예: 대규모 파운데이션 모델) 내에 예측 구조를 인코딩한다. 추론은 명시적인 시뮬레이션보다는 구조화된 표현에 대한 추론(inference)을 통해 발생한다.

2. 운영 원리: 본 논문은 네 가지 구성 요소를 포함하는 일반적인 템플릿을 사용하여 월드 모델의 운영 메커니즘을 정의한다:

   • 인코더 (Encoder, $E$): 고차원 관측치를 압축된 잠재 공간(latent space)으로 매핑한다.
   • 순환 상태 업데이트 (Recurrent State Update, $H$): 부분 관측성(partial observability)을 처리하기 위해 이력 의존적 상태를 유지한다.
   • 잠재 역학 (Latent Dynamics, $F$): 행동에 조건화된 잠재 상태의 진화를 모델링한다.
   • 디코더 (Decoder, $D$): 잠재 상태로부터 관측치를 재구성한다 (일부 암묵적 모델에서는 선택 사항임).

3. 피지컬 AI 분석: 이 프레임워크를 피지컬 AI로 확장하여 다음과 같이 구분한다:

   • 모드-1 (반응형, Reactive): 내부 시뮬레이션 없이 직접적인 지각-행동 매핑을 수행한다.
   • 모드-2 (월드 모델 기반, World Model-based): 내부 잠재 상태를 유지하고 월드 모델을 사용하여 미래의 결과를 예측함으로써, 장기적 계획(long-horizon planning)과 반사실적 추론을 가능하게 한다.

4. 사례 연구: 튜토리얼은 이러한 패러다임을 설명하기 위해 대표적인 아키텍처들을 검토한다:

   • 명시적 모델: Ha–Schmidhuber (메모리리스 잠재 모델), Dreamer (RSSM을 갖춘 문맥적 잠재 모델), MuZero (MCTS를 활용한 계획 지향 모델), DayDreamer (Dreamer의 로보틱스 확장), 그리고 GAIA (생성형 주행 모델).
   • 암묵적 모델: 대규모 언어/시각-언어 모델 (LLMs/VLMs), Genie (생성형 비디오 모델), 그리고 JEPA 변형들 (I-JEPA, V-JEPA, V-JEPA 2, AD-L-JEPA - 이들은 재구성이 아닌 표현 공간에서의 호환성을 학습함).

주요 기여

본 논문의 주요 기여는 분류학적이고 교육적인 데 있으며, 월드 모델의 지형을 명확히 하는 것을 목표로 한다:

• 통합된 분류 체계: 명시적 월드 모델과 암묵적 월드 모델 사이의 체계적인 구분을 제공하며, 차이점이 환경 역학이 어떻게 표현되는지(시뮬레이션 가능한 전이 함수로서 vs 표현 기하학 내에 내재된 형태로서)와 어떻게 활용되는지(롤아웃을 통한 활용 vs 추론을 통한 활용)에 있음을 명확히 한다.
• 이론과 응용의 연결: 추상적인 월드 모델링 원리를 로보틱스 및 자율주행과 같은 피지컬 AI 응용 분야와 명시적으로 연결한다. 이 모델들이 체화된 시스템에서의 심투리얼(sim-to-real) 격차, 데이터 효율성, 그리고 안전 제약 조건을 어떻게 해결하는지 분석한다.
• 설계 공간 분석: 상태 표현(잠재 vs 명시), 역학 모델링(확률적 vs 결정론적), 학습 목적 함수(재구성 vs 예측 일관성)를 포함하여 월드 모델링에 수반되는 설계 선택 사항들을 상세히 다룬다.
• 격차 식별: 계층적 추론, 장기적 계획, 자율적 목표 형성을 중심으로 현재 시스템이 범용 인공지능(AGI)에 도달하는 것을 가로막는 핵심 과제들을 강조한다.

결과 및 조사 내용

튜토리얼로서, 본 논문은 새로운 실험적 결과를 제시하기보다 기존 문헌의 조사 내용을 종합한다. 본 논문의 "결과"는 현재 접근 방식들의 능력과 한계에 대한 종합적인 통찰이다:

• 명시적 모델: 잠재 상상(latent imagination)을 통해 데이터 효율적인 학습과 장기적 계획에서 강력한 능력을 입증한다 (예: Dreamer, MuZero). 그러나 모델 편향(rollout 과정에서의 오류 누적)과 의사결정 시점의 높은 계산 비용(예: M식 MCTS) 문제에 직면할 수 있다.
• 암묵적 모델: 대규모 자기지도 학습(예: Transformer, JEPA)을 활용하여 광범위한 세상 지식과 구조적 정규성을 포착한다. 뛰어난 확장성과 데이터 효율성을 제공하지만, 추가적인 통합 없이는 다단계 계획 및 행동 조건부 반사실적 추론을 위한 명시적 메커니즘이 부족하다.
• 피지컬 AI 응용:
  • 로보틱스: 명시적 모델(DayDreamer)은 공유된 잠재 역학을 통해 작업 일반화를 가능하게 하며, 암묵적 모델(V-JEPA 2)은 인터넷 비디오 프리트레이닝을 통한 데이터 효율적 적응 가능성을 보여준다.
  • 자율주행: 생성형 모델(GAIA)은 안전 평가를 위한 반사실적 추론을 지원하며, 암묵적 모델(AD-L-JEPA)은 지각 및 공간 이해를 위한 확장 가능한 표현을 제공한다.
• 파운데이션 모델: 최근의 파운데이션 모델(예: Cosmos, Gemini Robotics)은 작업 특화형 월드 모델을 넘어 지각, 예측, 행동을 통합하는 단일 시스템을 향한 경로를 제시한다.

의의 및 주장

본 논문은 월드 모델과 피지컬 AI에서의 역할을 위한 통합된 개념적 프레임워크를 제공함으로써 문헌의 공백을 메우는 기초적인 자원으로서의 중요성을 주장한다.

• 용어의 명확화: 현재 "월드 모델"이라는 용어의 모호함이 서로 다른 접근 방식 간의 트레이드오프를 가리고 있다고 주장한다. 명시적 및 암묵적 패러다임을 구분함으로써, 실무자들이 방법론을 더 잘 비교하고 설계 선택을 이해할 수 있도록 한다.
• AGI를 향한 경로: 월드 모델이 AGI로 나아가기 위한 핵심 원리라고 상정한다. 현재 시스템이 진전을 이루었으나, 인간 수준의 지능에 도달하기 위해서는 다음과 같은 특정 허들을 극복해야 한다고 주장한다:
  1. 통합 모델링: 명시적 모델의 구조적 추론 능력과 암묵적 표현의 확장성을 결합하는 것.
  2. 계층적 추론: 여러 시간 척도와 추상화 수준에 걸쳐 추론할 수 있는 모델을 개발하는 것.
  3. 자율적 목표 형성: 외부에서 유도된 목표를 넘어, 내부적으로 목표를 생성하고 적응할 수 있는 시스템으로 나아가는 것.
• 피지컬 AI의 관련성: 체화된 에이전트에게 월드 모델은 단순히 추상적인 예측기가 아니라, 물리적 제약 하에서 지각을 접지(grounding)하고, 역학을 추론하며, 행동을 조율하기 위한 실질적인 도구임을 강조한다.

본 논문은 현재의 시스템이 아직 AGI와는 거리가 멀지만, 월드 모델링, 파운데이션 모델, 그리고 체화된 학습(embodied learning)의 수렴이 더 일반적이고 확장 가능하며 자율적인 지능을 향한 타당하고 필수적인 경로임을 밝히며 결론을 맺는다.