기술 요약: 월드 모델(World Models)에서 월드 액션 모델(World Action Models)로

1. 문제 정의

체화된 인공지능(Embodied AI) 및 생성형 시뮬레이션 분야는 행동에 따른 미래의 진화를 예측하기 위해 "월드 모델(world models)"에 점점 더 의존하고 있다. 그러나 "월드 모델"이라는 용어는 잠재 역학 모델(latent dynamics models), 비디오 예측 모델, 물리 기반 시뮬레이터, 행동 조건부 생성 모델 등 이질적인 범위의 방법론을 포괄하며 커뮤니티 전반에 걸쳐 개념적 모호성을 겪고 있다. 이러한 방법들은 무엇을 모델링하는지, 무엇을 예측하는지, 그리고 그 예측이 제어를 위해 어떻게 활용되는지에 따라 근본적으로 다르다.

이 튜토리얼이 다루는 핵심 과제는 통일된 정의와 구조화된 분류 체계의 부재이다. 구체적으로, 미래의 상태/관측치를 예측하는 것과 실행 가능한 로봇 행동을 생성하는 것 사이의 관계를 명확히 할 필요가 있다. 본 논문은 예측만으로는 체화된 의사결정에 불충분하다고 주장하며, 핵심적인 간극은 예측된 미래를 실행 가능한 행동을 추론하여 그 미래를 실현할 수 있는 "월드 액션 모델(World Action Models, WAMs)"과 연결하는 데 있다고 상정한다.

2. 방법론 및 프레임워크

본 논문은 월드 모델을 예측 공간(prediction space)과 행동 생성과의 결합 방식에 따라 분류하는 디자인 스페이스 관점을 제안한다.

2.1. 정의 및 범위

• 월드(World): 로봇과 그 환경(객체 및 주변 맥락)을 포함한 작업 관련 엔티티(entities)의 집합으로 정의된다.
• 월드 모델(World Model): 관측 및 행동의 이력($o_{0:t}, a_t$)이 주어졌을 때, 작업 관련 관측치($o_{t+1}$) 또는 상태($x_{t+1}$)의 미래 진화를 추정하는 행동 조건부 예측 모델이다.
• 월드 액션 모델(World Action Model, WAM): 예측된 미래의 관측치 또는 상태를 실행 가능한 행동과 명시적으로 연관시킴으로써 월드 모델을 확장하는 정책(policy)이다.

2.2. 월드 모델의 분류 체계

저자들은 기존 방법들을 두 가지 주요 디자인 스페이스로 분류한다.

A. 관측 공간 월드 모델 (Observation-Space World Models)
이 모델들은 미래의 관측치를 직접 예측한다($o_{t+1} \sim p_\theta(\cdot | o_{0:t}, a_t)$). 디자인 스페이스는 다음 두 축에 의해 특징지어진다:

1. 관측 공간의 명시성(Spatial Explicitness): 표준 RGB 이미지(높은 데이터 가용성, 낮은 공간 구조)부터 RGB-D, 포인트 클라우드, 다중 뷰 RGB(높은 기하학적 충실도, 낮은 데이터 가용성)까지의 범위를 갖는다.
2. 행동 추상화(Action Abstraction): 제어 및 시뮬레이션에 적합한 저수준 로봇 명령(관절/말단 장치)부터 인터페이스 행동(카메라/시점 제어), 잠재 행동(라벨 없는 비디오로부터 재구성을 통해 학습된 행동), 언어 지시(고수준 계획)까지의 범위를 갖는다.

B. 상태 공간 월드 모델 (State-Space World Models)
이 모델들은 미래 진화를 예측하기 전에($x_{t+1} \sim p_\theta(\cdot | o_{0:t}, a_t)$) 관측치를 압축된 상태 표현($x_t$)으로 먼저 추상화한다. 이는 고차원의 가공되지 않은 관측 공간에서 역학을 학습하는 어려움을 해결한다. 논문은 네 가지 상태 표현 유형을 식별한다:

1. 잠재 상태(Latent State): 강화 학습(RL) 또는 모델 예측 제어(MPC)를 위한 압축된 시뮬레이터 역할을 하기 위해 신경망을 통해 인코딩된다(타겟 도메인에서 학습되거나 대규모 데이터로 사전 학습됨).
2. 포인트 트랙(Point Track): 상태를 2D 또는 3D 포인트 궤적으로 표현하며, 배경 노이즈를 제거하면서도 명시적인 움직임 정보를 보존한다.
3. 뉴로-심볼릭(Neural-Symbolic): 시각적 관측을 논리적 사실로 매핑하기 위해 접지된 불리언 술어(Boolean predicates)를 사용하며, 구성적 추론과 장기 계획을 지원한다.
4. 물리적 상태(Physical State): 고전 역학을 사용하여 물리적 변수(포즈, 속도, 접촉 상태, 마찰 등)를 명시적으로 모델링하며, 종종 3D 재구성과 시뮬레이터 정렬을 필요로 한다.

2.3. 월드 액션 모델의 분류 체계

논문은 시각적 예측과 행동 생성을 결합하는 네 가지 대표적인 패러다임을 소개한다:

1. 상상 후 실행 (Imagine-then-execute): 비디오 모델이 시각적 하위 목표(subgoals)를 생성한 후, 현재 관측치와 하위 목표를 행동으로 매핑하는 별도의 역역학 모델(inverse dynamics model) 또는 목표 조건부 정책을 사용하는 2단계 접근 방식이다. 이는 모듈성을 제공하지만, 시각적 플래너로부터의 오차 전파 위험이 있다.
2. 비디오 특징 조건부 행동 예측 (Video-feature-conditioned action prediction): 전체 비디오 생성을 피하는 2단계 접근 방식이다. 대신, 비디오 예측 백본으로부터 중간 시공간 특징을 추출하여 행동 모듈의 조건으로 사용한다. 이는 계산 비용을 줄여주지만, 명시적인 시각적 계획의 해석 가능성을 희생시킨다.
3. 결합된 비디오-행동 모델링 (Joint video-action modeling): 미래의 관측치와 행동 시퀀스의 결합 분포를 동시에 학습하는 통합 생성 모델이다. 이는 행동과 유도된 미래 사이의 일관성을 향상시키지만, 행동 라벨이 있는 로봇 데이터가 부족하며 복잡한 다목적 최적화 문제에 직면한다.
4. 정책 학습을 위한 보조 비디오 예측 (Auxiliary video prediction for policy learning): 추론 시에는 비디오 브랜치를 사용하지 않고, 비디오 예측을 정책의 내부 표현을 형성하기 위한 보조 학습 목표로 사용한다. 이는 추론 효율성을 높이지만, 학습 목표가 예측 정보를 암묵적으로 전달하는 것에 의존한다.

3. 주요 기여

• 통일된 정의: 본 논문은 월드 모델의 개념적 범위를 행동 조건부 예측 모델로 확립하고, 이를 월드 액션 모델과 구분한다.
• 구조화된 분류 체계: 예측 공간(관측 vs 상태)과 행동 추상화 수준에 따른 월드 모델의 포괄적인 분류를 제공한다.
• 패러다임 분석: 월드 액션 모델의 네 가지 뚜렷한 패러다임을 요약 및 비교하고, 모듈성, 계산 비용, 데이터 요구량, 해석 가능성에 대한 트레이드오프를 분석한다.
• 디자인 스페이스 시각화: 기존 방법들(예: Dreamer, Genie3, V-JEPA, PIN-WM)을 이러한 디자인 스페이스에 매핑하여 공간적 이해, 데이터 가용성, 다운스트림 사용성 사이의 트레이드오프를 보여준다.

4. 결과 및 주장

튜토리얼 논문으로서, 이 연구는 새로운 실험 결과나 벤치마크 성능 지표를 제시하지 않는다. 대신, 그 "결과"는 현재의 지형을 합성하고 정리한 것이다:

• 트레이드오프 식별: 논문은 관측 공간 모델이 공간 구조와 작업과 무관한 변동성 문제로 어려움을 겪는 반면, 상태 공간 모델은 더 나은 물리적 해석 가능성과 제어 사용성을 제공한다는 점을 명확히 한다.
• 패러다임의 한계: 단일 패러다임이 최적일 수는 없음을 강조한다. 예를 들어, "상상 후 실행"은 시각-행동 접지(grounding) 간극 문제를 겪으며, "결합된 비디오-행동 모델링"은 행동 라벨이 있는 데이터의 희소성에 의해 제약을 받는다.
• 데이터 가용성: 풍부한 RGB 비디오 데이터와 공간적으로 명시적인(RGB-D, 포인트 클라우드) 데이터 또는 행동 라벨이 있는 데이터 사이의 상당한 격차를 언급한다.

5. 의의

본 논문의 주요 의의는 월드(액션) 모델의 개념적 범위를 명확히 하고, 체화된 예측 및 제어를 위한 구조화된 분류 체계를 제공하는 데 있다고 주장한다. 단순히 미래를 예측하는 모델과 예측을 실행 가능한 행동과 결합하는 모델을 구분함으로써, 저자들은 연구자들이 특정 작업 요구사항(예: 제어 vs 계획) 및 데이터 제약 조건에 따라 적절한 아키텍처를 선택할 수 있도록 안내하고자 한다. 이 튜토리얼은 서로 다른 연구 커뮤니티 간의 용어와 기대치를 정렬하는 데 도움을 줌으로써, 체화된 AI의 디자인 스페이스를 탐색하기 위한 기초적인 참조 자료 역할을 한다.