💬 NLP

PAN: A World Model for General, Actionable, and Long-Horizon World Simulation

이 논문은 상태 유지 잠재 표현(stateful latent representations), 폐루프 정보 흐름(closed-loop information flow), 그리고 고급 시뮬레이션 추론과 계획을 가능하게 하는 혼합 LLM/디퓨전 백본을 결합함으로써 일반적인 오픈 도메인 행동 기반 예측 및 장기적 일관성의 기존 한계를 극복하는 생성적 잠재 예측(Generative Latent Prediction, GLP) 아키텍처 기반의 월드 모델인 PAN을 소개한다.

원저자: PAN Team, Zihan Liu, Yi Gu, Mingkai Deng, Guangyi Liu, Zeyu Feng, Qiyue Gao, Yiyan Hu, Benhao Huang, Yichi Yang, Kun Zhou, Jiannan Xiang, Zhiting Hu, Zhengzhong Liu, Eric P. Xing

게시일 2026-09-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: PAN Team, Zihan Liu, Yi Gu, Mingkai Deng, Guangyi Liu, Zeyu Feng, Qiyue Gao, Yiyan Hu, Benhao Huang, Yichi Yang, Kun Zhou, Jiannan Xiang, Zhiting Hu, Zhengzhong Liu, Eric P. Xing

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

단순히 세상에 반응하는 것이 아니라, 세상을 예측하는 마음을 상상해 보십시오. 수십 년 동안 과학자들은 사진 속의 고양이를 인식하거나 시를 쓰는 수준을 넘어, 컵을 밀거나, 운전대를 돌리거나, 문을 열 때 물리적 세계가 어떻게 변하는지를 이해할 수 있는 인공지능을 구축하고자 노력해 왔습니다. 현재의 행동을 바탕으로 미래를 예측하는 이 능력은 '월드 모델(world model)'이라고 알려져 있습니다. 이는 생명체가 계획을 세우고, "만약 ~한다면 어떻게 될까"를 상상하며, 위험이 닥치기 전에 이를 피할 수 있게 해주는 인지적 엔진입니다. 현대의 컴퓨터는 이미지와 텍스트를 생성하는 데 매우 뛰어나졌지만, 현실의 인과관계 논리를 시뮬레이션하는 데는 종종 어려움을 겪습니다. 자동차가 달리는 아름다운 영상을 만들 수는 있지만, 그 자동차가 갑자기 포트홀을 피하기 위해 방향을 틀었을 때 어떤 일이 일어날지를 신뢰성 있게 예측하지는 못합니다. 이러한 예측력이 없다면, 인공지능은 복잡하고 변화하는 환경에서 결정을 내릴 수 있는 능동적인 참여자가 아닌, 수동적인 관찰자로 남게 됩니다.

모하메드 빈 자이드 인공지능 대학교(Mohamed bin Zayed University of Artificial Intelligence)의 연구진은 이 간극을 메우기 위해 설계된 PAN이라는 새로운 시스템을 선보였습니다. 단순히 처음부터 영상을 생성하는 대신, PAN은 특정 지시에 따라 세상이 어떻게 진화하는지를 학습하는 시뮬레이터 역할을 합니다. 연구진은 '생성적 잠재 예측(Generative Latent Prediction)'이라는 토대 위에 이 시스템을 구축했는데, 이는 컴퓨터가 미래를 예측하는 동안 세상에 대한 일관된 내부 기억을 유지하도록 강제하는 방법입니다. 미래의 모든 픽셀을 한꺼번에 추측하려고 시도하는 대신(이는 종종 혼란과 오류를 초래합니다), PAN은 이 과업을 세분화합니다. 먼저 현재의 장면과 취해지는 행동에 대한 압축적이고 추상적인 요약을 만듭니다. 그다음 강력한 언어 기반 추론 엔진을 사용하여 그 요약이 어떻게 변할지를 예측합니다. 마지막으로, 그 새로운 요약을 다시 영상으로 변환합니다. 이 3단계 프로세스를 통해 시스템은 사물, 사람, 물리학을 장기간 추적할 수 있으며, 시뮬레이션된 시간이 여러 초가 흐른 뒤에도 나무는 나무로, 자동차는 자동차로 유지되도록 보장합니다.

연구진은 800만 개의 비디오 클립과 그 안에서 일어나는 동작에 대한 상세한 설명을 쌍으로 묶은 방대한 데이터셋을 통해 PAN을 학습시켰습니다. 이 비디오들은 일상적인 인간의 활동부터 사람과 주변 환경 사이의 복잡한 상호작용까지 모두 다룹니다. "눈 내리는 숲을 운전하라" 또는 "파란색 컵을 집어 들어라"와 같은 언어 명령에 기반하여 비디오의 다음 순간을 예측하도록 가르침으로써, 연구진은 PAN이 물리적 인과관계의 규칙을 학습할 수 있게 했습니다. 테스트 결과, 이 시스템은 긴 시퀀스 동안 일관성을 유지하는 놀라운 능력을 보여주었습니다. 한 실험 세트에서 연구진은 로봇이 쟁반 사이로 물체를 옮기는 것과 같은 일련의 동작을 시뮬레이션하도록 요청했습니다. 다른 시스템들이 몇 단계 후에 물체를 놓치거나 불가능한 물리학을 환각처럼 만들어내는 반면, PAN은 10단계 이상의 과정 동안 일관되고 논리적인 결과를 계속해서 생성했습니다. PAN은 로봇이 노란색 캔을 잡고 새로운 쟁반으로 옮기면, 다음 프레임에서 캔이 그 새로운 쟁반에 나타나고 이전 쟁반은 비어 있게 될 것임을 성공적으로 예측했습니다.

연구진은 PAN이 단순히 예쁜 그림을 만드는 것이 아니라 진정으로 현실을 시뮬레이션하고 있는지 확인하기 위해, '월드 리즈닝 아레나(World Reasoning Arena)'라고 불리는 엄격한 벤치마크를 통해 검증했습니다. 이 테스트는 세 가지 특정 기술을 측정했습니다: 시스템이 동작의 즉각적인 결과를 얼마나 정확하게 시뮬레이션하는지, 장기간 동안 얼마나 일관된 세계를 유지하는지, 그리고 그 예측이 별도의 컴퓨터 프로그램이 더 나은 결정을 내리는 데 도움이 되는지 여부입니다. 결과에 따르면, PAN은 다른 오픈 소스 모델들을 능가했으며 선도적인 상용 시스템들과도 밀접하게 경쟁했습니다. 테이블 위의 물건을 분류하는 것과 같이 목표를 달いて내기 위한 일련의 움직임을 계획해야 하는 작업에서, PAN을 통합했을 때 계획 에이전트의 성공률이 표준 모델을 사용할 때보다 20% 이상 향상되었습니다. 이는 시스템의 예측이 단순히 시각적으로 그럴듯할 뿐만 아니라 인과적으로도 정확하며, 의사 결정 에이전트가 신뢰할 수 있는 믿을만한 미래의 지도를 제공한다는 것을 시사합니다.

또한 이 연구는 이러한 시스템에서 핵심 요소가 누락되었을 때 어떤 일이 발생하는지도 강조했습니다. 연구진은 언어 기반 추론 엔진이나 비디오 세그먼트 간의 전환을 부드럽게 만드는 특수 방법을 제거한 테스트를 수행했습니다. 추론 엔진이 없으면 시스템은 사람이나 로봇과 같은 에이전트가 포함된 복잡한 지시를 이해하는 데 어려움을 겪었고, 비디오 전환이 끊기는 현상이 발생했습니다. 부드러운 전환 메커니즘이 없으면 시뮬레이션이 길어짐에 따라 영상의 품질이 급격히 저하되어 사물이 왜곡되거나 사라졌습니다. 이러한 발견은 추론하는 뇌와 세심한 단계별 생성 과정의 결합이 장기적인 안정성에 필수적임을 확인시켜 주었습니다. 이 시스템은 단 하나의 기술에 의존하는 것이 아니라, 예측이 실제 관찰 가능한 변화와 일치해야 한다는 요구 사항에 대해 지속적으로 점검되는 폐쇄 루프(closed loop)에 의존합니다.

성공에도 불구하고, 연구진은 시스템의 현재 한계에 대해 명확히 밝히고 있습니다. PAN은 "왼쪽으로 회전하라" 또는 "문을 열어라"와 같이 자연어로 설명될 때 가장 잘 작동합니다. 아직 정밀한 로봇 작업을 위해 필요한 미세하고 연속적인 근육 명령을 처리하도록 설계되지 않았습니다. 또한, 시스템이 이전 시도들보다 훨씬 안정적이긴 하지만, 매우 긴 시간 동안은 여전히 편차가 발생하여 때때로 작은 세부 사항을 놓치거나 존재하지 않는 물체를 만들어내기도 합니다. 저자들은 이 시스템이 시각적 사실성을 물리적 완벽함보다 우선시하는 기반 비디오 생성 모델의 시각적 습관을 물려받았다고 언급했습니다. 이는 시뮬레이션이 일반적으로 신뢰할 만하지만, 아직 물리학을 완벽하게 구현하는 단계는 아니라는 것을 의미합니다.

이 연구는 기계에게 미래를 생각하는 법을 가르치는 데 있어 중요한 진전을 의미합니다. 언어를 통한 추론 능력과 시각적 시퀀스 생성 능력을 결가함으로써, PAN은 인공지능이 실제 세계의 결과에 따른 위험 없이 가능성을 탐색할 수 있는 새로운 방법을 제시합니다. 이는 에이전트가 원하는 결과를 얻기 위해 다양한 행동 경로를 테스트하는 '사고 실험'을 수행할 수 있게 해줍니다. 연구진은 코드와 데이터를 공개하여 다른 이들이 이 토대 위에 구축할 수 있도록 초대할 계획입니다. 이 분야가 발전함에 따라, 궁극적인 목표는 단순히 세상을 보는 것을 넘어 세상이 어떻게 작동하는지를 이해하여, 인간이 매일 사용하는 것과 같은 선견지명을 가지고 항해하고, 계획하고, 행동할 수 있는 지능형 기계를 만드는 것입니다.

기술 요약: PAN – 일반적, 실행 가능하며, 장기적 지평을 가진 세계 시뮬레이션을 위한 세계 모델

1. 문제 정의

물리적 및 체화된 지능(embodied intelligence)을 갖춘 인공지능(AI) 시스템을 개발하기 위해서는 대규모 언어 모델(LLM)을 넘어 세계 모델(world models), 즉 환경의 진화(자발적이든 행동에 의한 것이든)를 추론할 수 있는 인지적 시뮬레이터로 나아가야 한다. 최근 비디오 생성, 3D 장면 진화, 게임 시뮬레이션 분야의 발전은 인상적인 시각적 충실도를 보여주었으나, 일반적이고 개방된 도메인에서의 행동 기반 예측, 장기적 지평의 일관성, 그리고 추상적 추론 측면에서는 여전히 상당한 한계가 존재한다.

기존 방식들은 다음과 같은 구체적인 아키텍처 측면의 트레이드오프(trade-offs)에 직면해 있다:

강화 학습(RL) 세계 모델: (예: Dreamer, JEPA) 주로 제한된 행동 공간을 가진 좁고 특정 작업 중심의 도메인에서 작동한다. 순수 잠재 공간 목적 함수(JEFA와 같은)는 **표현 붕괴(representation collapse)**와 정보 손실의 위험이 있으며, 충실한 시뮬레이션에 필요한 미세한 세부 정보를 버리게 된다.
대규모 언어 모델(LLM): 추론 능력은 뛰어나지만, 비언어적 데이터로부터 학습하도록 기본적으로 구성되어 있지 않아, 세계 지식이 언어로 표현 가능한 것에 국한된다.
비디오 생성 모델: 고정된 프롬프트로부터 개방 루프(open-loop) 미디어 생성에는 탁월하지만, 지속적인 내부 상태, 제어 가능한 행동 인터페이스, 객체 수준의 인과적 역학이 결여되어 있다. 이들은 시뮬레이션적 추론이나 반사실적 상상보다는 시각적 사실성에 최적화되어 있다.

핵심 과제는 여전히 남아 있다: 어떻게 개방형 도메인의 시각적 커버리지와 행동 조건부의 시간적 일관성을 결합하면서, **관측에 근거한 동적 롤아웃(observation-grounded dynamic rollout)**을 유지할 것인가?

2. 방법론: PAN 아키텍처

본 논문은 생성적 잠재 예측(Generative Latent Prediction, GLP) 아키텍처를 기반으로 구축된 일반 세계 모델인 PAN을 소개한다. GLP는 잠재적 추상화(확장 가능하고 장기적인 진화에 필요)와 관측 근거(예측이 실현 가능한 감각적 변화에 대응하도록 보장하는 데 필요) 사이의 긴장을 해결한다.

2.1 핵심 아키텍처

PAN은 세 가지 결합된 구성 요소를 통해 GLP를 구현한다:

비전 인코더 ( $h$ ): 관측값(비디오 청크)을 구조화된 잠재 세계 상태로 매핑한다. 이는 Qwen2.5-VL-7B-Instruct의 비전 타워를 활용하여, 프레임을 공간적 패치로 분할하고 연속된 프레임을 그룹화하여 시간적 일관성을 확보한다.
예측 백본 ( $f$ ): 행동에 따라 잠재 상태를 전방으로 진화시킨다. PAN은 Q법2.5-VL-7B-Instruct의 언어 모델을 자기회귀적 백본으로 채택한다. 이를 통해 사전 학습된 멀티모달 지식과 언어 조건부 시퀀스 모델링을 활용하여 상징적 추론, 구성적 일반화 및 장기적 일관성을 지원한다. 백본은 전체 잠재 상태 이력과 언어 행동에 조건화되어 다음 잠재 상태를 예측한다.
비디오 확산 디코더 ( $g$ ): 예측된 잠재 상태로부터 관측 가능한 결과를 재구성한다. Wan2.1-T2V-14B에서 파생된 이 디코더는 단순한 시각화 모듈이 아니라 주요 학습 신호이다. 이는 플로우 매칭(flow-matching) 목적 함수를 사용하여 관측 공간에서의 예측을 감독함으로써, 순수 잠재 목적 함수와 관련된 표현 붕괴를 방지한다.

2.2 주요 기술 혁신

Causal Swin-DPM (Shift-Window Denoising Process Model): 모든 픽셀 수준의 세부 사항을 재구성하는 데 따르는 난해함과 장기 롤아웃에서의 오차 누적을 해결하기 위해, PAN은 청크 단위의 인과적 디노이징 메커니즘을 채택한다.
- 이는 서로 다른 노이즈 수준을 가진 두 개의 청크(예: 이전 청크는 $K/2$ 노이즈, 이후 청크는 $K$ 노이즈)를 보유하는 슬라이딩 시간 윈도우 내에서 작동한다.
- 이전 청크의 부분적으로 노이즈가 가해진(완전히 디노이징되지 않은) 표현에 조건화함으로써, 이 메커니즘은 부수적인 픽셀 수준의 세부 사항을 억제하고 의미론적으로 지속되는 구조(장면 레이아웃, 객체 존재 여부, 운동 방향)에 대한 감독에 집중한다.
- 인과적 어텐션 마스크는 미래의 행동으로부터 정보가 누설되는 것을 방지하여, 모델이 시뮬레이션의 시간적 인과 관계를 준수하도록 보장한다.
행동 인터페이스: 행동은 비디오 청크 수준의 자연어 지시사항(예: "눈 덮인 숲을 통과하여 운전하라")으로 지정되어, 언어 조건부 시각 롤아웃을 가능하게 한다.
학습 전략: PAN은 공개적으로 접근 가능한 소스로부터 추출한 800만 개의 비디오-텍스트 쌍(약 4,500시간)으로 학습되며, 시간적 역학을 강조하는 조밀한 캡션을 포함한다. 학습은 두 단계로 진행된다:
1. 모듈별 학습: 인코더와 백본을 고정한 상태에서 비디오 디코더를 Causal Swin-DPM 아키텍처에 적응시킨다.
2. 결합 학습: 잠재 예측과 관측 공간 재구성을 결합하여 GLP 생성적 감독 목적 함수 하에서 엔드투엔드(end-to-end) 학습을 수행한다.

3. 평가 및 결과

PAN은 행동 시뮬레이션 충실도(Action Simulation Fidelity), 장기 예측(Long-Horizon Forecast), **시뮬레이션 추론 및 계획(Simulative Reasoning and Planning)**의 세 가지 차원에서 역량을 측정하는 World Reasoning Arena (WR-Arena) 벤치마크를 통해 평가되었다.

3.1 성능 지표

행동 시뮬레이션 충실도: PAN은 전체 점수 58.7을 기록하며 모든 오픈 소스 모델 중 가장 높은 성적을 거두었으며, 주요 상용 시스템(예: KLING, Gen-3)과 경쟁할 만한 수준을 보였다. 특히 에이전트 시뮬레이션(제어 가능한 엔티티 애니메이션, 점수: 70.3)과 환경 시뮬레이션(장면 수준의 개입, 점수: 47.1) 모두에서 강력한 성능을 입증했다.
장기 예측: PAN은 전이 부드러움(Transition Smoothness)(53.6%)과 시뮬레이션 일관성(Simulation Consistency)(64.1%)에서 가장 높은 점수를 획득했다. 이는 상용 시스템과 오픈 소스 베이스라인들을 능가하는 수치이다. 5~8단계 이후 급격히 저하되는 단독 비디오 생성기와 달리, PAN의 일관성은 9단계 이상에서도 완만하게 저하된다.
시뮬레이션 추론 및 계획: VLM 기반 계획 에이전트와 통합되었을 때, PAN은 세계 모델 없이 행동하는 에이전트에 비해 개방형 계획(Open-Ended Planning)에서 26.7%, 구조적 계획(Structured Planning)에서 23.4% 향상된 작업 성공률을 보였다. 이는 PAN의 시뮬레이션이 단순히 시각적으로 그럴듯할 뿐만 아니라 인과적으로 유익함을 확인시켜 준다.

3.2 절제 연구 (Ablation Studies)

단계별 절제 연구를 통해 각 구성 요소의 필요성을 확인하였다:

VLM 백본을 제거하면(디코더는 유지) 단기 지평의 충실도는 유지되나, 장기 지평의 일관성과 에이전트 역학이 저하되었다.
Causal Swin-DPM 메커니즘을 제거하면 전이 부드러움과 시뮬레이션 일관성이 크게 떨어졌으며, 이는 오차 누적을 방지하는 역할을 강조한다.
전체 GLP 시스템은 단독 생성기(예: Wan-2.1)가 빠르게 악화되는 것과 대조적으로 일관된 시뮬레이션을 유지했다.

4. 의의 및 주장

본 논문은 세계 모델의 주요 목적이 **가설적 사고(hypothetical thinking)**를 가능하게 하는 것, 즉 에이전트가 대안적인 행동의 결과를 시뮬레이션하고 최적의 계획을 선택할 수 있도록 하는 것이라고 주장한다. PAN의 의의는 세계 모델(상태 전이를 예측)과 에이전트 모델(행동을 결정)을 엄격히 분리하는 아키텍처 설계에 있으며, 이러한 분리는 예측과 보상 신호 모두에 대해 단일 모델을 학습시킬 때 발생하는 편향을 피하게 해준다.

PAN의 기여에 관한 주요 주장은 다음과 같다:

근거로서의 생성적 감독: 잠재 전이를 다시 감각 영역으로 디코딩함으로써, GLP는 표현이 현실에 고정되도록 보장하며 순수 잠재 공간 목적 함수가 갖는 퇴보 문제를 방지한다.
확장 가능한 장기 추론: 상징적 역학을 위한 LLM 백본과 지각적 실현을 위한 확산 디코더의 결적 결합은, 확장된 지평에서도 인과 구조를 유지하는 일관된 다단계 롤아웃을 가능하게 한다.
재구성의 실용성: 전체 재구성이 불가능하다는 견해와 달리, PAN은 (Causal Swin-DPM과 같은 아키텍처를 통해) 충실도와 의미론적 돌출성 사이의 트레이드오프를 조절할 때 생성적 감독이 안정적이고 효과적인 학습 목적 함수가 될 수 있음을 입증한다.

저자들은 PAN을 단순한 미디어 생성기가 아니라 추론을 위한 시뮬레이터로 정의하며, 이는 개방형 도메인, 상호작용 가능하며, 인과적으로 근거 있는 세계 모델링을 위한 토대를 제공한다. 본 논문은 현재의 언어 수준 행동 인터페이스(미세한 연속 제어를 지원하지 못할 수 있음)에 대한 의존도와 장기 지평에서의 드리프트(drift) 현상을 한계점으로 인정하며, 이를 향후 연구 방향으로 제시한다.