Beyond Pixel Histories: World Models with Persistent 3D State

이 논문은 기존 비디오 생성 모델의 3D 일관성과 공간 기억 한계를 해결하기 위해 잠재 3D 장면의 진화를 시뮬레이션하여 장기적인 안정성과 3D 공간 기반 정밀 제어를 가능하게 하는 새로운 세계 모델 'PERSIST'를 제안합니다.

핵심

1. 기존 기술의 문제점: "기억력이 짧은 사진첩"

지금까지의 인터랙티브 비디오 생성 AI 들은 마치 매우 짧은 기억력을 가진 사진가와 같습니다.

• 작동 방식: 사용자의 행동에 반응해 다음 장면을 찍습니다. 하지만 이 사진가는 최근 2~3 초 동안 찍은 사진들만 기억할 수 있습니다.
• 문제점:
  • 기억 상실: 사용자가 뒤로 돌아서 다시 앞을 보면, "아, 저기 있던 나무가 어디로 갔지?"라고 잊어버립니다.
  • 일관성 부족: 같은 장소를 다시 가더라도 나무 모양이 달라지거나, 건물이 사라지는 등 공간의 일관성이 깨집니다.
  • 비유: 마치 망가진 사진첩을 계속 넘기면서, 앞페이지의 내용을 잊어버리고 새로운 사진을 찍는 것과 같습니다. 시간이 지날수록 세계가 엉망이 됩니다.

2. PERSIST 의 혁신: "완벽한 3D 지도와 건축가"

PERSIST 는 이 문제를 해결하기 위해 세상 자체를 3D 로 기억하는 방식을 도입했습니다.

• 핵심 아이디어: 화면 (픽셀) 을 기억하는 대신, **가상 세계의 3D 지도 (잠재 공간)**를 업데이트하고 기억합니다.

• 작동 방식:

  1. 3D 지도 업데이트 (World Model): 사용자가 움직일 때마다, AI 는 보이지 않는 곳까지 포함한 3D 세계의 상태를 업데이트합니다. (예: "내가 왼쪽으로 갔으니, 오른쪽 벽 뒤에 있는 나무도 여전히 거기 있겠지.")
  2. 카메라 위치 추적 (Camera Model): 사용자의 시점 (카메라) 이 어디를 보고 있는지 정확히 파악합니다.
  3. 그림 그리기 (Renderer): 3D 지도에서 현재 카메라가 보는 부분만 가져와서 화면 (픽셀) 으로 그려냅니다.

• 비유:

  • 기존 AI 는 사진만 보고 다음 장면을 상상합니다.
  • PERSIST 는 **완벽한 3D 건축도면 (지도)**을 가지고 있습니다. 사용자가 어디로 가든, 그 도면 위에 있는 모든 사물 (나무, 돌, 건물) 의 위치와 모양이 변하지 않고 유지됩니다. 사용자가 돌아서 다시 보면, 도면에서 그 부분을 다시 꺼내서 그려주기 때문에 어떤 각도에서도 똑같은 세계가 보입니다.

3. PERSIST 가 가져온 놀라운 변화

이 방식 덕분에 다음과 같은 마법 같은 일들이 가능해졌습니다.

• 오래된 기억 (Spatial Memory): 수천 초가 지나도, 사용자가 처음 봤던 장소를 다시 방문하면 정확히 같은 모습으로 기억해냅니다. (기존 모델은 시간이 지나면 기억이 흐려져서 사라집니다.)
• 보이지 않는 곳의 변화 (Off-screen Dynamics): 사용자가 보고 있지 않는 곳에서도 세계는 살아 움직입니다.
  • 예시: 사용자가 동굴을 빠져나와서 뒤돌아보면, 동굴 안에서는 물이 차오르는 과정이 이미 일어나고 있을 수 있습니다. PERSIST 는 사용자가 보지 않아도 그 3D 세계가 계속 진화하도록 만듭니다.
• 세계 수정 (World Editing): 사용자가 게임 도중 "저기 나무를 없애고 꽃을 심어줘"라고 하면, AI 는 3D 지도의 나무를 지우고 꽃을 심은 뒤, 그 변화를 화면에 자연스럽게 반영합니다. 기존 방식은 화면을 수정하는 것이라 어색했지만, PERSIST 는 세계의 구조를 바꾸는 것이므로 매우 자연스럽습니다.

4. 요약: 왜 이것이 중요한가요?

이 연구는 "화면을 만드는 것"에서 "세계를 만드는 것"으로 패러다임을 바꿨습니다.

• 기존: "이전 화면을 보고 다음 화면을 그린다." (기억이 짧고 일관성이 깨짐)
• PERSIST: "가상의 3D 세계를 유지하고, 그 세계를 카메라로 비추어 화면을 만든다." (기억이 길고, 공간적 일관성이 완벽함)

이 기술은 앞으로 가상 현실 (VR) 게임, 디지털 트윈 (실제 세계의 가상 복제), 그리고 로봇이 현실 세계를 학습하는 훈련 등에 혁신적인 변화를 가져올 것으로 기대됩니다. 마치 우리가 꿈꾸던 "끝없이 이어지고, 기억하며, 살아 숨 쉬는 가상 세계"를 처음으로 가능하게 한 기술이라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 상호작용형 세계 모델 (Interactive World Models) 은 사용자의 행동에 반응하여 비디오를 생성하는 데 중점을 두지만, 다음과 같은 근본적인 한계를 가지고 있습니다.

• 3D 표현의 부재: 기존 모델들은 주로 과거의 픽셀 (영상) 히스토리에 의존합니다. 이는 환경의 3D 구조를 명시적으로 표현하지 못하며, 3D 일관성 (3D Consistency) 을 데이터로부터 암묵적으로 학습해야 함을 의미합니다.
• 제한된 공간 기억 (Spatial Memory): 자동 회귀 (Auto-Regressive, AR) 모델은 하드웨어 제약으로 인해 과거의 몇 초 분량의 프레임만 컨텍스트로 사용할 수 있습니다. 이로 인해 긴 시간 동안의 시뮬레이션 (Long-horizon rollouts) 시 공간적 기억이 손실되고, 이전에 방문했던 장소를 다시 보았을 때 일관성이 깨지는 문제가 발생합니다.
• 비현실적인 사용자 경험: 3D 일관성이 부족하면 객체의 기하학적 구조가 변형되거나 사라지는 등 비현실적인 현상이 발생하며, 이는 에이전트 훈련과 같은 하류 작업 (Downstream tasks) 에 큰 장애물이 됩니다.

2. 방법론 (Methodology)

저자들은 PERSIST (Persistent Environment Representations for Simulating Interactive Space-Time) 라는 새로운 세계 모델 패러다임을 제안합니다. 이는 픽셀 히스토리를 대신하여 잠재적 3D 장면 (Latent 3D Scene) 의 진화를 시뮬레이션하는 방식입니다.

핵심 아키텍처

PERSIST 는 세계 시뮬레이션을 세 가지 결합된 구성 요소로 분해합니다:

1. World-Frame Model (Wθ):

   • 에이전트 중심의 고정된 3D 공간 영역을 나타내는 잠재 3D 세계 프레임 (Latent World-Frame) 의 시간적 진화를 예측합니다.
   • 이는 3D 볼륨 (Voxel) 그리드 형태로 표현되며, 카메라가 보이지 않는 영역 (Occluded regions) 의 상태 변화나 환경의 동적 과정을 추적합니다.
   • 입력: 과거의 3D 세계 프레임, 카메라 상태, 사용자 행동, 픽셀 관측치.
   • 출력: 다음 타임스텝의 3D 세계 프레임.

2. Camera Model (Cθ):

   • 에이전트의 시점 (Viewpoint) 을 추적합니다.
   • 3D 세계 프레임 내에서 카메라의 위치 (Position), 회전 (Rotation), 시야각 (FOV) 을 예측합니다.
   • 이는 3D 정보의 '검색 키 (Lookup Key)' 역할을 하여, 현재 프레임 생성에 필요한 3D 정보의 서브셋을 추출합니다.

3. World-to-Pixel Generation Module (Pθ):

   • 3D 세계 프레임을 2D 픽셀 이미지로 렌더링합니다.
   • 차분 렌더링 (Deferred Rendering) 개념: 3D 세계 프레임을 카메라 평면에 투영하여 깊이 순서로 정렬된 특징 스택 (Depth-ordered stack) 을 생성한 후, 이를 조건으로 픽셀 이미지를 생성합니다.
   • 이 모듈은 3D 정보가 제공되지 않는 텍스처, 조명, 파티클 효과 등을 학습된 신경 렌더러 (Neural Shader) 를 통해 채워 넣습니다.

학습 및 추론

• 데이터: Luanti (Minecraft 기반 오픈소스 엔진) 에서 수집된 4 천만 건 이상의 상호작용 데이터 (행동, 카메라 상태, 픽셀, 3D 볼륨 관측치) 를 사용합니다.
• VAE: 2D 픽셀과 3D 볼륨을 각각 잠재 공간 (Latent Space) 으로 인코딩하기 위해 2D-VAE 와 3D-VAE 를 사용합니다.
• Flow Matching: Rectified Flow Matching 기반의 Diffusion Transformer (DiT) 를 사용하여 각 구성 요소를 학습합니다.
• 노출 편향 (Exposure Bias) 완화: 학습 시에는 정답 (Ground Truth) 데이터를 사용하지만, 추론 시에는 모델의 자체 예측에 의존하므로 발생하는 편향을 줄이기 위해 'Diffusion Forcing'과 무작위 노이즈 증강 기법을 적용합니다.

3. 주요 기여 (Key Contributions)

1. 지속적인 3D 상태 추적: 픽셀 기반의 기억 대신, 명시적인 3D 잠재 상태를 유지함으로써 무제한의 공간 기억과 기하학적 일관성을 보장합니다.
2. 새로운 생성 능력:
   • 단일 이미지에서의 3D 환경 생성: 하나의 RGB 프레임으로부터 일관된 3D 환경을 초기화하고 다양한 방향으로 확장 (Outpainting) 할 수 있습니다.
   • 생성 중 3D 편집 (Mid-episode Editing): 생성 과정에서 3D 세계 상태를 직접 수정하여 지형 변경, 물체 배치 등을 실시간으로 제어할 수 있습니다.
   • 화면 밖의 동적 과정: 에이전트가 보지 않는 곳에서도 환경이 진화 (예: 동굴에 물이 차오름) 하여, 나중에 화면에 나타날 때 그 영향을 자연스럽게 반영합니다.
3. 효율적인 정보 검색: 3D 상태는 고정된 크기의 메모리를 가지며, 카메라가 이를 검색하는 방식이므로 에피소드 길이에 관계없이 일정한 비용으로 정보를 검색할 수 있습니다.

4. 실험 결과 (Results)

Luanti 환경에서 Oasis, WorldMem 등 최신 베이스라인 모델과 비교 평가했습니다.

• 정량적 평가 (FVD): PERSIST 는 Frechet Video Distance (FVD) 에서 기존 모델들보다 월등히 낮은 점수 (더 좋음) 를 기록했습니다. (예: PERSIST-XL: 181 vs Oasis: 706).
• 정성적 평가 (사용자 연구): 28 명의 참가자를 대상으로 한 사용자 연구에서 3D 공간 일관성, 시간적 안정성, 전체적인 품질 모든 항목에서 베이스라인을 크게 상회했습니다.
  • 특히 긴 시간 (600 스텝 이상) 동안의 시뮬레이션에서 객체의 형태 유지와 공간적 일관성 면에서 압도적인 우위를 보였습니다.
• 초기화 조건: 3D 세계 프레임 (w0) 을 명시적으로 입력으로 주면 (PERSIST-XL+w0), 성능이 더욱 향상되어 FVD 116 을 기록했습니다.

5. 의의 및 결론 (Significance)

이 연구는 인터랙티브 월드 모델링의 패러다임을 '픽셀 히스토리'에서 '지속적인 3D 상태'로 전환시켰다는 점에서 의의가 큽니다.

• 신뢰성 있는 시뮬레이션: 장기적인 에이전트 훈련 (Embodied AI) 에 필요한 안정적이고 일관된 가상 환경을 제공합니다.
• 제어 가능성: 사용자는 생성된 경험에 대해 3D 공간에서 직접 개입하고 수정할 수 있어, 게임 개발이나 디지털 트윈 시뮬레이션에 새로운 가능성을 열었습니다.
• 미래 과제: 현재는 학습 시 3D 정답 데이터 (Ground Truth) 가 필요하다는 한계가 있으나, 이를 해결하기 위해 2D-to-3D 기초 모델을 활용한 합성 데이터 학습이나, 3D 메모리 뱅크를 통한 무제한 공간 기억 확장 등의 방향을 제시했습니다.

요약하자면, PERSIST 는 생성형 AI 가 단순한 영상 합성을 넘어, 물리적으로 일관되고 기억력이 있는 3D 세계를 실시간으로 시뮬레이션할 수 있는 토대를 마련한 획기적인 연구입니다.