🤖 machine learning

DreamForge-World 0.1 Preview: A Low-Compute Real-Time Controllable World Model

DreamForge-World 0.1 Preview는 RTX 4090에서 최대 15 FPS의 속도로 키보드 및 마우스 제어를 통한 실시간 상호작용 비디오 시뮬레이션을 가능하게 하기 위해 잔차 액션 경로(residual action pathway)를 적용하여 Wan2.1 유래의 LongLive 1 아키텍처를 변형한 저연산, 소비자용 GPU 친화적 기초 월드 모델입니다.

원저자: Daniyel Ayupov, Artur Markov-Tsoy

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daniyel Ayupov, Artur Markov-Tsoy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 마법 같은 무한한 이야기책을 가지고 있다고 상상해 보세요. 보통 이야기를 쓸 때는 문장을 입력하면 책이 다음 페이지를 써 내려갑니다. 하지만 이 새로운 발명품인 DreamForge-World 0.1은 다릅니다. 이 책은 당신이 읽는 동안 당신의 말을 듣는 이야기책입니다.

이 논문이 무엇에 관한 것인지 일상적인 비유를 사용하여 간단히 설명해 드리겠습니다:

1. 핵심 아이디어: "라이브" 영화 제작기

대부분의 AI 비디오 생성기는 당신이 식사를 하기 전에 요리를 모두 끝내 놓는 셰프와 같습니다. 당신이 레시피(텍스트 프롬프트)를 주면, 그들은 완성된 비디오 클립을 내놓습니다.

DreamForge-World 0.1은 당신 앞에서 한 입씩 요리하는 셰프와 같습니다. 당신이 "매콤하게 만들어줘"라고 말하면, 셰프는 현재 먹고 있는 한 입에 후추를 더합니다. 그다음 당신이 "이제 면을 넣어줘"라고 말하면, 셰프는 즉시 면을 섞어 넣습니다. 당신이 계속 말을 하거나 마우스를 움직이는 한 비디오는 멈추지 않고 계속됩니다. 이것은 당신이 멈추라고 말할 때까지 끝나지 않는 실시간 인터랙티브 영화입니다.

2. 비밀 소스: "저사양 컴퓨팅"의 마법

보통 이러한 인터랙티브 월드를 만드는 데는 거대한, 값비싼 슈퍼컴퓨터(마치 거대한 공장 같은 것)가 필요합니다. 이 팀은 일반적이고 강력한 가정용 컴퓨터(구체적으로, RTX 4090이라는 단일 그래픽 카드)에서도 실행 가능한 "주방 규모"의 버전을 만들 수 있는지 확인하고 싶었습니다.

비유: 다른 월드 모델들이 거대한 테마파크를 짓는 것이라고 생각한다면, DreamForge는 커피 테이블 위에 올려놓을 수 있는 정말 인상적이고 상세한 모형 기차 세트를 만드는 것과 같습니다. 테마파크만큼 크지는 않지만, 완전히 기능하며 지금 바로 플레이할 수 있고, 이를 운영하기 위해 건설팀이 필요하지 않습니다.

3. 작동 방식 (레시피)

이 팀은 로봇을 처음부터 만들지 않았습니다. 대신, 두 가지 기존의 강력한 도구를 가져와서 서로 붙였습니다:

베이스 (LongLive/Wan): 이것은 비디오의 다음 장면이 어떻게 될지 예측하는 데 매우 능숙한 도구입니다. 이것은 장면을 계속 이어갈 줄 아는 매우 재능 있는 즉흥 연기 배우와 같습니다.
컨트롤러 (Matrix-Game 스타일): 그들은 "리모컨" 레이어를 추가했습니다. 이를 통해 당신은 영화가 재생되는 동안 키보드와 마우스를 사용하여 배우에게 무엇을 할지(점프, 회전, 달리기 등) 지시할 수 있습니다.

그들은 이 조합을 상대적으로 적은 양의 게임 데이터(약 64시간)로 학습시켰습니다. 이 규모를 체감해 보자면, 다른 유사한 프로젝트들은 1,200시간에서 30,000시간의 데이터를 사용했습니다. 이는 30,000시간 동안 운전 영상을 보는 대신, 64시간의 운전 영상을 보고 운전을 배우는 것과 같습니다.

4. 실제로 무엇을 할 수 있나요?

논문은 이 시스템이 현재 할 수 있는 몇 가지 "묘기"를 나열합니다:

어디서든 시작하기: 단어만으로 시작할 수 있고("동굴 속의 용"), 사진이나 짧은 비디오 클립을 업로드하여 그 정확한 순간으로부터 이야기를 이어갈 수도 있습니다.
진행 도중 마음 바꾸기: 만약 AI가 해변 장면을 만들고 있는데, 당신이 갑자기 "이제 쓰나미가 덮쳐"라고 입력하면, 전체 비디오를 다시 시작하지 않고도 이야기가 즉시 쓰나미 장면으로 바뀝니다.
시점 전환: 당신은 캐릭터의 시점(1인칭, 마치 당신이 캐릭터인 것처럼)이나 캐릭터의 모습을 관찰하는 시점(3인칭, 마치 영화를 보는 것처럼)으로 액션을 볼 수 있습니다. 시스템은 이러한 서로 다른 각도를 처리하기 위해 두 가지 다른 "두뇌 모드"를 사용합니다.
속도: 고성능 가정용 컴퓨터에서 초당 약 14~15프레임을 보여줄 만큼 충분히 빠르게 실행되어 게임처럼 느껴집니다.

5. "하지만..." (한계점)

이 논문은 이 도구가 아직 할 수 없는 것에 대해 매우 솔직합니다. 이것은 완성된 제품이 아니라 "프리뷰(미리보기)"입니다.

"건망증" 문제: 이 시스템은 장기 기억력이 없습니다. 만약 당신이 카메라를 돌려 나무를 보지 않았다가 다시 돌렸을 때, AI는 방금 전의 나무를 잊어버리고 그 자리에 새로운, 다른 나무를 그려낼 수 있습니다. 그것은 자신이 방금 만든 세계를 기억하지 못합니다.
"흐릿함" 문제: 만약 오랫동안(몇 분 동안) 플레이하면 비디오 품질이 저하되기 시작합니다. AI가 자신의 불완전한 추측을 바탕으로 계속 추측하기 때문에 색상이 너무 밝아지거나 질감이 뭉개질 수 있습니다.
물리 법칙 및 사운드 없음: 이것은 시각적인 트릭입니다. 중력, 충돌 또는 소리를 실제로 시뮬레이션하지 않습니다. 단지 매우 설득력 있는 시각적 환상일 뿐입니다.

요약

DreamForge-World 0.1은 개념 증명(proof-of-concept)입니다. 이는 실시간 인터랙티브 비디오 월드를 만들기 위해 반드시 수십억 달러짜리 슈퍼컴퓨터가 필요한 것은 아니라는 점을 증명합니다. 기존의 도구들을 영리하게 결합하고 "완벽함"보다는 "충분히 괜찮음"에 집중함으로써 가정용 컴퓨터에서도 가능하다는 것을 보여줍니다.

이것은 자전거 부품과 잔디깎이 기계를 사용하여 운전 가능한 자동차를 만들 수 있다는 것을 보여주는 것과 같습니다. 페라리는 아니고 GPS도 없지만, 엔진이 작동한다는 것을 증명하며 지금 당장 동네 한 바퀴를 돌 수 있다는 것을 보여줍니다.

기술 요약: DreamForge-World 0.1 프리뷰

문제 정의

상호작용형 월드 모델(Interactive World Models) 분야는 현재 지연 시간(실시간 응답성)과 상태 유지(장기적 일관성 및 메모리) 사이의 트레이드오프를 중심으로 구성되어 있습니다. 프런티어급 시스템(예: Genie 3, World Play)은 지속적인 공간 메모리와 엔진 수준의 제어를 우선시하지만, 종종 방대한 계산 자원과 복잡한 메모리 검색 메커니즘을 필요로 합니다. 반면, 경량화된 시스템들은 긴 시간 동안 일관되고 제어 가능한 롤아웃(rollout)을 유지하는 능력이 부족한 경우가 많습니다.

DreamForge-World 0.1 Preview는 이와 보완적인 운영 지점을 다룹니다: 즉, 제한된 적응 연산(adaptation compute) 하에서 폭넓은 상호작용 기능 커버리지를 달성하는 것입니다. 목표는 거대 모델에 필요한 방대한 학습 데이터나 메모리 인프라 없이도, 소비자급 GPU(구체적으로 단일 RTX 4090)에서 실행 가능한 실시간 제어 가능 월드 모델 프리뷰를 위한 실질적인 경로를 입증하는 것입니다. 본 시스템은 실시간 제어, 멀티모달 초기화, 분 단위의 롤아웃을 지원하는 것을 목표로 하지만, 아직 "메모리 완결성"이나 프런티어 품질의 시뮬레이터는 아님을 인정합니다.

방법론

1. 아키텍처 및 백본(Backbone)

이 시스템은 Wan2.1-T2V-1.3B에서 파생된 오토레그레시브(autoregressive) 비디오 스택인 LongLive 1을 기반으로 구축되었습니다. LongLive는 다음과 같은 기초적인 인과적 오토레그레시브 특성을 제공합니다:

프레임 단위의 오토레그레시브 롤아웃.
효율적인 스트리밍 추론을 위한 KV-캐시 메커니즘.
숏 윈도우 어텐션(short-window attention) 및 프레임 싱크 컨텍스트(frame-sink context).
프롬프트 전환 능력.

2. 제어 메커니즘: 잔차 액션 경로(Residual Action Pathway)

상호작용 제어를 가능하게 하기 위해, 저자들은 Matrix-Game 계열에서 영감을 얻은 잔차 액션 경로를 채택하여 수정하였습니다.

백본 적응: 먼저 LongLive/Wan 백본에 대해 NitroGen 및 GameGen-X 데이터셋의 게임플레이 영상을 사용하여 Rank-64 LoRA를 학습시킴으로써, 명시적인 제어 없이도 비디오 사전 지식(prior)을 상호작용 가능한 도메인으로 적응시켰습니다.
액션 주입: Matrix-Game 2.0 스타일의 액션 컨디셔닝 가중치를 LongLive 기반의 DiT에 이식했습니다. 이후 이 모듈을 짧게 미세 조정(fine-tuning)하여 액션 특징이 적응된 백본과 정렬되도록 했습니다.
시점별 체크포인트: 1인칭(egocentric) 및 3인칭(external) 뷰의 서로 다른 요구 사항을 처리하기 위해, 액션 모듈 위에 두 개의 고순위(high-rank) LoRA 어댑터를 학습시켰습니다. 이들은 관점 드리프트(perspective drift)를 방지하기 위해 $x_0$ MSE 목적 함수와 궤적/포즈 손실(Depth Anything 3에 의해 감독됨)을 사용합니다. 결과물인 가중치는 액션 모듈에 융합되어, 원하는 뷰 모드에 따라 특정 체크포인트를 선택할 수 있게 합니다.

3. 멀티모달 초기화

프롬프트 전환에 의존하는 기존의 LongLive 인터페이스와 달리, DF-World 0.1은 잠재 이력 컨디셔닝(latent history conditioning)을 통한 멀티모달 초기화를 도입했습니다:

이미지/비디오 엔트리: 입력 이미지 또는 비디오 세그먼트를 동일한 잠재 공간으로 인코딩하여 "클린 초기 이력(clean initial history)" 접두사로 삽로 삽입합니다.
연속성: 텍스트 프롬프트 및 실시간 액션 스트림 하에서 이 접두사로부터 오토레그레시브 루프가 계속되어, 이미지-투-월드(image-to-world) 및 비디오-투-월드(video-to-world) 진입점을 가능하게 합니다.

4. 런타임 최적화

추론 스택은 소비자용 하드웨어에 최적화되었습니다:

비동기 스트리밍: 지연 시간을 줄이기 위해 생성(generation)과 VAE 디코딩을 분리했습니다.
양자화: KV-캐시 양자화 및 저정밀도(fp8) 실행 경로가 구현되었습니다.
캐시 관리: 긴 시퀀스 동안 발생하는 드리프트를 완화하기 위해 Deep Forcing 방식의 학습 불필요 캐시 관리(training-free cache management)가 사용됩니다.
디코더 옵션: 시스템은 기본 Wan2.1 VAE와 처리량을 개선하기 위한 더 가벼운 LightTAEW 2.1 디코더를 모두 지원합니다.

주요 결과

성능 지표

시스템은 단일 RTX 4090에서 네이티브 480p (480×832) 해상도로 실시간 상호작용 롤아웃을 달성합니다:

FPS: 기본 VAE(bf16) 사용 시 ~10–12 FPS, LightTAEW 2.1(fp8) 사용 시 14–15 FPS 범위를 나타냅니다.
메모리 점유율: 정밀도 및 디코더 선택에 따라 ~4GB에서 ~9GB VRAM 사이입니다.
호라이즌(Horizon): 분 단위의 상호작용 롤아웃을 지원하며, 첫 1분이 가장 강력한 질적 창(qualitative window)을 제공합니다.

기능적 역량

프리뷰는 단일 런타임 내에서 6가지 통합된 기능을 보여줍니다:

프롬프트 전용 롤아웃: 텍스트 기반 궤적 초기화.
멀티모달 엔트리: 텍스트, 이미지, 비디오 또는 혼합 컨텍스트로부터의 초기화.
라이브 컨트롤: 실시간 키보드 및 마우스 컨디셔닝 (이동, 점프, 스프린트, 앉기, 액션).
듀얼 뷰 동작: 1인칭 및 3인칭 관점을 위한 별도의 제어 경로.
중간 스트림 리프롬프팅(Mid-stream Reprompting): 활성 롤아웃 중 재시작 없이 의미적 조건 업데이트.
연속성: 초기 프롬프트를 넘어선 오토레그레시브 생성.

효율성 비교

시스템은 단 64시간의 큐레이션된 게임플레이/제어 비디오 데이터셋으로 학습되었습니다. 이는 유사한 시스템들과 비교했을 때 현저히 작은 규모입니다:

Matrix-Game 2.0: 약 1,200시간 (18.8배 더 큼).
Genie: 약 30,000시간 (468.8배 더 큼).

한계점

논문은 몇 가지 현재의 제약 사항을 명시적으로 밝히고 있습니다:

메모리 및 재방문 일관성: 시스템에는 지속적인 공간 메모리가 없습니다. 사용자가 특정 지역에서 고개를 돌렸다가 다시 돌아오면, 장면 내용이 보존되기보다 재합성되어 일관성이 깨지는 현상(예: 이전에 비어 있던 공간에 새로운 나무가 나타남)이 발생합니다.
장기 호라이즌 드리프트: 시간이 지남에 따라 모델이 자신의 불완전한 이력에 컨디셔닝되면서 품질, 객체 정체성 및 텍스트 충실도가 저하됩니다.
제어 정밀도: 키보드/마우스 입력이 궤적에 영향을 주지만, 액션의 다양성과 정밀도는 명시적인 시뮬레이션 표준에는 미치지 못합니다. 공격적인 카메라 움직임은 장면을 불안정하게 만들 수 있으며, 3인칭 제어는 1인칭보다 더 취약한 것으로 관찰되었습니다.
범위: 본 프리뷰에는 사운드 생성, 멀티 에이전트 상호작용, 또는 지속적인 객체와의 신뢰할 수 있는 물리적 상호작용이 포함되지 않았습니다.

의의 및 주장

저자들은 DreamForge-World 0.1 Preview를 프런티어 규모의 시뮬레이터를 대체하는 것이 아니라, 실시간 제어 가능한 월드 모델을 향한 실용적이고 저연산 중심의 경로를 보여주는 데 위치시킵니다.

설계 공간: 본 모델은 시각적 충실도나 메모리 규모보다는 "단위 직접 적응 연산당 기능 커버리지"로 정의되는 독특한 영역을 점유합니다.
실현 가능성: 개방형 비디오 백본의 타겟 적응(targeted adaptation)을 통해 멀티모달 진입, 라이브 제어, 리프롬프팅을 지원하는 기능적인 상호작용 월드 모델 루프를 소비자용 GPU에서 구축할 수 있음을 증명합니다.
향후 방향: 이 작업은 지속적 메모리, 더 큰 백본, 개선된 듀얼 뷰 안정성을 목표로 하는 차기 버전(예: DF-World 0.5)을 위한 베이스라인을 설정하며, 현재의 기여는 저연산 적응 레시피 자체의 유효성을 검증하는 것입니다.