🤖 AI

Nano World Models: A Minimalist Implementation of Future Video Prediction

본 논문은 다양한 환경에서 세계 모델 설계 선택에 대한 통제된 과학적 연구를 가능하게 하기 위해 확산 강제에 기반하여 구축된 간결하고 재현 가능한 코드베이스인"나노 월드 모델"을 소개하며, 이는 비디오 예측의 다양한 구성 요소를 통합합니다.

원저자: Siqiao Huang, Partha Kaushik, Michael Chen, Hengkai Pan, Omar Chehab, Fernando Moreno-Pino, Max Simchowitz

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Siqiao Huang, Partha Kaushik, Michael Chen, Hengkai Pan, Omar Chehab, Fernando Moreno-Pino, Max Simchowitz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마법 같은 수정 구슬을 상상해 보세요. 그것은 단순히 미래를 보여줄 뿐만 아니라, 그 미래와 상호작용할 수 있게 해줍니다. "이 블록을 밀면 무슨 일이 일어날까?" 또는 "왼쪽으로 돌면 어떨까?"라고 질문하면, 구슬은 즉시 다음 몇 초간의 비디오를 보여줍니다.

이것이 바로 **나노 월드 모델 (NanoWM)**의 핵심입니다. 이는 연구자들이 로봇과 비디오 게임을 위한 이러한 "수정 구슬"을 구축하고 연구하는 데 도움이 되도록 만든 새로운 오픈 소스 툴킷입니다.

다음은 일상적인 비유를 사용하여 작동 방식과 발견된 내용을 간략히 정리한 것입니다:

1. 문제: 너무 많은 다른 레시피

현재 이러한 "미래 예측" 모델을 구축하는 것은 모든 제빵사가 다른 오븐, 다른 계량컵, 그리고 다른 비밀 재료를 사용하여 케이크를 굽는 것과 같습니다. 어떤 이들은 거대하고 비싼 산업용 오븐 (산업용 모델) 을 사용하는 반면, 다른 이들은 작고 고장 난 토스터를 사용합니다. 모두가 다르게 하므로, 왜 한 케이크가 다른 케이크보다 더 맛있는지 왜인지 알기 어렵습니다. 밀가루 때문일까요? 오븐 때문일까요? 아니면 제빵사 때문일까요?

NanoWM은 범용 모듈식 주방과 같습니다. 이는 모두에게 동일한 도구 세트, 동일한 계량컵, 동일한 오븐 설정을 제공합니다. 이렇게 하면 "설탕을 더 넣는 것" (특정 설계 선택) 이 케이크를 더 좋게 만드는지 테스트하고 싶을 때, 오븐이 고장 났다는 걱정 없이 공정하게 수행할 수 있습니다.

2. 핵심 엔진: "확산 강제 (Diffusion Forcing)"

이 논문은 확산 강제라는 기술을 사용합니다. 이는 점점 선명해지는 흐릿한 사진과 같습니다.

일반적으로 모델은 한 번에 전체 미래 장면을 추측하려 하는데, 이는 어렵습니다.
확산 강제를 사용하면 모델이 단계별로 미래를 추측합니다. 매우 흐릿하고 잡음이 많은 추측으로 시작하여 마치 선명한 비디오 프레임처럼 보일 때까지 서서히 "잡음을 제거"합니다.
"강제" 부분은 비디오의 서로 다른 부분을 서로 다른 선명도 단계에서 처리할 수 있음을 의미합니다. "현재"는 선명하게 유지하면서 "미래"는 여전히 약간 흐릿하게 둔 다음, 그것도 선명하게 만들 수 있습니다. 이는 길고 연속적인 비디오에 매우 적합합니다.

3. "레고" 디자인 (모듈성)

NanoWM 의 가장 큰 특징은 레고 블록처럼 구축되었다는 점입니다. 서로 다른 조각을 연결하여 어떤 일이 일어나는지 확인할 수 있습니다:

뇌 크기: 작은 뇌 (4 천만 개 파라미터) 를 거대한 뇌 (8 억 3 천만 개 파라미터) 로 교체하여 항상 큰 것이 더 좋은지 확인할 수 있습니다.
언어: 모델이 데이터의 서로 다른 "언어"를 배우도록 가르칠 수 있습니다. 일부 모델은 원시 픽셀 (카메라처럼) 을 보는 반면, 다른 모델은 "개념" (형태와 객체를 이해하는 인간처럼) 을 봅니다.
조작: 모델이 사용자의 지시 (동작) 를 어떻게 듣는지 변경할 수 있습니다. 단순히 옆에 메모를 추가할까요? 아니면 사용자의 지시에 따라 전체 성격을 바꿀까요?

4. 발견된 내용 (연구 결과)

연구자들은 이 툴킷을 사용하여 많은 실험을 수행했고 몇 가지 놀라운 사실을 발견했습니다:

크기가 항상 정답은 아니지만 도움이 됩니다: 일반적으로 더 큰 모델 ("XL" 버전) 이 작은 모델보다 미래를 더 정확하게 예측했습니다.
"언어"가 매우 중요합니다: 이는 큰 놀라움이었습니다. 그들은 "의미론적" 언어 (객체의 형태와 의미를 이해하는 DINO 또는 V-JEPA 등) 를 사용하여 모델을 가르쳐 보는 것과 "시각적" 언어 (그림이 어떻게 생겼는지 기억하는 VAE 등) 를 사용하여 모델을 가르쳐 보는 것을 시도했습니다.
- 결과: "시각적" 언어를 학습한 모델은 계획 수립에 탁월했습니다. 그들은 블록을 목표 지점으로 밀어내는 방법을 파악할 수 있었습니다.
- 실패: "의미론적" 언어를 학습한 모델 (개념을 "이해"하는 모델) 은 계획 수립에 완전히 실패했습니다. 비록 그들이 똑똑해 보였음에도 불구하고, 블록을 움직이는 방법을 파악하지 못했습니다. 사실, 로봇이 물건을 움직이는 법을 배우려면 객체가 무엇인지가 아니라 픽셀이 정확히 어떻게 생겼는지 기억해야 한다는 것이 밝혀졌습니다.
"드리프트" 문제: 모델에게 매우 먼 미래 (예: 50 초 후) 를 예측하도록 요청하면, 모델은 자신의 예측에 약간 "취한" 상태가 되기 시작합니다. 처음 몇 초는 완벽하지만, 끝이 가까워질수록 세부 사항이 흐릿하고 기이해집니다. 논문은 각 프레임에 대해 모델에게 더 많은 "생각" 시간 (더 많은 샘플링 단계) 을 주면 더 오래 선명하게 유지된다는 것을 발견했습니다.

5. 이를 통해 무엇을 할 수 있나요?

논문은 이러한 모델을 사용하는 두 가지 주요 방법을 강조합니다:

시뮬레이터: 실제 수행하기 전에 계획을 테스트하는 데 모델을 사용할 수 있습니다. "이 경로를 시도하면 벽에 부딪힐까요?" 모델은 비디오를 시뮬레이션하여 확인하게 합니다.
3D 빌더: 모델이 생성한 비디오를 가져와 3D 장면으로 변환할 수 있습니다. 마치 영화를 비디오 게임 세계로 바꾸어 주변을 돌아다닐 수 있게 하는 것과 같습니다.

결론

Nano 월드 모델은 세계에서 가장 크고 비싼 AI 를 구축하려는 것이 아닙니다. 대신, 그것은 과학 실험실을 구축하는 것입니다. 이는 연구자들이 추측을 멈추고 테스트를 시작할 수 있게 해주는 무료 오픈 소스 키트입니다. 이는 어떤 "재료"가 월드 모델을 똑똑하게 만들고 어떤 것이 실패하게 만드는지 정확히 이해하도록 도와주며, 이를 통해 미래에 더 나은 로봇과 시뮬레이터를 구축할 수 있게 합니다.

연구자들은 모든 코드, 데이터, 사전 훈련된 모델을 무료로 공개하여 전 세계가 레고 블록을 가지고 놀고 AI 의 미래를 구축하는 데 함께할 수 있도록 초대했습니다.

기술 요약: 나노 월드 모델

문제 제기

산업 규모 대화형 비디오 생성 및 월드 모델의 급속한 발전에도 불구하고, 광범위한 연구 커뮤니티는 이러한 시스템의 근본적인 설계 선택을 연구하기 위한 소형, 재현 가능, 그리고 쉽게 확장 가능한 구현체를 부족하게 가지고 있습니다. 현재 연구는 다양한 데이터셋, 학습 레시피, 평가 프로토콜, 그리고 하위 작업에 걸쳐 파편화되어 있어 엄격한 과학적 비교를 어렵게 만듭니다. 또한, 산업용 모델은 높은 시각적 충실도를 달성하지만, 복잡한 독점 파이프라인 뒤에 숨겨진 아키텍처 선택, 학습 목적, 데이터 구성의 구체적인 기여를 종종 가립니다. 연구자들이 전체 파이프라인을 다시 작성하지 않고도 특정 설계 축 (예: 예측 목표, 잠재 공간, 행동 주입) 을 격리하고 실험할 수 있도록 월드 모델링을 과학적 도구로 취급하는 "배터리 포함 (batteries-included)" 프레임워크가 필요합니다.

방법론

**나노 월드 모델 (Nano World Models)**은 미래 비디오 예측을 위한 통합 인터페이스로서 **디퓨전 포싱 (Diffusion Forcing)**을 중심으로 한 미니멀리즘 오픈소스 PyTorch 코드베이스입니다. 이 프레임워크는 여러 차원에 걸쳐 모듈식 실험을 지원하도록 설계되었습니다.

통합 인터페이스 (디퓨전 포싱): 핵심 추상화는 노이즈 인덱스 집합 $K$ 를 통해 궤적의 서로 다른 프레임이 생성 과정의 서로 다른 단계를 차지할 수 있게 합니다. 노이즈 스케줄을 조정함 (예: 컨텍스트 프레임은 깨끗하게 유지하고 미래 프레임에 노이즈 추가) 으로 동일한 모델 인터페이스가 교사 강제 예측, 마스킹된 미래 예측, 자기회귀 롤아웃을 지원합니다.
생성 목적 함수: 이 프레임워크는 다양한 예측 목표 ( $x$ -예측, $\epsilon$ -예측, $v$ -예측) 와 함께 디퓨전 및 플로우 매칭 목적 함수를 지원합니다. 이들은 동일한 학습 루프 내에서 교체 가능한 구성 요소로 구현됩니다.
아키텍처 및 확장성: 이 시스템은 잠재 비디오 토큰에 대한 트랜스포머 백본을 지원하며, **NanoWM-S (40M)**에서 **NanoWM-XL (830M)**까지 다양합니다. 잠재 해상도를 제어하기 위해 다양한 패치 크기 (예: /2, /4, /8) 를 포함합니다.
행동 조건부: 요소별 덧셈, 적응형 레이어 정규화 (AdaLN), FiLM, 크로스 어텐션을 포함한 모델에 행동 시퀀스를 주입하는 여러 메커니즘이 지원됩니다.
잠재 공간: 이 모델은 원시 픽셀이 아닌 인코딩된 관측치를 예측합니다. 세 가지 유형의 잠재 공간을 지원합니다.
- SD-VAE: 재구성에 중점을 두며 RGB 로 디코딩 가능.
- Web-DINO: 의미론적/기하학적 지향 자기지도 학습 특징.
- V-JEPA: 비디오 사전 훈련된 예측 특징.
장기적 생성: 생성된 프레임이 후속 예측을 위한 컨텍스트로 사용되는 슬라이딩 윈도우 접근 방식을 사용하여 학습 지평을 넘어선 자기회귀 롤아웃을 가능하게 합니다.
응용 분야: 이 프레임워크에는 3D 장면 생성 (롤아웃을 포인트 클라우드/가우시안 스플랫로 내보내기) 과 목표 조건부 계획 (모델을 모델 예측 제어용 시뮬레이터로 사용) 을 위한 인터페이스가 포함되어 있습니다.

주요 기여

모듈식 프레임워크: 학습 및 샘플링 파이프라인에서 설계 선택 (목적 함수, 아키텍처, 잠재 공간, 행동 주입) 을 분리하는 통합 코드베이스로, 통제된 제거 실험을 가능하게 합니다.
오픈소스 생태계: 이 프로젝트는 코드, 구성, 평가 스크립트, 그리고 다양한 모델 크기와 환경에 걸친 12 개 이상의 사전 훈련된 체크포인트를 완전히 오픈소스로 공개합니다.
포괄적인 제거 실험: 이 논문은 간단한 제어, 게임 시뮬레이션, 실제 로봇 데이터에 걸쳐 특정 설계 선택이 성능에 미치는 영향에 대한 경험적 데이터를 제공합니다.
표준화된 평가: 시각적 충실도 (PSNR, SSIM, LPIPS, FID) 와 의사결정 능력 (계획에서의 성공률) 을 다루는 고정 시드, 재현 가능한 평가 프로토콜.

주요 결과 및 발견

이 논문은 D4RL (미로, 벽), PushT, 로프, 과립, CS:GO, RT-1 을 포함한 환경에서의 실험에서 도출된 여섯 가지 주요 발견을 제시합니다.

예측 목표: $\epsilon$ -예측은 $x$ 및 $v$ -예측에 비해 성능이 떨어집니다. $x$ -예측은 최고의 재구성 지표 (PSNR, SSIM) 를 제공하며, $v$ -예측은 최고의 분포 유사성 (FID) 을 제공하므로 기본값으로 채택됩니다.
확장성: 성능은 모델 크기에 따라 단조롭게 향상됩니다. NanoWM-S 에서 NanoWM-L 로 확장하면 RT-1 데이터셋에서 모든 시각적 충실도 지표가 일관되게 향상됩니다.
행동 주입: 행동 주입의 효과는 작업에 따라 다릅니다. FiLM은 RT-1 에서 최고의 시각적 충실도를 달성하는 반면, 간단한 요소별 덧셈 기준선은 PushT 에서 가장 좋은 성능을 보이며 최고의 품질 - 매개변수 트레이드오프를 제공합니다.
잠재 공간 및 계획: 의미론적 잠재 공간 (Web-DINO, V-JEPA) 은 자동으로 계획에 더 나은 월드 모델을 제공하지는 않습니다. PushT 작업에서 SD-VAE(재구성에 중점을 둔) 잠재 공간만이 0 이 아닌 목표 달성 성공률 (25%) 을 달성했습니다. 의미론적 잠재는 동일한 학습 인터페이스를 사용했음에도 불구하고 행동 조건부 역학을 학습하지 못해 거의 행동과 무관하게 되었습니다.
장기적 롤아웃: 모델은 그럴듯한 장기적 롤아웃을 생성할 수 있지만, 자기회귀 생성은 필연적으로 시간이 지남에 따라 지각적 오류를 누적합니다. DDIM 샘플링 예산을 늘리면 이러한 누적 오류를 일관되게 완화합니다.
도메인 일반화: 동일한 학습 및 평가 레시피가 내비게이션, 탁상 밀기, 변형 가능한 조작, 그리고 실제 로봇 데이터에 걸쳐 작동합니다. 성능은 더 간단한 시뮬레이션 도메인에서 가장 높으며 시각적 또는 역학적으로 복잡한 도메인 (예: 과립, RT-1) 에서는 감소합니다.

의의

저자들은 나노 월드 모델을 최첨단 산업용 시뮬레이터가 아닌 연구 커뮤니티를 위한 **과학적 기저 (scientific substrate)**로 위치시킵니다. 그 의의는 새로운 모놀리식 기술을 발명하는 것에서 "더 미묘한 과학적 설계 결정"에 대한 세밀한 이해를 개발하는 것으로 연구 초점을 전환하는 데 있습니다. 미니멀리즘, 모듈식, 그리고 완전히 공개된 플랫폼을 제공함으로써 이 프로젝트는 월드 모델 연구를 민주화하여 데이터셋, 목적 함수, 아키텍처가 동일한 언어로 소통할 수 있는 "바벨 탑"을 구축할 수 있도록 커뮤니티를 지원하고자 합니다. 이 프레임워크는 특정 모델링 결정이 예측, 상호작용, 계획을 어떻게 지배하는지에 대한 통제된 연구를 용이하게 하여, 현재 해당 분야의 파편화 문제를 해결합니다.