기술 요약: 디코딩이 아닌 렌더링: 잠재적 구조적 분리성을 가진 가중치 공간 세계 모델

문제 제기

세계 모델 및 비디오 생성을 훈련하는 지배적인 패러다임은 원시 픽셀을 불투명한 추상적 잠재 공간으로 인코딩하고 프레임을 재구성하기 위해 무겁고 학습된 디코더에 의존하는 방식을 취합니다. 이 접근법은 세 가지 치명적인 한계를 제시합니다:

1. 계산 및 해석 가능성 병목 현상: 디코더는 파라미터의 불균형적으로 많은 양 (일부 토크나이저의 경우 최대 87%) 을 소비하며 해석 불가능한 파라미터를 도입하여 안전이 중요한 응용 분야를 방해합니다.
2. 해상도 경직성: 잠재 공간이 특정 디코더 아키텍처에 묶여 있기 때문에 출력 해상도를 변경하려면 비용이 많이 드는 재훈련이나 사후 업샘플링이 필요합니다.
3. 구조적 분리성 부재: 추상적 잠재 공간은 의미론적 또는 기하학적 해석이 결여되어 있습니다. 배경, 전경, 움직임을 분리하려면 일반적으로 보조 손실, 적대적 목적 함수, 또는 복잡한 아키텍처 분해가 필요하며, 이는 구조적 보장은 없이 훈련 복잡성만 증가시킵니다.

또한, 신경망 가중치를 데이터 포인트로 취급하는 가중치 공간 학습 (WSL) 은 시계열 모델링에서 유망한 결과를 보여왔으나, 수치적 폭발을 방지하기 위해 종종 공격적인 클리핑이 필요한 급격한 안정성 문제로 인해 비디오 모달리티에서는 테스트되지 않았습니다.

방법론: NOVA 프레임워크

저자들은 NOVA(Neural Ontology for Visual Abstraction, 시각적 추상을 위한 신경 존재론) 를 소개합니다. 이는 암시적 신경 표현 (INR) 의 가중치 공간 내에서 완전히 작동하는 세계 모델입니다. NOVA 는 추상적 벡터를 픽셀로 디코딩하는 대신, 시스템 상태를 좌표 기반 MLP 의 가중치와 편향으로 표현합니다.

핵심 아키텍처

NOVA 는 객체 중심 비디오 구조를 반영하는 3 단계 의미론적 존재론을 사용하여 가중치 공간에서 역학을 진화시킵니다:

1. 베이스 가중치 ($\bar{z}$): 전체 데이터셋에 걸쳐 공유되는 단일 파라미터 세트로, 정적 요소 (예: 배경) 를 인코딩하도록 학습됩니다. 이는 데이터셋 수준의 사전 지향 역할을 하며, 예측을 잔차로 프레임함으로써 훈련을 안정화합니다.
2. 프레임 오프셋 ($z_t$): 현재 프레임에 존재하지만 전역적으로 공유되지 않는 동적 전경 콘텐츠 (객체 정체성) 를 인코딩하는 프레임별 가중치 오프셋입니다.
3. 잠재 행동 ($u_t$): 프레임 간 움직임을 지시하는 신호입니다.

아키텍처는 다음과 같이 구성됩니다:

• 인코더: 프레임 $o_t$를 가중치 공간 오프셋 $z_t$로 매핑하는 스트라이드 컨볼루션 백본입니다.
• 역동역학 모델 (IDM): 연속된 인코딩 상태 $(z_t, z_{t+1})$로부터 잠재 행동 $u_t$를 추론합니다.
• 순방향 역동학 모델 (FDM): 가법적 공식을 사용하여 다음 상태를 예측합니다: $z_{t+1} = A(z_t) + B(u_t)$.
  • $A$는 현재 상태 (콘텐츠/정체성) 를 처리합니다.
  • $B$는 행동 (운동/역학) 을 처리합니다.
  • 이 분리는 보조 손실 없이 분리성을 가능하게 하는 메커니즘입니다.
• 렌더러: 결합된 가중치 $\theta_t = \text{unflat}(\bar{z} + z_t)$를 사용하여 공간 좌표 $(x, y)$를 픽셀 값으로 매핑하는 분석적이고 고정된 MLP 입니다. 핵심적으로, 이 렌더러는 훈련되지 않습니다; 이는 수학적 함수입니다.

훈련 절차

훈련은 세 단계로 진행됩니다:

1. 사전 훈련: 프레임별 재구성 손실 (MSE + SSIM) 을 최소화하도록 인코더와 베이스 잠재 $\bar{z}$를 훈련합니다.
2. 역동학 학습: 인코더와 $\bar{z}$를 고정시킨 상태에서, 잠재 전이 목적 함수 $\|z_{t+1} - A(z_t) - B(u_t)\|^2$를 최소화하도록 FDM 과 IDM 을 훈련합니다.
3. 생성적 제어: 생성적 제어 모델 (GCM) 이 훈련되어 $z_t$와 이전 행동으로부터 행동을 $u_t$를 자기회귀적으로 예측합니다. 이는 일반적으로 LSTM, GRU, 또는 Transformer 와 같은 인과적 시퀀스 모델이며, 실제 행동 없이 자율적인 비디오 생성을 가능하게 합니다.

주요 기술적 혁신

• 분석적 렌더링: INR 을 사용함으로써 모델은 제로샷 초해상도를 달성합니다. 렌더러는 테스트 시에 임의의 좌표 그리드 밀도를 쿼리할 수 있습니다. 고해상도에서 앨리어싱을 방지하기 위해 저자들은 훈련 후 나이퀴스트 - 섀넌 주파수 마스킹 절차를 구현하여 훈련 그리드의 나이퀴스트 한계를 초과하는 푸리에 기저 주파수를 0 으로 만듭니다.
• 가법적 분리성: $A(z_t)$와 $B(u_t)$의 분리는 "제로샷 콘텐츠 (또는 운동) 리타게팅"을 가능하게 합니다. 사용자는 임의의 시퀀스에서 콘텐츠 상태 $z_t$나 행동 $u_t$를 교체하여 재훈련 없이 생성 과정을 편집할 수 있습니다.

결과

이 프레임워크는 세 가지 데이터셋에서 검증되었습니다: Moving MNIST(결정론적 강체), PhyWorld(OOD 일반화를 가진 강체 충돌), 그리고 WeatherBench(전 지구 대기 역학). 모든 실험은 약 40M 파라미터로 단일 소비자 GPU(RTX 4080) 에서 수행되었습니다.

• 장기 안정성: NOVA 는 1,000 스텝 롤아웃 동안 구조적 무결성과 객체 정체성을 유지하는 반면, LAPO(픽셀 공간) 와 같은 베이스라인은 어두운 형상으로 붕괴되고 표준 잠재 공간 모델은 흐릿한 평균으로 저하됩니다.
• 분리성 및 편집:
  • 콘텐츠 편집: $z_t$를 0 을 향해 보간하면 원래 운동 궤적을 유지하면서 숫자 정체성 (예: 5 에서 8 로) 이 변형됩니다.
  • 운동 편집: $u_t$를 0 을 향해 보간하면 객체가 감속하고 중심에 수렴하지만 시각적 정체성은 유지됩니다.
  • 리타게팅: 한 시퀀스의 행동을 다른 시퀀스로 교체하면 객체가 모양이나 색상을 변경하지 않고도 새롭고 물리적으로 일관된 (또는 의도적으로 비물리적인) 궤적을 따르도록 강제합니다.
• 초해상도: WeatherBench 에서 NOVA 는 표준 INR 에서 흔히 발생하는 앨리어싱 아티팩트나 고주파 텍스처의 환각 없이 제로샷 초해상도 (최대 $\times32$) 를 달성합니다. 이는 주파수 마스킹 전략 덕분입니다.
• 물리적 일관성: PhyWorld 에서 NOVA 는 분포 내 설정에서 물리 법칙 (운동량, 운동 에너지) 을 보존하며, 구의 반지름과 속도에 관한 OOD 일반화에서 견고한 성능을 보여줍니다.

중요성과 주장

이 논문은 NOVA 가 세계 모델이 원시 픽셀이 아닌 구조화된 가중치 공간 표현으로 완전히 구축될 수 있음을 입증했다고 주장합니다.

• 해석 가능성: 시스템 상태를 배경 ($\bar{z}$), 콘텐츠 ($z_t$), 운동 ($u_t$) 으로 분리함으로써 모델은 불투명한 잠재 공간에 대한 투명하고 해석 가능한 대안을 제공합니다. 이는 안전이 중요한 시나리오에서 감사 및 안전한 개입을 용이하게 합니다.
• 효율성과 이식성: 디코더 병목 현상의 제거와 컴팩트한 가중치 벡터의 사용으로 인해 모델은 매우 이식성이 높으며 소비자 하드웨어에서 실행 가능합니다.
• 해상도 독립성: 분석적 렌더링 기능은 임의의 해상도 쿼리를 가능하게 하며, 이는 픽셀 세분성이 의사 결정에 영향을 미치는 극한 기상 예보와 같은 도메인에서 중요한 기능입니다.
• 범용 적용성: 저자들은 분리 메커니즘 (가중치 공간의 가법적 분해) 이 표준 잠재 행동 모델에 적용 가능하다고 가정하며, 이는 제어 가능한 비디오 생성과 몰입형 가상 경험을 위한 새로운 패러다임을 제공할 수 있다고 봅니다.

저자들은 잠재 행동에서의 부조화 상관관계 (예: 정체성의 일부로 밝기나 수직 위치를 인코딩하는 것) 와 명시적 미분 방정식 제약 없이 복잡한 물리학에 대한 OOD 일반화의 어려움 등 한계를 인정합니다. 그들은 NOVA 가 강력한 제어 가능성을 달성하지만, 현재는 감독된 시공간 모델에 비해 일부 원시 픽셀 수준의 재구성 충실도를 희생하고 있음을 강조합니다.