기술 요약: ShadowDancer

1. 문제 정의

상호작용형 비디오 월드 모델은 지속적이고 탐험 가능한 가상 환경을 합성하는 것을 목표로 합니다. 그러나 근본적인 병목 현상은 **제어 표현(control representation)**에 존재합니다. 현재의 인터페이스는 정밀도(프레임 단위로 동작이 어떻게 전개되는지 정확하게 지정하는 것)와 일반성(인간의 움직임, 로봇 조작, 게임 플레이와 같은 다양한 역학 계열에 적용되는 것) 사이의 균형을 맞추는 데 어려움을 겪고 있습니다.

기존의 접근 방식은 부적절한 두 가지 범주로 나뉩니다:

• 느슨한 인코딩(Loose Encodings): 기호적 명령(예: 키 입력)이나 자유 형식의 텍스트는 무엇이 일어나는지는 지정하지만, 궤적을 모델의 즉흥 연기에 맡겨두어 프레임 수준의 정밀도가 부족합니다.
• 경직된 인코딩(Rigid Encodings): 구조화된 신호(예: 3D 모션 캡처, 카메라 포즈)는 정밀하지만 특정 계열에 국한되어 있으며, 취약하고 전문적인 추정기를 필요로 하므로 광범위한 적용에는 실용적이지 않습니다.

데모 비디오는 동작에 대한 자연스럽고 밀도 높은 명세(specification)이지만, 표준 잠재 동작 모델(Latent-Action Models, LAMs)은 이를 효과적으로 전이하는 데 실패합니다. 이러한 모델들은 관찰한 것과 동일한 비디오를 재구성하도록 학습되기 때문에, 기저의 역학(dynamics)(동작)과 특정 외양(appearance)(대상, 장면, 조명)이 서로 얽히게 됩니다. 결과적으로, 새로운 환경에 적용될 때 모델은 순수한 역학을 전이하는 대신 원래의 외양을 재현하거나 가짜 움직임을 생성하게 됩니다. 핵심 과제는 페널티가 아닌 구조적 설계를 통해 역학이 외양으로부터 분리된 표현을 학습하는 것입니다.

2. 방법론: ShadowDancer

ShadowDancer는 동일한 역학을 독립적으로 재샘플링된 외양 하에서 두 번 관찰함으로써 이 문제를 해결합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어집니다:

A. 섀도우 공식화 (The Shadow Formulation)

이 방법은 비디오 $x$를 시간 변화에 따른 역학(dynamics) 궤적 $d$와 외양(appearance) 요인(대상 정체성, 장면, 재질, 조명) $c$의 렌더링 $R(d, c)$로 모델링합니다.

• 섀도우 쌍(Shadow Pairs): 비디오의 "섀도우(Shadow)"는 동일한 역학 $d$를 공유하지만 독립적으로 재샘플링된 외양 $\tilde{c}$를 가진 두 번째 렌더링 $\tilde{x}$입니다. 쌍 $(x, \tilde{x})$는 프레임 동기화된 동일한 역학을 공유하지만 서로 다른 외양을 가집니다.
• 프로토콜: Shadow Library는 시뮬레이터(애니메이션 스위트, 오픈 월드 게임, 로봇 시뮬레이터)에서 궤적을 재생하는 동시에 모든 비역학적 요인을 재샘플링함으로써 이를 구현합니다. 이 프로토콜은 "동작" 자체를 정의합니다: 쌍이 보존하는 것이 제어 가능한 요인이며, 쌍이 재샘플링하는 것이 버려지는 요인입니다.

B. 교차 섀도우 예측 (Cross-Shadow Prediction - 표현 학습)

잠재 동작 모델(LAM)은 교차 섀도우 예측을 사용하여 통일된 역학 표현 $z$를 추출하도록 학습됩니다:

• 인코더(Encoder): 소스 전이 $(x_t, x_{t+1})$를 읽어 잠재 동작 $z_t$를 추론합니다.
• 디코더(Decoder): 소스에서 유도된 잠재값 $z_t$와 타겟의 이전 프레임 $\tilde{x}_t$를 사용하여 타겟 섀도우 프레임 $\tilde{x}_{t+1}$을 예측합니다.
• 메커니즘: 타겟 외양 $\tilde{x}$는 자체 컨텍스트에 의해 공급되며 소스와는 독립적이므로, 잠재값 $z$는 타겟을 예측하기 위해 소스의 외양 단서에 의존할 수 없습니다. KL-다이버전스 병목 현상은 $z$가 공유된 역학을 예측하는 데 필요한 정보만을 유지하도록 강제하며, 결과적으로 외양의 얽힘을 효과적으로 제거합니다.
• 공식적 보증: 저자들은 페어링 프로토콜 하에서, 한 섀도우로부터 다른 섀도우를 예측하기 위해 충분한 최소 표현은 (가역적 재매개변화까지 고려했을 때) 공유된 역학 그 자체임을 증명합니다.

C. 표현에서 월드 모델로 (From Representation to World Model)

학습된 잠재 스트림 $z$는 **블록-인과적 상호작용형 월드 모델(block-causal interactive world model)**을 구동합니다:

1. 컨디셔닝(Conditioning): 사전 학습된 비디오 확산 트랜스포머(DiT)를 미세 조정합니다. 잠재 동작 $z$는 크로스 어텐션(cross-attention)과 타임스텝 임베딩을 통해 생성을 조절합니다.
2. 소스 자산(Source Assets): 불변성 제약이 걸린 잠재 $z$가 버릴 수 있는 고주파 움직임 세부 사항을 보존하기 위해, 소스 비디오는 동결된 3D-VAE에 의해 "모션 자산(motion assets)" $s$로 인코딩됩니다. 이는 $z$와 함께 추가적인 컨텍스트로서 결합됩니다.
3. 롤아웃(Rollout): 양방향 확산 모델은 블록-인과적 생성기로 변환됩니다. 추론 시, 모델은 동작 자산 스트림에 조건화되어 프레임 단위(블록 단위)로 롤아웃을 수행하며, 이를 통해 가변 길이의 구성 가능한 동작 시퀀스를 생성할 수 있습니다.

3. 주요 기여

1. 섀도우 학습 패러다임: 재샘플링된 요인에 불변하는 역학 표현을 학습하는 새로운 접근 방식입니다. 이는 규제화가 아닌 섀도우 쌍(via shadow pairs)을 통한 구조적 설계를 통해 잠재 동작의 비식별성(non-identifiability) 문제를 해결하며, 공유된 역학이 식별 가능한 시점에 대한 공식적 분석을 제공합니다.
2. Shadow Library: 다양한 도메인(인간의 움직임, 로봇 조작, 오픈 월드 게임, 카메라 궤적)에 걸쳐 구현된 소스 불가지론적(source-agnostic) 페어링 프로토콜입니다. 이는 단 하나의 동작 레이블 없이도 섀도우 감독(supervision)을 제공합니다.
3. ShadowDancer 시스템: 어떤 동작이든 가능한 프레임 수준의 상호작용형 월드 모델입니다. 이는 데모 클립을 새로운 환경에서 미세 조정이나 레이블, 모션 추정기 없이도 추출, 저장 및 재생할 수 있는 재사용 가능한 "동작 자산"으로 취급합니다.

4. 실험 결과

논문은 인간의 움직임, 1인칭/3인칭 전투, 로봇 조작 및 카메라 제어에 대해 ShadowDancer를 평가합니다.

• 동작 전이(Action Transfer): ShadowDancer는 새로운 환경에서 역학을 재현하는 데 있어 최신 잠재 동작 베이스라인(Olaf-World)을 크게 능가합니다.
  • 정량적 지표: 모든 테스트 계열에서 더 높은 PSNR과 더 낮은 LPIPS를 달є 성합니다. 예를 들어, 로봇 조작에서 PSNR은 14.0에서 22.6으로 향상되었고, LPIPS는 0.478에서 0.116으로 감소했습니다.
  • 정성적 지표: 베이스라인 모델들은 얽힌 잠재값으로 인해 피사체가 왜곡되거나 가짜 카메라 움직임을 생성하는 경우가 많습니다. 반면 ShadowDancer는 참조 역학을 충실히 재현합니다.
• 장기 동작 롤아웃(Long Action Rollout): 강력한 베이스라인들(Yume-1.5, LingBot-World 2.0, Olaf-World)과의 이중 맹검 강제 선택(2AFC) 비교에서, ShadowDancer는 평균 **86%**의 승률을 기록했습니다. 이는 드리프트나 성능 저하 없이 명령 체이닝(예: 내비게이션, 전투, 조작)을 수행하는 탁월한 일관성을 보여주었습니다.
• 절제 연구(Ablation Studies): 실험을 통해 성능 향상이 단순히 소스 자산의 추가나 잠재 인터페이스 때문이 아니라, 주로 섀도우 페어링(역학을 외양으로부터 분리함)에 의해 주도된다는 점을 확인했습니다.
• 미학습 동작(Unseen Actions): 시스템은 훈련 중에 보지 못한 모드 캐릭터와 무기로부터의 동작을 새로운 환경으로 성공적으로 전이하였으며, 이는 인코더가 특정 카테고리를 암기하는 것이 아니라 일반적인 역학을 학습했음을 입증합니다.

5. 의의 및 주장

본 논문은 ShadowDancer가 "말하는 것"(기호/텍스트)에서 "보여주는 것"(데모)으로 패러다임을 전환함으로써, 상호작용형 월드 모델의 어떠한 동작이든 가능한 프레임 수준의 제어를 가능하게 한다고 주장합니다.

• 통합 인터페이스: 각 도메인에 특화된 컨디셔너를 사용할 필요 없이 다양한 역학 계열을 위한 단일 인터페이스를 제공합니다.
• 재사용성: 데모 클립은 가변 길이의 재사용 가능한 동작 자산이 됩니다. 모델에게 새로운 동작을 가르치는 데는 어휘 설계나 미세 조정 없이 동결된 인코더를 통한 단 한 번의 통과(pass)만 필요합니다.
• 확장성: 섀도우 라이브러리 프로토콜은 어떤 역학 계열에도 적용 가능하므로, 새로운 훈련 실행이 아닌 새로운 데모를 통해 확장됩니다.
• 응용 범위: 저자들은 이를 인터랙티브 엔터테인먼트 및 임바디드 에이전트(embodied agents)의 시뮬레이션 기반 훈련을 위한 혁신적인 단계로 위치시키며, 사용자가 생성 모델의 유연성을 유지하면서도 데모 비디오의 정밀도로 월드 모델을 직접 제어할 수 있게 한다고 설명합니다.