기술 요약: Infinite-World

문제 정의

기존의 인터랙티브 월드 모델은 완벽한 그라운드 트루스 카메라 포즈와 쌍을 이룬 비디오-액션 데이터가 존재하는 합성 환경(예: Unreal Engine 5, GTA5)에서는 놀라운 성공을 거두었습니다. 그러나 이러한 모델을 실제 세계(real-world) 시나리오로 전환하는 데에는 세 가지 결정적인 장벽이 존재합니다:

1. 부정확한 포즈 및 신뢰할 수 없는 제어: 실제 세계의 비디오는 추정된 카메라 외부 파라미터(extrinsics)를 필요로 하며, 이는 노이즈와 오류를 유발하여 액션-반응 매핑의 정밀도를 저하시킵니다.
2. 관점 재방문(Viewpoint Revisits)의 부족: 자연스러운 비디오 스트림은 주로 선형적이며, 모델이 전역적 기하 구조와 장기적 공간 메모리를 학습하는 데 필요한 조밀한 "루프 클로저(loop-closure, 이전 위치로 돌아오는 것)"가 부족합니다.
3. 계산적 병목 현상: 표준 어텐션 메커니즘은 시퀀스 길이에 따라 제곱($O(L^2)$)으로 확장되므로, 1000 프레임 이상의 생성을 계산적으로 매우 부담스럽게 만듭니다. 기존의 메모리 솔루션은 회수(retrieval)를 위해 오류가 발생하기 쉬운 포즈 메타데이터에 의존하거나, 심각한 정보 손실을 초래하는 단순 다운샘플링을 사용합니다.

방법론

저자들은 정제되지 않은 실제 세계의 비디오를 사용하여 1000 프레임 이상의 일관된 시각적 메모리를 유지하도록 설계된 견고한 인터랙티브 월드 모델인 Infinite-World를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 계층적 포즈 프리 메모리 압축기 (Hierarchical Pose-free Memory Compressor, HPMC)

계산적 병목 현상을 해결하고 명시적인 기하학적 사전 지식의 필요성을 제거하기 위해, 저자들은 2단계 재귀적 증류 파이프라인을 도입합니다:

• 로컬 압축 (Local Compression): 단거리 시퀀스의 경우, 템포럴 인코더가 로우 레이턴트(raw latents)를 직접 압축하여 시간 해상도를 $k=4$ 배만큼 감소시킵니다.
• 글로벌 압축 (Global Compression): 메모리 예산을 초과하는 장기 시퀀스의 경우, 모델은 적응형 슬라이딩 윈도우 메커니즘을 채택합니다. 로우 레이턴트는 중첩된 청크(chunks)로 분할되어 로컬하게 압축된 후, 하나의 통합된 글로벌 표현으로 재귀적으로 증류됩니다.
• 결합 최적화 (Joint Optimization): 압축기는 DiT(Diffusion Transformer) 백본과 엔드투엔드로 함께 학습됩니다. 이를 통해 모델은 외부 포즈 메타데이터 없이도 어떤 과거의 단서가 미래의 합성 및 루프 클로저에 중요한지를 자율적으로 학습할 수 있으며, 전체 시퀀스 길이와 관계없이 엄격히 제한된 메모리 풋프린트($T_{max}$)를 유지합니다.

2. 불확실성 인지 액션 라벨링 (Uncertainty-aware Action Labeling)

실제 세계 데이터의 노이즈가 섞인 포즈 추정을 처리하기 위해, 저자들은 연속적인 움직임을 **3단계 논리(tri-state logic)**로 이산화하는 전략을 제안합니다:

• 무작위 동작 없음 (No-operation): 움직임의 크기가 노이즈 임계값($\tau_1$) 미만일 때 할당됩니다.
  위 단계는 움직임이 트리거 임계값($\tau_2$)을 초과할 때 할당되며, 의미론적 방향(예: 이동을 위한 W/A/S/D)으로 매핑됩니다.
• 불확실 (Uncertain): 두 임계값 사이의 모호하고 신호 대 잡음비(SNR)가 낮은 움직임에 할당됩니다.
  이러한 모호한 샘플을 버리는 대신, 모델은 이를 명시적으로 "불확실(Uncertain)"로 라벨링합니다. 이는 결정론적 액션 공간이 지터(jitter)나 느린 드리프트 포즈에 의해 오염되는 것을 방지하면서, 가공되지 않은 비디오 데이터의 활용도를 극대화합니다.

3. 재방문 밀집 파인튜닝 전략 (Revisit-Dense Finetuning Strategy)

공간 메모리 활성화가 전체 데이터 양보다 **궤적의 위상적 밀도(topological density)**에 더 의존한다는 파일럿 연구 결과에 따라, 저자들은 2단계 학습 접근 방식을 채в용합니다:

• 사전 학습 (Pre-training): 모델은 다양한 시각적 사전 지식과 로컬 역학을 학습하기 위해 대규모 오픈 도메인 데이터셋(30시간 이상)에서 학습됩니다.
• 파인튜닝 (Finetuning): 컴팩트한 30분 분량의 **재방문 밀집 데이터셋(Revisit-Dense Dataset, RDD)**이 장기 일관성을 활성화하는 데 사용됩니다. 이 데이터셋은 빈번한 관점 재방문과 루프 클로저를 특징으로 하며, 이를 통해 모델은 방대한 양의 데이터 없이도 효율적으로 전역적 공간 구조를 학습할 수 있습니다.

주요 기여

1. 포즈 프리 장기 호라이즌 모델링: HPMC의 도입은 명시적인 카메라 포즈에 대한 의존성을 제거하여, 제한된 계산 비용으로 인터랙티브 월드 모델링을 1000 프레임 이상으로 확장할 수 있게 합니다.
2. 견고한 학습 패러다임: 포즈 노이즈를 완화하기 위한 불확실성 인지 액션 라벨링과 장기 메모리를 활성화하기 위한 재방문 밀집 파인튜닝 전략을 포함한 새로운 프레임워크를 제공합니다.
3. 경험적 검증: 광범리한 실험을 통해 Infinite-World가 시각적 품질, 액션 제어 가능성 및 공간적 일관성 측면에서 최신 베이스라인 모델들보다 우수한 성능을 달성함을 입증했습니다.

결과

저자들은 100개의 다양한 시나리오와 16개 청크(약 1000 프레임) 궤적을 사용하는 벤치마크를 통해 HY-World 1.5, Hunyuan-GameCraft, Matrix-Game 2.0, Yume 1.5를 포함한 여러 베이스라인과 Infinite-World를 비교 평가했습니다.

• 정량적 지표: Infinite-World는 VBench 지표(움직임 부드러움, 동적 정도, 미적 품질)에서 최고 또는 최상위 점수를 기록했습니다.
• 사용자 연구: 대규모 사용자 연구의 ELO 레이팅에서 Infinite-World는 1719라는 압도적인 점수를 획득하여, 차순위 모델인 HY-World isa (1542)를 크게 앞질렀습니다.
  • 메모리 일관성: 1위(1.92)를 차지하며 장기 호라이즌에서의 오차 누적을 효과적으로 완화함을 보여주었습니다.
  • 시각적 충실도: 1위(1.67)를 차지하며 전역적 랜드마크와 구조적 디테일을 보존했습니다.
  • 액션 반응성: 1위(1.54)를 차지하며 노이즈가 섞인 불완전한 실제 궤적으로부터도 견고한 액션-반응 매핑을 학습할 수 있음을 증명했습니다.
• 정성적 분석: 시각적 비교 결과, 베이스라인 모델들이 고스팅(ghosting), 구조적 왜곡 또는 "전진 편향(forward-moving bias)" 문제를 겪는 반면, Infinite-World는 성공적으로 장거리 루프 클로저를 수행하고 수백 프레임 이후에도 장면의 일관성을 유지합니다.
• 효율성: 메모리 소비 분석 결과, 압축되지 않은 베이스라인 모델들은 OOM(Out of Memory) 오류로 인해 약 180 프레임에서 실패하는 반면, Infinite-World는 약 45GB에서 안정화되어 1300 프레임 이상의 추론을 지원합니다.

의의 및 주장

본 논문은 Infinite-World가 월드 모델링의 "현실 격차(reality gap)"를 성공적으로 메웠다고 주장합니다. 완벽한 기하학적 사전 지식에 대한 의존성을 제거하고 노이즈가 있는 제어 신호를 처리하는 메커니즘을 개발함으로써, 복잡한 실제 환경에서도 안정적인 장기 인터랙티브 시뮬레이션이 가능하다는 것을 보여주었습니다.

저자들은 자신들의 작업이 폐쇄형 소스 최첨단 시스템과 대조되는 개방적이고 효율적인 프레임워크를 제공한다는 점을 강조합니다. 그들은 장기 호라이즌 모델링의 병목 현상이 데이터의 양이 아니라 개별 궤적의 위상적 밀도와 지속 시간에 있다는 점을 밝혀냈으며, 이는 단 30분의 파인튜닝 데이터만으로 1000 프레임의 일관성을 활성화하는 능력을 통해 검증되었습니다. 이 연구는 자율 주행 및 체화된 AI(embodied AI)와 같은 분야에서 미래의 실제 세계 신경 시뮬레이터의 토대가 되는 것을 목표로 합니다.