🤖 machine learning

WorldPack: Dynamic Frame Compression for Long-context Video World Modeling

WorldPack은 궤적 패킹(trajectory packing)과 기하학적 선택(geometric selection)을 통해 3D 시점 관련도에 따라 압축률을 동적으로 할당함으로써 유효 컨텍스트를 4프레임에서 22프레임으로 확장하고, 공간 인지적 압축 메모리(spatially-aware compressed memory)를 도입하여 장기적 공간 일관성을 향상시키는 비디오 월드 모델이다.

원저자: Yuta Oshima, Yusuke Iwasawa, Masahiro Suzuki, Yutaka Matsuo, Hiroki Furuta

게시일 2026-07-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuta Oshima, Yusuke Iwasawa, Masahiro Suzuki, Yutaka Matsuo, Hiroki Furuta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 거대하고 끝없는 미로를 탐색하는 법을 가르치고 있다고 상상해 보세요. 이를 위해 로봇은 '세계 모델(world model)'을 가져야 합니다. 이는 현재 위치와 계획한 경로를 바탕으로 몇 단계 뒤에 미로가 어떤 모습일지 예측할 수 있는 정신적 시뮬레이션입니다. 마치 비디오 게임 캐릭터가 실제로 일어나기 전 다음 프레임을 예측하는 것과 같습니다. 오랫동안 이러한 디지털 지능들은 심각한 문제에 직면해 있었습니다. 바로 기억력이 너무 짧다는 것이었습니다. 만약 로봇이 원을 그리며 돌다가 10분 전에 방문했던 지점으로 돌아온다면, 로봇은 그곳이 어떻게 생겼었는지 이미 잊어버린 상태였습니다. 이는 누군가가 당신이 이미 맞춰 놓은 퍼즐 조각들을 계속 지우면서 퍼즐을 풀라고 하는 것과 같습니다.

문제는 컴퓨터가 과거의 이미지들을 간직할 수 있는 '뇌 공간'(또는 컨텍스트 윈도우)이 제한되어 있다는 점입니다. 만약 너무 많은 사진을 이 공간에 억지로 집어넣으려 하면, 컴퓨터는 과부하가 걸려 느려집니다. 반대로 새로운 사진을 위한 공간을 만들기 위해 오래된 사진들을 버린다면, 로봇은 길을 잃고 자신이 어디에 있었는지 기억하지 못하게 됩니다. 과학자들은 로봇의 뇌가 다운되지 않으면서도 복잡한 여정을 처리할 수 있을 만큼 충분히 긴 기억을 유지하는 방법을 찾아내기 위해 노력해 왔습니다. 이것이 바로 "WorldPack"이라는 논문이 해결하고자 하는 퍼즐입니다.

WorldPack의 연구진은 기존의 메모리 관리 방식이 마치 여행을 위해 짐을 싸면서 방금 입었던 옷 몇 벌만 던져 넣고 나머지는 무시하는 것과 같다는 점을 깨달았습니다. 그들은 이렇게 물었습니다. "만약 우리가 더 많은 것을 챙길 수 있다면, 단지 지금 당장 중요하지 않은 것들을 압축하면 어떨까?" 그들의 해결책은 WorldPack이라 불리는 영리한 2단계 기법입니다.

첫째, 그들은 기하학적 선택(Geometric Selection) 기술을 사용합니다. 당신이 여정의 지도를 보고 있다고 상상해 보세요. 단순히 마지막에 이동한 몇 단계만을 기억하는 대신, 로봇은 자신의 현재 위치를 확인하고 다음과 같이 질문합니다. "내가 지금 바라보고 있는 과거의 장소는 어디인가?" 만약 로봇이 몇 시간 전에 방문했던 방에 서 있다면, 그 오래된 기억은 갑자기 매우 중요해집니다. 시스템은 이 오래된 기억에 '높은 점수'를 부여하고 고해상도로 유지합니다. 반면, 로봇이 전혀 근처에 있지 않은 곳에서 온 과거의 기억은 '낮은 점수'를 받게 됩니다.

둘째, 그들은 **궤적 패킹(Trajectory Packing)**을 사용합니다. 여기서 마법이 일어납니다. 점수가 낮은 기억들을 삭제하는 대신, 로봇은 그것들을 축소합니다. 이는 마치 멀리 있는 산의 고해상도 사진을 아주 작은 썸네일 이미지로 만드는 것과 같습니다. 세부적인 모습은 볼 수 없지만, 산이 그곳에 있다는 사실은 여전히 알 수 있습니다. 중요하지 않은 기억들을 축소함으로써, 로봇은 제한된 뇌 공간 안에 훨씬 더 많은 기억을 담을 수 있게 됩니다. 실험에서 그들은 보통 4개의 프레임만 담을 수 있는 공간에 22개의 과거 프레임을 구겨 넣는 데 성공했습니다.

논문은 이 접근 방식이 매우 효과적임을 보여줍니다. 연구진이 마인크래프트와 유사한 세계(연구용으로 사용되는 디지털 샌드박스)에서 WorldPack을 테스트했을 때, 로봇은 긴 루프를 항해하고 아주 오래전에 방문했던 장소로 돌아오더라도 혼란을 겪지 않았습니다. 로봇은 이전 모델들보다 세계의 구조를 훨씬 더 잘 기억했습니다. 이전 모델들은 과거를 잊어버리거나 생각하는 속도가 너무 느려졌던 반과 대조적이었습니다. 연구진은 로봇이 이 압축된 기억들을 처리하는 데 시간이 아주 조금 더 걸리긴 했지만(약 16% 더 긴 시간), 과거를 훨씬 더 멀리 내다볼 수 있다는 점에서 그 대가로 치를 만한 가치가 있다고 밝혔습니다.

하지만 논문은 이 방식이 모든 것을 해결해 주는 완벽한 마법은 아니라는 점도 지적합니다. 이 시스템은 로봇의 카메라가 정확히 어디를 향하고 있는지(포즈, pose)를 아는 것에 의존합니다. 만약 로봇이 자신의 위치에 대해 혼란을 느낀다면, 시스템은 잘못된 기억을 축소하거나 엉뚱한 기억을 남겨둘 수 있습니다. 저자들은 카메라가 흔들리거나 위치 추적을 놓칠 수 있는 실제 환경에서는 이 방식이 정확성을 유지하기 위해 추가적인 도움이 필요할 수 있다고 제안했습니다.

요약하자면, WorldPack은 똑똑한 장기 기억의 비결이 단순히 더 큰 뇌를 갖는 것이 아니라, 어떻게 짐을 싸느냐에 달려 있음을 시사합니다. 중요한 과거의 순간들은 선명하게 유지하고, 덜 중요한 것들은 작게 만듦으로써, 디지털 지능은 시작했던 곳을 잊지 않고 훨씬 더 멀리 여행할 수 있습니다.

기술 요약: WorldPack: 장기 컨텍스트 비디오 월드 모델링을 위한 동적 프레임 압축

문제 정의
과거의 관측값과 내비게이션 액션을 조건으로 고충실도 미래 시각적 관측을 생성하는 비디오 월드 모델은 장기적 일관성(long-horizon consistency) 측면에서 결정적인 병목 현상에 직면해 있습니다. 기존 방식들은 긴 롤아웃(rollout) 동안 시공간적 일관성을 유지하는 데 어려움을 겪습니다. 현재의 방법론은 크게 두 가지 범주로 나뉘며, 각각 한계점을 가집니다:

일반적 압축 (Generic Compression): FramePack과 같은 방식은 시간적 근접성이나 특징 유사성에 기반하여 과거 프레임을 압축합니다. 그러나 이러한 스케줄은 3D 시점 기하학(3D viewpoint geometry)을 명시적으로 활용하지 않으므로, 먼 과거로부터 오는 공간적으로 중요한 정보를 유실할 가능성이 있습니다.
공간적 검색 (Spatial Retrieval): WorldMem 및 Context-as-Memory와 같은 방식은 3D 가시성(co-visibility) 또는 시야각(FoV) 중첩을 기준으로 프레임을 선택합니다. 공간적으로는 인지하고 있으나, 이들은 고정된 컨텍스트 윈도우 내에서 작동하며, 덜 관련 있는 프레임을 단순히 교체하는 방식을 취합니다. 이는 공간적으로 관련 있는 먼 프레임을 포함하기 위해 다른 유용한 관측값을 버려야 하는 트레이드오프를 발생시킵니다.

결과적으로, 모델은 필요한 먼 과거의 기록에 접근하지 못하거나, 제한된 컨텍스트에 의존함에 따라 발생하는 오차 누적 및 드리프트(drift) 문제를 겪게 됩니다.

방법론: WorldPack
저자들은 프레임 선택과 압축을 하나의 메커니즘인 **공간 인지 압축 메모리(spatially-aware compressed memory)**로 통합한 비디오 월드 모델인 WorldPack을 제안합니다. 핵심 통찰은 압축률이 균일하거나 시간적으로 결정되는 것이 아니라, 현재 시점과의 3D 공간적 관련성에 따라 동적으로 할당되어야 한다는 것입니다.

WorldPack은 다음 두 가지 밀접하게 결합된 메커니즘을 통해 이를 달side합니다:

기하학적 선택 (Geometric Selection):
- 시간적 최신성에 의존하는 대신, 모델은 현재 뷰와의 3D 공간적 중첩을 기준으로 과거 프레임의 점수를 계산합니다.
- 카메라 포즈 정보( $p$ )를 사용하여, 시스템은 역사적 프레임 $i$ 와 타겟 프레임 $t$ 사이의 시야각(FoV) 중첩을 계산합니다. 중첩 점수 $o_i$ 는 시야 절두체(viewing frustum) 내에서의 몬테카를로 샘플링을 통해 추정됩니다.
- 최종 점수 $s_i$ 는 중첩 점수에 미세한 시간적 페널티를 결합하여 계산되며, 이는 공간적 중첩이 유사할 때만 최근 프레임을 선호하도록 합니다.
- 프레임은 이 점수에 따라 정렬됩니다. 가장 높은 점수를 받은 상위- $S$ 프레임(가장 공간적으로 관련 있는 프레임)은 "비압축 슬롯"에 할당되며, 나머지 프레임은 순위에 따라 이산적인 압축 그룹에 할당됩니다.
궤적 패킹 (Trajectory Packing):
- 역사적 프레임은 할당된 우선순위에 따라 다양한 해상도로 인코딩됩니다.
- 고우선순위 프레임(높은 공간적 관련성)은 전체 해상도( $L_f$ )로 보존됩니다. 저우선순위 프레임은 $\lambda^{d_i}$ (여기서 $\lambda=2$ , $d_i$ 는 우선순위 인덱스) 비율로 압축됩니다.
- 이를 통해 모델은 (예: 22개 프레임) 훨씬 더 많은 수의 역사적 프레임을 고정된 길이의 컨텍스트 예산(4개의 비압축 프레임과 동일한 용량) 안에 유실 없이 패킹할 수 있습니다.

아키텍처
WorldPack은 **회전 위치 임베딩(Rotary Position Embeddings, RoPE)**을 사용하는 조건부 확산 트랜스포머(Conditional Diffusion Transformer, CDiT) 백본을 기반으로 구축되었습니다.

CDiT: 타겟 프레임 토큰에 대해서만 셀프 어텐션(self-attention)을 제한하고 과거 프레임에 대해서는 크로스 어텐션(cross-attention)을 사용하여, 컨텍스트 길이 $m$ 에 대해 계산 복잡도를 이차( $O(m^2)$ )에서 선형( $O(m)$ )으로 줄입니다.
RoPE: 메모리 프레임 간의 가변적인 거리와 관계없이 일관된 시간적 표현을 보장합니다.
구현: 시스템은 독립적인 입력 프로젝션 레이어를 가진 이산적인 압축률 세트( $2^0, 2^2, 2^4$ )를 사용합니다. 실험에서 컨텍스트는 2개의 비압축 프레임, $2^2$ 압축된 4개 프레임, $2^4$ 압축된 16개 프레임을 포함하여, 4개 분량의 토큰 예산 내에 총 22개의 프레임을 보유합니다.

주요 기여

통합 메커니즘: WorldPack은 동적 압축과 공간적 검색 사이의 간극을 메우며, 이를 3D 공간적 관련성에 기반하여 토큰 예산을 할당하는 단일 문제로 다룹니다.
확장된 유효 컨텍스트: 이 방법은 적절한 계산 오버헤드로 유효 컨텍스트를 4에서 22 프레임으로 확장하여, 모델이 실질적으로 더 긴 호라이즌에 대해 추론할 수 있게 합니다.
공간 적응형 압축: 공간적으로 중요한 프레임의 고충실도를 보존하면서 덜 중요한 프레임을 공격적으로 압축하는 것이 균일 압축이나 고정 윈도우 검색보다 우수함을 입증했습니다.

실험 결과
저자들은 LoopNav(장기 공간 일관성을 위한 마인크래프트 벤치마크)와 RECON 데이터셋(실제 환경 내비게이션)에서 WorldPack을 평가했습니다.

LoopNav 성능: WorldPack은 공간 메모리 검색(ABA) 및 공간 추론(ABCA) 작업 모두에서 강력한 베이스라인(Oasis, Mineworld, DIAMOND, NWM)을 능가했습니다.
- SSIM, LPIPS, PSNR, DreamSim, FVD 지표에서 우수한 성능을 달しまいました.
- 특히 먼 경로를 되돌아오는 능력이 중요한 ABCA 작업에서 성과가 두드러졌습니다.
절제 연구 (Ablation Studies):
- WorldPack을 "최근 프레임 패킹(Nearest Frame Packing, 기하학적 선택 없는 압축)"과 비교하여 기하학적 선택의 이점을 분리해냈으며, 3D 인지 중요도 스코어링이 시간적 근접성보다 우월함을 보여주었습니다.
- WorldPack을 "메모리 검색(Memory Retrieval, 압축 없는 선택)"과 비교하여 궤적 패킹의 이점을 분리해냈으며, 압축을 통해 더 많은 프레임을 유지하는 것이 고정 컨텍스트 윈도우를 사용하는 것보다 우수함을 보여주었습니다.
실제 데이터: RECON 데이터셋에서 WorldPack은 강력한 생성 성능을 보여주며 실제 환경에서도 유용함을 확인했습니다.
효율성: 이 방법은 가시적인 역사적 프레임을 5.5배 증가시키면서 확산 모델의 추론 시간을 약 16%, 메모리 사용량을 12% 증가시킵니다. 기하학적 선택 비용은 후보군 수에 따라 선형적으로 스케일링됩니다 (H100 기준 1,600개 후보에 대해 0.26초).

의의 및 주장
본 논문은 WorldPack이 비디오 월드 모델링에서 컨텍스트 길이와 계산 비용 사이의 근본적인 트레이드오프를 해결한다고 주장합니다. 저자들은 단순히 컨텍스트 길이를 늘리는 것보다, 공간적 가이드를 통해 더 넓은 히스토리를 지능적으로 압축하는 것이 더 효과적이라고 강조합니다. 핵심 기여는 단순한 공간 스코어링 자체가 아니라, 이 스코어링을 사용하여 더 넓은 범위의 프레임에 대한 압축률을 제어하는 것입니다. 이 접근 방식은 모델이 공간적으로 중요한 먼 관측값에 대한 고충실도 접근을 유지하는 동시에, 일관된 장기 시뮬레이션에 필요한 광범위한 컨텍스트를 유지할 수 있게 합니다. 저자들은 이 방법이 카메라 포즈에 의존하며(이는 실제 환경에서 노이즈가 있을 수 있음), 이는 견고한 장기 비디오 월드 모델링을 향한 중요한 진전이라고 언급합니다.

유사한 논문