💻 computer science

WorldKV: Efficient World Memory with World Retrieval and Compression

WorldKV 는 전역 KV 캐시 접근 방식 대비 처리량을 두 배로 늘리면서 장기적인 세계 기억을 유지하기 위해 퇴출된 KV 캐시 조각의 선택적 검색과 토큰 압축을 결합함으로써 일관된 실시간 자기회귀 비디오 생성을 가능하게 하는 학습이 불필요한 프레임워크입니다.

원저자: Jung Yi, Minjae Kim, Paul Hyunbin Cho, Wooseok Jang, Sangdoo Yun, Seungryong Kim

게시일 2026-05-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jung Yi, Minjae Kim, Paul Hyunbin Cho, Wooseok Jang, Sangdoo Yun, Seungryong Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

가상현실 비디오 게임을 상상해 보세요. 이 게임의 세계는 매우 똑똑한 AI 가 실시간으로 생성합니다. 당신은 이 세계를 거닐고, 모퉁이를 돌며, 탐험할 수 있습니다. 목표는 이 세계가 "현실적"이고 일관되게 느껴지도록 하는 것입니다. 즉, 방에서 나와 5 분 후 다시 돌아왔을 때, 그 방은 완전히 똑같이 보아야 하며, 다른 방이거나 흐릿한 엉망진창처럼 보이면 안 됩니다.

이 논문인 WorldKV는 현재 이러한 AI 모델이 작동하는 방식에 존재하는 특정 문제를 다룹니다. 일상적인 비유를 사용하여 간단히 설명해 보겠습니다:

문제: "짧은 기억" 대 "거대한 배낭"

현재의 AI 비디오 모델은 기억을 처리하는 두 가지 주요 방식을 가지고 있으며, 둘 다 결점이 있습니다:

"슬라이딩 윈도우" (짧은 기억): AI 가 방금 생성한 것의 마지막 몇 초만 볼 수 있는 눈가리개를 쓰고 있다고 상상해 보세요. 당신이 떠나 다시 돌아오면, AI 는 당신이 떠난 방을 "잊어버린" 상태입니다. AI 는 그곳에 무엇이 있는지 추측하려 하다가 종종 환각을 일으켜 (새로 만들어내어) 새로운 가구를 배치하거나 벽을 변경합니다. 이는 빠르지만, 세계는 일관성이 없습니다.
"전체 기록" (거대한 배낭): 망각을 해결하기 위해 AI 는 과거에 본 모든 것을 기억에 보관할 수 있습니다. 이는 당신이 걸을 때마다 점점 더 무거워지는 배낭을 메고 다니는 것과 같습니다. 결국 배낭이 너무 무거워져 (데이터가 너무 많아져) AI 가 미끄러지듯 느려지거나, 컴퓨터의 공간이 완전히 고갈됩니다. 일관된 세계를 얻게 되지만, 실시간으로 실행되지 않게 됩니다.

해결책: WorldKV

저자들은 WorldKV를 제안합니다. 이는 "학습 없이" 작동하는 프레임워크입니다. 즉, AI 에게 다시 학습하는 법을 가르칠 필요가 없었고, 기존 메모리를 더 똑똑하게 조직하는 방법만 제공했을 뿐입니다. 그들은 두 가지 주요 트릭을 사용합니다:

1. 월드 검색: "똑똑한 사서"

낡은 기억을 버리는 것 (슬라이딩 윈도우처럼) 이나 모든 것을 즉시 작업 공간에 보관하는 것 (무거운 배낭처럼) 대신, WorldKV 는 똑똑한 사서처럼 작동합니다.

작동 방식: AI 가 장면을 생성할 때, 그 기억의 "조각"을 선반 (컴퓨터의 메모리) 에 저장하고 카메라 각도나 수행된 행동 (예: "오른쪽으로 회전") 으로 레이블을 붙입니다.
마법 같은 점: 나중에 그 방으로 다시 들어갈 때, AI 는 도서관의 "모든 것"을 보지 않습니다. 대신 레이블을 확인합니다: "아, 사용자가 다시 오른쪽으로 회전하고 있군." 그런 다음 해당 시야와 일치하는 특정 기억 조각만 선반에서 즉시 꺼내어 활성 작업 공간으로 되돌려 놓습니다.
결과: AI 는 전체 기록의 무게를 한 번에 짊어질 필요 없이 방을 완벽하게 기억합니다.

2. 월드 압축: "중복 파일 정리기"

사서가 있더라도, 비디오 프레임은 매우 유사하기 때문에 기억 선반은 혼잡해질 수 있습니다. 당신이 천천히 걸으며 벽을 100 장 촬영하면, 그중 99 장은 거의 동일하게 보입니다.

작동 방식: WorldKV 는 이러한 기억 조각들을 살펴보고 "이것이 새로운 정보인가, 아니면 내가 이미 가진 것의 복사본인가?"라고 묻습니다. 그들은 "앵커" 프레임 (가장 중요한 것들) 을 찾는 수학적 트릭을 사용하여 다른 프레임의 중복된 부분을 삭제합니다.
결과: 각 기억 조각의 크기를 약 절반으로 줄입니다. 이는 중복된 사진 폴더를 압축 (zip) 하는 것과 같습니다. 이제 AI 는 공간이 부족해지지 않고도 같은 선반에 두 배 많은 기록을 담을 수 있습니다.

결과: 양쪽 세계의 장점을 모두 취함

이 논문은 두 가지 다른 AI 모델 (작은 모델과 큰 모델) 에서 이를 테스트했고, WorldKV가 "골디락스" (적당함) 구역을 달성함을 발견했습니다:

일관성: 전체 기록 (Full KV) 을 유지한 것처럼 세계를 거의 완벽하게 기억하며, 무언가를 잊어버리는 "슬라이딩 윈도우" 방식보다 훨씬 뛰어납니다.
속도: 전체 기록을 유지하는 것보다 약 2 배 빠르며, 실시간 속도를 유지합니다.
추가 학습 불필요: 기존 모델과 바로 호환되어 작동하며, 재학습이 필요하지 않습니다.

요약 비유

AI 를 긴 여행을 떠나는 관광객이라고 생각해 보세요.

슬라이딩 윈도우: 관광객은 여행의 마지막 5 분만 기억합니다. 한 시간 전에 방문한 곳으로 돌아가려 하면 길을 잃습니다.
전체 KV: 관광객은 여행의 모든 초에 대한 모든 세부 사항을 거대한 저널에 적어냅니다. 길을 잃지 않지만, 500 파운드짜리 책을 들고 다니느라 너무 느려서 걸을 수 없습니다.
WorldKV: 관광객은 마지막 5 분을 위한 작고 활동적인 노트를 보관합니다. 하지만 여행의 나머지 부분에 대한 압축된 요약들을 저장하는 똑똑한 파일 캐비닛도 가지고 있습니다. 특정 장소를 기억해야 할 때, 그들은 캐비닛에서 올바른 요약을 빠르게 꺼내어 노트에 추가합니다. 그들은 길을 잃지 않으면서도 정상적인 속도로 걸을 수 있습니다.

기술 요약: WorldKV

문제 제기
자기회귀 비디오 확산 모델은 실시간, 행동 조건부 세계 생성을 가능하게 했으나, 이전에 본 시점을 재방문할 때 일관된 콘텐츠를 유지하는 지속적 세계를 구축하는 것은 여전히 해결되지 않은 과제입니다. 완전한 KV 캐시 어텐션은 이러한 일관성을 유지하지만, 롤아웃 길이에 따라 메모리 사용량과 어텐션 비용이 선형적으로 증가하여 실시간 제약을 위반하고 메모리 부족 (OOM) 오류를 초래합니다. 반면, 슬라이딩 윈도우 추론은 오래된 컨텍스트를 폐기함으로써 처리량을 회복하지만 장기적 일관성을 희생하여, 장면을 재방문할 때 모델이 새로운 콘텐츠를 환각하거나 편향되는 원인이 됩니다. 최근 관찰에 따르면 이러한 모델의 KV 캐시는 세계 메모리의 출현적 형태로 기능한다는 것이 밝혀졌으나, 전체 역사에 대한 어텐션의 완전한 계산 비용 없이 이 메모리에 효율적으로 접근하는 방법은 해결되지 않았습니다.

방법론: WorldKV
저자들은 자기회귀 비디오 세계 모델에서 효율적인 장기 메모리를 가능하게 하는 학습 없는 프레임워크인 WorldKV를 제안합니다. 이는 기존 슬라이딩 윈도우 추론 아키텍처 위에서 작동하며 World Retrieval과 World Compression이라는 두 가지 상호 보완적인 구성 요소를 도입합니다.

World Retrieval:
- 메커니즘: WorldKV 는 퇴거된 KV 캐시 청크를 폐기하는 대신 GPU 또는 CPU 메모리에 저장합니다. 모델이 장면을 재방문할 때 카메라 또는 행동 대응에 기반하여 장면 관련 청크를 선택적으로 검색하여 네이티브 어텐션 윈도우에 다시 삽입합니다.
- 통합: 검색된 청크는 재인코딩이나 아키텍처 변경 없이 네이티브 방식으로 삽입됩니다. 이 프레임워크는 검색 알고리즘에 구애받지 않으며, 카메라/행동 기반 유사성 또는 어텐션 기반 전략을 지원합니다.
- 어텐션 윈도우 구조: 활성 윈도우는 네 가지 영역으로 분할됩니다: 싱크 KV 캐시 (초기 프레임), 검색된 KV 캐시 (저장된 역사에서), 최근 KV 캐시 (직전 프레임), 그리고 현재 디노이징 청크입니다.
World Compression:
- 동기: 모든 퇴거된 캐시를 저장하는 것은 메모리 집약적입니다. 저자들은 시간적으로 인접한 프레임이 상당한 시각적 콘텐츠를 공유하여 거의 중복되는 KV 캐시를 생성한다고 관찰했습니다.
- 메커니즘: 각 저장된 청크 (예: 3 프레임) 내에서 첫 번째 프레임을 앵커로 지정합니다. 시스템은 비앵커 프레임의 키와 앵커 프레임의 키 간 키 - 키 코사인 유사도를 계산합니다.
- 가지치기: 앵커와 유사도가 높은 토큰은 중복으로 간주하여 제거하고, 유사도가 낮은 토큰 (새롭게 드러난 영역이나 동적 콘텐츠를 나타냄) 은 유지합니다.
- 효율성: 이 과정은 각 청크를 원래 크기의 약 절반 (예: 앵커 plus 나머지 두 프레임의 토큰 25% 유지) 으로 압축하여, 고정된 메모리 예산 내에서 약 2 배 더 많은 역사를 수용할 수 있게 합니다.

주요 기여

World Retrieval: 카메라/행동 또는 어텐션 기반 신호를 사용하여 퇴거된 KV 캐시 청크를 저장하고 선택적으로 검색하는 프레임워크로, 아키텍처 수정 없이 모델이 장기 컨텍스트에 접근할 수 있게 합니다.
World Compression: 청크당 저장 공간을 약 50% 줄이는 키 유사도 기반 가지치기 메커니즘으로, 동일한 메모리 제약 하에 두 배의 역사 커버리지를 가능하게 하면서 재방문 충실도를 유지하거나 향상시킵니다.
학습 없는 효율성: 이 접근법은 미세 조정, 증류, 또는 전용 메모리 모듈이 필요 없으며, 고정된 백본에서 추론 시간 동안 완전히 작동합니다.

실험 결과
이 프레임워크는 서로 다른 규모의 두 가지 자기회귀 비디오 세계 모델에서 평가되었습니다: Matrix-Game-2.0(단순 시퀀스로 훈련된 13 억 파라미터) 과 LingBot-World-Fast(긴 비디오로 훈련된 140 억 파라미터).

처리량 대 충실도: WorldKV 는 전체 KV 어텐션의 메모리 충실도를 맞추거나 초과하면서도 처리량을 약 2 배 높게 유지합니다. LingBot-World-Fast 에서는 네이티브 모드인 전체 KV 와 동등한 성능을 달성하지만 훨씬 더 높은 FPS 를 제공합니다. Matrix-Game-2.0 에서는 슬라이딩 윈도우 및 전체 KV 베이스라인 모두를 능가합니다. 특히, 분포 밖의 누적 캐시에 대한 어텐션으로 인한 누적 오류로 인해 전체 KV 가 여기서 저조한 성능을 보이지만, WorldKV 의 선택적 검색은 이를 완화합니다.
최첨단 (SOTA) 대비 비교: WorldKV 는 메모리 특화 훈련이 없는 상태에서 LPIPS, PSNR, FID 등의 지표에서 메모리 훈련 베이스라인 (WorldPlay, Yume-1.5) 보다 우수한 성능을 보입니다.
애블레이션 연구:
- 청크 내 압축: 중간 정도의 압축 (앵커 + 기타 토큰의 50% 유지) 이 최적의 성능을 내며, 앵커만 유지하면 충실도가 저하되고 모든 토큰을 유지하면 체감 효과가 감소합니다.
- 청크 간 커버리지: 고정된 예산에 더 많은 청크를 압축하여 포함 (예: 6 개 청크 $\to$ 3 개 청크 예산) 하는 것이 전체 해상도로 더 적은 청크를 검색하는 것보다 충실도를 향상시켜, 더 넓은 역사적 커버리지의 가치를 강조합니다.

의의 및 주장
이 논문은 WorldKV 가 명시적으로 긴 시퀀스로 훈련되지 않은 모델에서도 KV 캐시 자체가 근본적이고 출현적인 세계 메모리의 형태임을 보여준다고 주장합니다. 검색과 압축을 통해 이 기존 자원을 효율적으로 관리함으로써 WorldKV 는 실시간 추론 제약을 준수하면서도 일관된 장면 재방문을 유지하는 지속적 세계 모델을 달성합니다. 저자들은 이것이 3D 재구성의 지연이나 전용 메모리 모듈의 훈련 오버헤드 없이 달성되었음을 강조합니다.

한계점
저자들은 WorldKV 가 추론 시간 관리 방법임을 지적하며, 따라서 시각적 충실도는 기본 사전 훈련된 모델의 생성 품질에 의해 제한된다고 합니다. 극도로 긴 롤아웃에서는 오류 누적이 여전히 발생할 수 있습니다. 또한, CPU 오프로딩은 VRAM 사용량을 더 줄일 수 있지만, 현재 호스트 - 장치 간 전송 지연으로 인해 해당 특정 구성에서는 실시간 생성이 불가능하며, 이는 향후 과제로 남겨두었습니다.