💻 computer science

MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens

이 논문은 과거 컨텍스트를 유지하면서도 고정된 캐시 크기를 통해 무한한 길이의 비디오 생성 시 발생하는 일관성 저하와 정체성 이탈 문제를 해결하기 위해, 과거 키를 압축하는 '메모리 토큰'과 동적 위치 인코딩을 적용하는 '온라인 RoPE 인덱싱'을 결합한 훈련 불필요 (training-free) 프레임워크인 MemRoPE 를 제안합니다.

원저자: Youngrae Kim, Qixin Hu, C. -C. Jay Kuo, Peter A. Beerel

게시일 2026-03-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Youngrae Kim, Qixin Hu, C. -C. Jay Kuo, Peter A. Beerel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎬 MemRoPE: 1 시간 동안 멈추지 않는 '완벽한' 비디오를 만드는 마법

이 논문은 **"오래된 영상을 만들 때, 캐릭터의 얼굴이 변하거나 배경이 뭉개지는 문제"**를 해결한 획기적인 기술, MemRoPE를 소개합니다.

기존 기술은 영상을 길게 만들면 기억력이 나빠져서 (캐릭터가 바뀌거나, 배경이 사라지는 등) 10 분만 넘어가도 퀄리티가 떨어졌습니다. 하지만 MemRoPE 는 훈련 없이 (Training-Free) 기존 모델을 그대로 쓰면서 1 시간짜리 영상도 완벽하게 만들어냅니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드릴게요.

1. 문제: "기억력 감퇴"와 "고정된 사진"의 함정

기존의 긴 영상 생성 기술들은 두 가지 큰 실수를 저질렀습니다.

과거를 완전히 잊어버리는 경우 (FIFO 방식):
- 비유: 영화 감독이 촬영을 계속하는데, 어제 찍은 필름을 다 태워버리고 오늘 찍은 것만 가지고 계속 촬영하는 상황입니다.
- 결과: 10 분 지나면 주인공이 누구였는지, 어떤 옷을 입었는지 까맣게 잊어버려서 얼굴이 변하거나 옷이 바뀝니다.
과거를 '고정된 사진'으로만 기억하는 경우 (기존 방법):
- 비유: 감독이 "시작할 때 찍은 주인공 사진 한 장"만 벽에 걸어두고, 그 사진만 보고 계속 촬영합니다.
- 결과: 주인공이 걷거나 표정이 변해도, 벽에 걸린 사진은 그대로라 동작이 뻣뻣해지거나 (정지된 느낌), 갑자기 사진이 바뀌면 영상이 깜빡입니다.

2. 해결책: MemRoPE 의 두 가지 마법

MemRoPE 는 이 문제를 해결하기 위해 두 가지 똑똑한 장치를 도입했습니다.

🧠 마법 1: "기억의 두 가지 흐름" (Memory Tokens)

기존의 '고정된 사진' 대신, 기억을 두 개의 흐름으로 나누어 관리합니다.

장기 기억 (Long-term Memory):
- 비유: 주인공의 '본질'을 기억하는 오래된 일기장입니다. "이 사람은 금발이고, 붉은 드레스를 입었다"는 핵심 정보만 꾸준히 요약해서 저장합니다. 시간이 지나도 주인공의 정체성 (얼굴, 옷차림) 이 변하지 않게 지켜줍니다.
단기 기억 (Short-term Memory):
- 비유: 최근 10 분간의 '생생한 상황'을 기록하는 메모장입니다. "주인공이 지금 웃고 있다", "바람이 불어 머리카락이 날린다" 같은 최근의 변화를 빠르게 반영합니다.
효과: 이 두 가지를 섞어서 기억하므로, 주인공의 얼굴은 변하지 않으면서도 움직임은 자연스럽게 이어집니다.

📍 마법 2: "위치 번호를 매기는 순간" (Online RoPE Indexing)

기존 기술은 영상을 저장할 때 이미 '시간 위치 (1 초, 2 초...)'를 붙여놔서, 나중에 기억을 합치면 위치가 꼬이는 문제가 있었습니다.

비유:
- 기존 방식: 책장에 책을 꽂을 때 이미 책등에 '1 번, 2 번'이라는 번호가 박혀있는 책을 가져와서 섞으려니, 번호가 꼬여서 내용이 엉망이 됩니다.
- MemRoPE 방식: 책을 책장에 꽂을 때는 **번호를 붙이지 않은 상태 (순수한 내용)**로 저장해둡니다. 그리고 책을 읽을 때 (생성할 때) 그 순간에 맞춰서 "이건 1 번, 저건 2 번"이라고 실시간으로 번호를 매겨줍니다.
효과: 이렇게 하면 과거의 기억 (장기/단기) 과 현재의 장면을 섞어도 시간 순서가 완벽하게 맞고, 위치가 꼬이지 않아 영상이 매끄럽게 이어집니다.

3. 결과: 1 시간 동안 멈추지 않는 영상

이 두 가지 기술을 합치면 어떤 일이 일어날까요?

기존 방식: 10 분 지나면 주인공이 다른 사람으로 변하거나, 배경이 뭉개져서 쓰레기처럼 보입니다.
MemRoPE: 1 시간 동안 영상을 만들어도, 처음에 설정한 주인공의 얼굴, 옷, 배경의 분위기가 끝까지 변함없이 유지됩니다. 마치 한 번 찍은 영화처럼 자연스럽습니다.

💡 요약: 왜 이것이 중요한가요?

MemRoPE 는 새로운 AI 모델을 훈련시킬 필요 없이 (Training-Free), 기존에 있는 모델에 이 '기억 관리 시스템'만 추가하면 됩니다.

"오래된 영상을 만들 때, 더 많은 정보를 저장하는 게 아니라, 정보를 '더 잘' 기억하는 법을 터득한 기술"

이 기술 덕분에 앞으로 1 시간짜리 다큐멘터리, 지속되는 가상 세계 시뮬레이션, 긴 영화 등을 AI 가 실시간으로, 그리고 완벽하게 만들어낼 수 있는 길이 열렸습니다.

MemRoPE: Evolving Memory Tokens 를 통한 훈련 없이 수행되는 무한 비디오 생성

이 논문은 오토레거시 (autoregressive) 확산 모델을 기반으로 한 장시간 비디오 생성의 한계를 해결하기 위해 제안된 MemRoPE라는 새로운 프레임워크를 소개합니다. MemRoPE 는 추가적인 모델 훈련 (training-free) 이 필요 없으며, 고정된 크기의 KV 캐시 (Key-Value Cache) 만을 사용하여 수 시간 단위의 비디오를 생성할 수 있게 합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

기존의 오토레거시 비디오 확산 모델은 실시간 프레임 스트리밍이 가능하지만, 장시간 생성 시 다음과 같은 심각한 문제들이 발생합니다.

정체성 붕괴 (Identity Drift) 및 시각적 왜곡: 슬라이딩 윈도우 방식의 KV 캐시는 과거 컨텍스트를 FIFO(선입선출) 방식으로 폐기하거나, 고정된 초기 토큰만 유지합니다. 이로 인해 시간이 지남에 따라 피사체의 정체성이 사라지거나 배경이 일관성을 잃습니다.
동작 정체 (Motion Stagnation): 과거 정보가 손실되면 비디오의 움직임이 멈추거나 비자연스러워집니다.
기존 방법의 한계:
- FIFO Eviction: 가장 오래된 프레임을 삭제하여 먼 과거의 맥락을 완전히 잃습니다.
- Deep Forcing (Participative Compression): 어텐션 점수에 기반하여 토큰을 선택하지만, 선택된 토큰 집합이 빠르게 고정되어 새로운 토큰이 유입될 때 급격한 시각적 변화 (abrupt shifts) 를 일으키고 시간적 불안정성을 초래합니다.
- ∞-RoPE: 위치 인코딩의 범위를 확장하지만, 과거 컨텍스트를 효과적으로 압축하고 유지하는 메커니즘이 부족합니다.

2. 방법론 (Methodology)

MemRoPE 는 두 가지 상호 보완적인 구성 요소로 이루어진 훈련 없는 프레임워크입니다.

A. 메모리 토큰 (Memory Tokens)

이중 지수 이동 평균 (Dual EMA) 스트림: 모든 과거 키 (Key) 값을 고정된 크기의 버퍼에 저장하는 대신, 장기 (Long-term) 및 단기 (Short-term) 두 개의 스트림으로 압축합니다.
- 장기 메모리 ( $\mu_L$ ): 생성된 전체 역사의 안정적인 표현을 유지하여 피사체의 정체성 (Subject Identity) 과 전반적인 배경을 보존합니다.
- 단기 메모리 ( $\mu_S$ ): 최근의 동적 변화를 추적하여 자연스러운 움직임과 세부 사항을 유지합니다.
지속적인 업데이트: 윈도우에서 빠져나가는 프레임의 키 값을 공간적 풀링 (Spatial Pooling) 후 EMA 로 업데이트하여, 고정된 캐시 크기 내에서 시간이 지남에 따라 진화하는 메모리를 유지합니다.

B. 온라인 RoPE 인덱싱 (Online RoPE Indexing)

위치 인코딩 분리 (Position-free Caching): 기존 방법은 키를 캐시에 저장할 때 Rotary Position Embedding (RoPE) 을 적용합니다. 그러나 서로 다른 시간대의 키를 평균 내면 RoPE 의 회전 위상이 충돌하여 유효하지 않은 표현이 됩니다.
해결책: MemRoPE 는 모든 키를 RoPE 를 적용하지 않은 원시 형태 (raw form) 로 캐시에 저장합니다.
동적 인덱스 적용: 어텐션 (Attention) 단계에서야 현재 생성된 시퀀스 전체에 대해 블록 상대적 (block-relative) 인덱스를 동적으로 할당하고 RoPE 를 적용합니다.
- 이 방식은 시간적 압축 (Temporal Aggregation) 을 수학적으로 유효하게 만들며, 위치 인코딩의 범위를 훈련 범위 내에서 유지하여 위치 외삽 (Positional Extrapolation) 문제를 해결합니다.

3. 주요 기여 (Key Contributions)

훈련 없는 무한 생성 프레임워크: 추가 학습 없이 기존 오토레거시 모델에 플러그인하여 수 시간 단위의 일관된 비디오 생성을 가능하게 함.
이중 메모리 메커니즘: EMA 기반의 장기/단기 메모리 스트림을 통해 고정된 메모리 예산 내에서 과거 컨텍스트와 최근 동역학을 모두 유지.
온라인 RoPE 인덱싱: KV 캐시에서 콘텐츠와 위치를 분리하여 시간적 압축을 가능하게 하고, 위치 외삽 문제를 해결함.
성능 입증: 분 단위에서 시간 단위까지의 다양한 생성 작업에서 기존 최첨단 방법들 (Deep Forcing, ∞-RoPE 등) 보다 시각적 충실도, 시간적 일관성, 피사체 일관성에서 우수한 성능을 보임.

4. 실험 결과 (Results)

정량적 평가 (VBench-Long): 120 초, 240 초, 480 초, 그리고 1 시간 길이의 비디오 생성 실험에서 MemRoPE 는 모든 베이스 모델 (Self-Forcing, LongLive) 에서 가장 높은 평균 점수를 기록했습니다. 특히 '미학적 품질 (Aesthetic Quality)', '이미지 품질 (Imaging Quality)', '피사체 일관성 (Subject Consistency)'에서 압도적인 우위를 보였습니다.
정성적 평가:
- 1 시간 생성: 1 시간 동안 생성된 비디오에서 MemRoPE 는 피사체의 얼굴 특징, 헤어스타일, 배경 색상 등이 일관되게 유지되는 반면, 비교 대상 방법들은 피사체 변형이나 배경 붕괴가 발생했습니다.
- 사용자 연구 및 VLM 평가: 인간 평가자와 Gemini 3.1-Pro 와 같은 VLM 을 통한 평가에서도 MemRoPE 가 색상 일관성, 피사체 일관성, 배경 일관성 등 모든 차원에서 가장 높은 선호도를 받았습니다.
효율성: 고정된 캐시 크기를 유지하므로 메모리 사용량이 생성 시간에 비례하여 증가하지 않으며, 오히려 캐시 크기를 줄여 추론 속도를 향상시키는 경우도 있었습니다.

5. 의의 (Significance)

MemRoPE 는 장시간 비디오 생성의 핵심 과제가 단순히 더 많은 프레임을 저장하는 것이 아니라, **"더 잘 기억하는 것 (remembering them better)"**임을 증명했습니다.

실용성: 추가 학습 없이 기존 모델에 적용 가능하므로, 영화 제작, 지속적인 세계 시뮬레이션, 합성 데이터 생성 등 다양한 분야에서 즉시 활용 가능합니다.
기술적 혁신: 위치 인코딩과 시간적 압축을 동시에 해결하는 새로운 패러다임을 제시하여, 고정된 메모리 제한 하에서 무한한 시퀀스 생성을 가능하게 하는 중요한 이정표가 됩니다.

결론적으로, MemRoPE 는 고정된 메모리 예산 내에서 과거 정보를 지속적으로 진화시키고 압축함으로써, 수 시간 단위의 고품질 비디오 생성을 실현한 획기적인 방법론입니다.