🤖 machine learning

MonarchRT: Efficient Attention for Real-Time Video Generation

이 논문은 실시간 비디오 생성의 병목 현상인 3D 자기주의의 이차적 비용 문제를 해결하기 위해, 기존 희소 주의 근사법의 한계를 극복하고 Monarch 행렬을 활용한 구조화된 'Monarch-RT'를 제안하여 Self-Forcing 모델에서 16FPS 의 실시간 생성을 가능하게 하고 FlashAttention 시리즈보다 1.4~11.8 배 빠른 속도를 달성했다고 요약할 수 있습니다.

원저자: Krish Agarwal, Zhuoming Chen, Cheng Luo, Yongqi Chen, Haizhong Zheng, Xun Huang, Atri Rudra, Beidi Chen

게시일 2026-02-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Krish Agarwal, Zhuoming Chen, Cheng Luo, Yongqi Chen, Haizhong Zheng, Xun Huang, Atri Rudra, Beidi Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎥 MonarchRT: 실시간 비디오 생성을 위한 '초고속' 혁신

이 논문은 **"실시간으로 영상을 만드는 AI"**가 겪고 있는 치명적인 병목 현상을 해결한 획기적인 연구입니다. 마치 고해상도 영상을 실시간으로 녹화하고 편집하는 데 걸리는 시간이 너무 길어, 마치 '만화 속의 느린 시간'처럼 느껴지던 문제를 해결한 이야기입니다.

핵심 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: 왜 실시간 영상 생성은 어렵나요?

지금까지의 AI 영상 생성 기술 (Diffusion Transformer) 은 영상을 만들 때 **"모든 픽셀이 서로 대화"**하는 방식을 썼습니다.

비유: 100 명의 사람이 모여서 서로의 이야기를 모두 듣고 반응해야 하는 회의라고 상상해 보세요. (A 는 B, C, D... 모두에게 말하고, B 도 모두에게 말해야 함).
문제점: 사람이 100 명이면 대화 횟수가 10,000 번 (100×100) 으로 폭증합니다. 영상을 만들 때는 이 '대화'가 프레임마다, 프레임마다 반복되어야 하므로 계산량이 기하급수적으로 늘어납니다.
결과: AI 가 영상을 만들려면 시간이 너무 오래 걸려서, "실시간 (Real-time)"으로 보거나 만들 수 없었습니다.

2. 기존 해결책의 실패: "일부만 대화하게 하기"

연구자들은 "모두가 대화할 필요 없지 않나? 중요한 사람만 대화하게 하면 어떨까?"라고 생각했습니다.

기존 방식 (Sparse Attention): "가까운 사람만 대화하거나, 미리 정해진 몇 명만 대화하게 하자."
실패 이유: 하지만 영상은 단순하지 않습니다.
1. 주기적인 리듬: 영상은 시간과 공간에 따라 규칙적인 패턴 (예: 물결치는 파도, 걷는 발걸음) 이 있습니다.
2. 의미 있는 연결: 멀리 떨어진 두 사물 (예: 1 초 전의 구름과 10 초 후의 비) 이 서로 깊은 연관이 있을 수 있습니다.
비유: 회의에서 "가까운 사람만 대화하게" 하면, 멀리서 중요한 정보를 전달해야 하는 사람이 소외됩니다. 혹은 "무작위로 몇 명만 뽑아서 대화하게" 하면, 중요한 주제가 놓쳐서 엉뚱한 결과가 나옵니다.
결론: 기존 방식은 영상을 만들 때 화질이 깨지거나 (기하학적 왜곡) 아예 엉망이 되는 문제가 발생했습니다.

3. MonarchRT 의 해결책: "똑똑한 대화 규칙"

이 연구팀은 AI 가 영상을 만들 때 필요한 '대화 규칙'을 완전히 새로 설계했습니다. 이를 MonarchRT라고 부릅니다.

🏗️ 핵심 아이디어 1: 블록 정렬 (Block Alignment)

비유: 영상을 만들 때, 단순히 '사람 순서'대로 대화하게 하면 안 됩니다. **'무대 배치'**를 고려해야 합니다.
- 예: 같은 장면 (프레임) 에 있는 사람들은 서로 가까이 있고, 같은 시간대에 움직이는 사람들은 서로 연관되어 있습니다.
해결: MonarchRT 는 영상을 **시간 (Frame), 높이 (Height), 너비 (Width)**라는 3 차원 구조에 맞춰 블록을 나누고, 이 블록들이 서로 자연스럽게 대화할 수 있도록 정렬합니다.
- 마치 연극에서 배우들이 무대 배치에 따라 자연스럽게 대사를 주고받는 것처럼요.

🧩 핵심 아이디어 2: 타일링 (Tiled Monarch)

비유: 큰 블록으로만 대화하면, 아주 작고 중요한 세부 사항 (예: 눈썹의 미세한 움직임) 을 놓칠 수 있습니다.
해결: 큰 블록을 **작은 타일 (Tile)**로 잘게 쪼개서, 중요한 부분은 더 세밀하게, 중요하지 않은 부분은 빠르게 처리할 수 있게 했습니다.
- 마치 고해상도 지도를 볼 때, 전체 지도를 한눈에 보는 것도 중요하지만, 특정 도시를 확대해서 자세히 보는 것이 더 정확하듯, 필요한 곳에 집중할 수 있게 한 것입니다.

⚡ 핵심 아이디어 3: 훈련을 통한 최적화 (Finetuning)

비유: 새로운 대화 규칙을 배우는 데 시간이 너무 오래 걸리면 실시간으로 쓸 수 없습니다.
해결: AI 가 이 새로운 규칙을 미리 **훈련 (Finetuning)**시켜 두었습니다.
- 덕분에 실시간으로 영상을 만들 때, 복잡한 계산을 반복할 필요 없이 한 번의 계산만으로도 고품질의 결과를 낼 수 있게 되었습니다.

4. 놀라운 성과: "실시간이 가능해졌다!"

이 기술을 적용한 결과, 놀라운 변화가 일어났습니다.

압도적인 속도: 기존 기술 (FlashAttention) 보다 최대 11.8 배 더 빨라졌습니다.
- 비유: 예전에는 영상을 만드는 데 10 분이 걸렸다면, 이제는 1 분도 안 걸려서 만들어집니다.
고화질 유지: 계산량을 95%나 줄였음에도 불구하고, 영상의 화질은 원래와 거의 똑같이 선명합니다.
- 비유: "음식을 만들 때 재료를 95% 줄였는데, 맛은 더 맛있어졌다"는 말처럼, 효율성과 품질을 동시에 잡았습니다.
실시간 달성: 최신 그래픽카드 (RTX 5090) 하나만으로도 **초당 16 프레임 (16 FPS)**의 고품질 영상을 실시간으로 생성할 수 있게 되었습니다.
- 이제 AI 가 영상을 만드는 속도가 사람이 눈으로 보는 속도와 비슷해졌습니다!

📝 요약

MonarchRT는 AI 가 영상을 만들 때 "모두가 서로 대화하는 비효율적인 방식"을 버리고, **"영상의 구조 (시간, 공간) 에 맞춰 똑똑하게 대화하는 방식"**으로 바꾼 기술입니다.

이것은 마치 혼잡한 도로의 교통 체증을 해결하기 위해, 모든 차가 무작위로 달리는 게 아니라, 신호등과 차선을 완벽하게 맞춰서 질서 정연하게 달리게 만든 것과 같습니다. 그 결과, AI 가 실시간으로 영상을 생성하는 시대가 열리게 되었습니다.

1. 문제 정의 (Problem)

실시간 비디오 생성 (Real-time Video Generation) 은 Diffusion Transformer (DiT) 기반 모델에서 3D 자기 주의 (Self-Attention) 의 2 차 (Quadratic) 계산 비용에 의해 병목 현상이 발생합니다. 특히 다음과 같은 두 가지 핵심 요구사항이 기존 효율적 주의 메커니즘의 실패를 초래합니다.

** autoregressive (자기회귀) 생성 및 적은 단계 (Few-step):** 실시간 상호작용을 위해 생성 단계가 적고 (예: 4 단계), autoregressive 방식으로 진행될 때 시간이 지남에 따라 오류가 누적됩니다. 각 디노이징 (denoising) 단계가 훨씬 더 많은 정보를 처리해야 하므로, 정보 손실에 매우 민감합니다.
기존 희소 주의 (Sparse Attention) 의 한계:
- 위치 기반 희소성 (Positional Sparsity): 시공간적 이웃만 주의하는 방식은 DiT 의 장기적 의미 의존성 모델링 능력을 약화시킵니다.
- 의미 기반 희소성 (Semantic Sparsity): 클러스터링이나 검색 기반 토큰 선택 방식은 밀집된 혼합 (dense mixing) 이 필요한 경우 파라미터 효율성이 낮습니다.
- Oracle Top-k 의 실패: 논문 실험에 따르면, 계산 비용을 10% 로 줄인 이상적인 Top-k 주의조차 3D 주의 맵의 복잡한 구조 (주기적 패턴 + 동적 의미 상관관계) 를 포착하지 못해 비디오 품질이 급격히 저하됩니다.

2. 방법론 (Methodology)

저자들은 3D 주의 맵이 단순한 희소성이 아니라, 시공간 위치에 기반한 뚜렷한 주기적 구조와 동적인 희소 의미 상관관계, 그리고 밀집된 혼합이 결합된 형태임을 분석했습니다. 이를 해결하기 위해 MonarchRT를 제안했습니다.

핵심 아이디어: Monarch 행렬 파라미터화

Monarch 행렬은 희소 행렬, 저랭크 행렬, FFT, Hadamard 변환 등을 포괄하는 구조화된 행렬 클래스입니다. MonarchRT 는 이를 비디오 생성에 맞게 다음과 같이 개선했습니다.

정렬된 블록 구조 (Aligned Block Structure):
- Monarch 파라미터화의 블록 크기가 비디오 토큰의 시공간 배치 (Frame, Height, Width) 와 정렬되지 않으면 근사 품질이 급격히 떨어집니다.
- 해결책: 비디오 차원 $(f, h, w)$ 각각이 정확히 하나의 블록 차원에 완전히 할당되도록 블록 크기를 설계합니다 (예: $b_1 = f \times h, b_2 = w$ ). 이를 통해 순수 위치 기반 주의 패턴을 정확히 재현할 수 있습니다.
타일된 Monarch 파라미터화 (Tiled Monarch Parameterization):
- 기존 Monarch 는 블록 크기를 변경해도 계산 비용과 표현력 사이의 단조로운 개선 (monotonic refinement) 이 보장되지 않는 문제가 있었습니다.
- 해결책: 각 Monarch 블록을 더 작은 서브-블록 (타일) 으로 분할하는 방식을 도입했습니다. 이는 희소하고 불규칙한 의미 상호작용을 더 정밀하게 포착할 수 있게 하며, 정확도와 효율성 간의 명확한 트레이드오프를 제공합니다.
파인튜닝 및 효율적 구현 (Finetuning & Efficient Implementation):
- 반복 정합 단계 감소: 기존 MonarchAttention 은 고품질 근사를 위해 많은 반복 정합 (iterative refinement) 단계가 필요했으나, 이를 파인튜닝을 통해 1 단계의 반복으로도 높은 품질을 달성하도록 최적화했습니다.
- 커스텀 Triton 커널: 긴 시퀀스를 위한 Forward/Backward 커널을 직접 구현하여 FlashAttention 스타일의 SRAM 기반 계산을 적용하고, 메모리 병목을 해결하기 위해 미니-시퀀스 (mini-sequence) 전략을 사용했습니다.

3. 주요 기여 (Key Contributions)

3D 주의 구조에 대한 분석: 기존 희소/저랭크 방법이 실패하는 이유를 규명하고, Monarch 파라미터화가 3D 비디오 주의의 시공간 주기성과 의미 상관관계를 동시에 포착할 수 있는 이론적 근거를 제시했습니다.
Tiled Monarch 및 블록 정렬 전략: 비디오 생성에 적합한 블록 정렬 전략과 표현력을 극대화하는 Tiled Monarch 파라미터화를 제안하여, 임의의 정밀도로 3D 주의 행렬을 근사할 수 있게 했습니다.
실시간 최적화: 반복 정합 단계를 줄이는 파인튜닝 전략과 커스텀 Triton 커널을 통해 추론 오버헤드를 대폭 줄였습니다.
성능 입증: Self-Forcing 모델에서 **95% 의 주의 희소성 (Sparsity)**을 달성하면서도 밀집 주의 (Dense Attention) 와同等한 화질을 유지했습니다.

4. 실험 결과 (Results)

화질 품질 (Quality):
- Self-Forcing (Real-time 모델): 95% 희소성에서도 VBench 점수가 밀집 주의 모델과 거의 동일하게 유지되었습니다 (Total Score: 0.838 vs 0.836).
- Wan 2.1 (Bidirectional 모델): 기존 희소 주의 방법 (VSA, SVG 등) 이 85% 희소성에서 화질이 급격히 떨어지는 반면, MonarchRT 는 95% 희소성에서도 최상의 성능을 보였습니다.
- Oracle Top-k 비교: 10% 계산 비용의 Oracle Top-k 는 심각한 왜곡을 보인 반면, MonarchRT 는 높은 품질을 유지했습니다.
속도 및 효율성 (Efficiency):
- 커널 속도: NVIDIA RTX 5090, H100, B200 GPU 에서 FlashAttention-2/3/4 보다 1.4 배 ~ 11.8 배 빠른 속도를 기록했습니다.
- 실시간 생성 달성: 단일 RTX 5090 GPU 에서 Self-Forcing 모델을 사용하여 16 FPS의 진정한 실시간 비디오 생성을 최초로 달성했습니다 (기존 FlashAttention-2 기준 11 FPS 대비).
- 전체 지연 시간 (E2E Latency): 480p 해상도에서 RTX 5090 기준 95% 희소성으로 36% 의 전체 속도 향상을 보였습니다.

5. 의의 (Significance)

MonarchRT 는 실시간 비디오 생성 분야에서 계산 효율성과 생성 품질 간의 상충 관계 (Trade-off) 를 극복한 획기적인 작업입니다.

실시간 상호작용 가능: 적은 단계와 autoregressive 생성이 필수적인 실시간 비디오 생성 (예: 게임 엔진, 가상 세계 생성) 에 적용 가능한 첫 번째 고품질 솔루션을 제시했습니다.
새로운 주의 패러다임: 단순한 희소성 (Sparsity) 에 의존하지 않고, 구조화된 행렬 (Structured Matrices) 을 통해 3D 시공간 데이터의 복잡한 패턴을 효율적으로 모델링할 수 있음을 증명했습니다.
하드웨어 최적화: 최신 GPU 아키텍처 (RTX 5090 등) 에 최적화된 커널을 통해 소비자급 하드웨어에서도 고품질 실시간 생성을 가능하게 하여 접근성을 높였습니다.

이 연구는 Diffusion Transformer 기반 비디오 생성 모델이 계산 비용의 제약 없이 실시간 응용 분야에 널리 배포될 수 있는 중요한 이정표가 될 것으로 기대됩니다.