Each language version is independently generated for its own context, not a direct translation.

캔버스마르 (CanvasMAR): 비디오를 그리는 '스케치'의 마법

이 논문은 인공지능이 비디오를 만들 때, 특히 매우 적은 노력 (단계) 으로도 선명하고 자연스러운 영상을 만들어내는 새로운 방법을 소개합니다.

기존의 AI 비디오 생성 모델들은 마치 완벽한 그림을 한 번에 그리려다 보니, 붓질이 부족할 때 그림이 뭉개지거나 엉망이 되는 문제가 있었습니다. 이 문제를 해결하기 위해 저자들은 **'캔버스 (Canvas)'**라는 아이디어를 도입했습니다.

이해를 돕기 위해 화가가 그림을 그리는 과정에 비유해 설명해 드리겠습니다.

1. 기존 방식의 문제점: "눈가리고 화살 쏘기"

기존의 '마스크 오토레그레이시브 (MAR)' 모델은 비디오를 만들 때, 화면을 작은 조각 (토큰) 으로 나누고 무작위 순서로 하나씩 채워 넣습니다.

비유: 화가가 캔버스 전체를 가리고, 어떤 부분을 칠할지 전혀 모르는 상태에서 붓을 대고 색을 칠하는 것과 같습니다.
결과: 처음 몇 번의 붓질 (샘플링 단계) 만으로는 전체적인 구도나 인물의 형태가 잡히지 않아, 그림이 뭉개지거나 기괴하게 변형되는 경우가 많았습니다. 특히 비디오는 시간이 흐르면서 이 문제가 더 심해졌습니다.

2. CanvasMAR 의 해결책: "먼저 흐릿한 스케치를 그린다"

이 논문이 제안한 CanvasMAR은 그림을 그릴 때 먼저 '흐릿한 스케치 (캔버스)'를 그려놓는 것부터 시작합니다.

캔버스 (The Canvas)란?
- 다음 장면을 미리 한 번만 빠르게 예측해서 만든 흐릿하지만 전체적인 구도가 잡힌 초안입니다.
- 마치 화가가 정밀한 그림을 그리기 전에, 연필로 대략적인 윤곽과 구도만 빠르게 스케치해 두는 것과 같습니다.
어떻게 작동하나요?
- AI 는 먼저 이 '흐릿한 스케치'를 그립니다.
- 그다음, 이 스케치를 **가이드 (마스크)**로 삼아 정밀한 그림을 채워 넣습니다.
- 효과: AI 는 "어디에 무엇을 그려야 할지" 대략적인 방향을 이미 알고 있기 때문에, 적은 붓질 (샘플링 단계) 만으로도 전체적인 구조가 무너지지 않고 선명한 그림을 완성할 수 있습니다.

3. 두 가지 추가적인 꿀팁 (기술적 혁신)

이 모델은 단순히 스케치만 그리는 것이 아니라, 두 가지 더 똑똑한 전략을 사용합니다.

A. "쉬운 것부터 어려운 것" 순서로 그리기 (Motion-Aware Sampling)

문제: 그림에서 **움직이지 않는 배경 (벽, 나무)**과 **빠르게 움직이는 것 (사람, 자동차)**은 그리는 난이도가 다릅니다.
해결: AI 는 가장 먼저 움직이지 않는 부분 (배경) 을 먼저 그리고, 그다음 움직이는 부분 (동작이 많은 곳) 을 나중에 채웁니다.
비유: 그림을 그릴 때 먼저 배경을 칠하고, 그다음 주인공의 얼굴과 옷을 정교하게 그리는 순서입니다. 이렇게 하면 복잡한 동작 부분에서 실수가 생기는 것을 막아줍니다.

B. "스케치와 시간의 흐름"을 함께 고려하기 (Compositional Guidance)

AI 는 **흐릿한 스케치 (공간적 정보)**와 **이전 장면의 흐름 (시간적 정보)**을 동시에 참고하여 그림을 완성합니다.
마치 화가가 **초안 (스케치)**을 보면서도 **이전 장면에서 어떤 일이 일어났는지 (시간적 맥락)**를 기억하며 그림을 완성하는 것과 같습니다. 이렇게 하면 그림이 더 자연스럽게 이어집니다.

4. 왜 이것이 중요한가요? (결과)

이 방법을 사용하면 기존 모델보다 훨씬 적은 단계로 고품질의 비디오를 만들 수 있습니다.

속도: 같은 화질이라도 약 5~6 배 더 빠르게 생성됩니다. (마치 100 번의 붓질로 그릴 그림을 10 번의 붓질로 완성하는 것과 같습니다.)
품질: 적은 단계에서도 인물의 형태가 뭉개지지 않고, 배경과 동작이 자연스럽게 유지됩니다.
경쟁력: 기존의 복잡한 '확산 모델 (Diffusion Model)'들과 견줄 만한 화질을 내면서, 훨씬 더 빠르고 가볍게 작동합니다.

요약

CanvasMAR는 AI 가 비디오를 만들 때, 완벽한 그림을 바로 그리려 하지 않고, 먼저 흐릿한 '스케치 (캔버스)'를 그려 방향을 잡은 뒤, 움직이지 않는 부분부터 차근차근 채워 넣는 방식을 사용합니다. 덕분에 적은 노력으로도 빠르고 아름다운 비디오를 만들어낼 수 있게 되었습니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem)

마스크된 자기회귀 모델 (Masked Autoregressive Models, MAR) 은 이미지 및 비디오 생성 분야에서 강력한 패러다임으로 부상했습니다. 그러나 비디오 생성에 MAR 을 적용할 때 다음과 같은 근본적인 한계가 존재합니다.

구조적 글로벌 사전 지식의 부재: 기존 MAR 모델은 무작위 순서로 토큰을 생성하며, 초기 단계에서는 생성된 토큰 수가 적어 전역적인 구조 (Global Structure) 를 유지하기 어렵습니다.
샘플링 단계와 품질의 트레이드오프: 고품질 비디오를 생성하려면 많은 수의 자기회귀 (autoregressive) 단계가 필요하지만, 단계 수를 줄이면 (예: 8 단계 미만) 프레임이 심하게 왜곡되거나 일관성이 깨지는 현상이 발생합니다. 특히 비디오의 시간적 차원이 이 문제를 더욱 악화시킵니다.
기존 방법의 한계: Diffusion 기반 모델은 전체 프레임을 한 번에 생성하거나 반복적인 디노이징을 수행하여 지연 시간이 길고 상호작용성이 낮습니다. 반면, 기존 토큰 기반 자기회귀 모델은 양자화 오류 (Quantization Errors) 를 피하기 위해 연속 토큰을 사용하지만, 빠른 샘플링 시 전역적 일관성을 유지하는 데 실패합니다.

2. 방법론 (Methodology)

저자들은 CanvasMAR이라는 새로운 자기회귀 비디오 예측 모델을 제안합니다. 이 모델은 '캔버스 (Canvas)' 개념을 도입하여 적은 샘플링 단계로도 고충실도 (High-fidelity) 비디오를 생성할 수 있도록 설계되었습니다. 주요 구성 요소는 다음과 같습니다.

가. 캔버스 (The Canvas): 전역 구조의 초기화

개념: 다음 프레임의 전체적인 구조를 나타내는 '흐릿한 (blurred) 1 단계 예측'을 생성합니다. 이는 균일한 마스크 대신 비균일 마스크 (Non-uniform mask) 역할을 하여 생성 과정 초기에 전역 구조를 제공합니다.
구현:
1. Temporal ViT: 과거 프레임을 인코딩하여 시간적 임베딩 ( $z_t$ ) 을 생성합니다.
2. Canvas ViT: 시간적 임베딩과 최근 프레임을 입력받아 다음 프레임의 초기 추측인 '캔버스 임베딩' ( $z_c$ ) 을 한 번의 패스로 예측합니다.
3. Spatial MAR: 캔버스 임베딩과 시간적 임베딩을 조건으로 받아, 캔버스를 기반으로 토큰을 점진적으로 채워 나갑니다.
효과: 캔버스는 다음 프레임의 기대값 (Expected value) 을 근사하므로, 생성 초기에 전역적 일관성을 유지하고 모델이 하나의 타당한 미래 프레임으로 빠르게 수렴하도록 돕습니다.

나. 모션 인식 적응형 샘플링 순서 (Motion-Aware Adaptive Sampling Order)

문제: 캔버스가 예측하더라도 움직임이 큰 영역 (고동적 영역) 은 흐릿하게 예측될 수 있어, 초기 단계에서 이러한 영역을 동시에 생성하면 품질이 저하됩니다.
해결: '쉬운 것에서 어려운 것 (Easy-to-Hard)' 커리큘럼을 도입합니다.
- Staticness Head: 캔버스 패치별 움직임 정도를 예측하는 경량 헤드를 추가합니다.
- 샘플링 전략: 움직임이 적은 정적 영역 (Static regions) 을 먼저 생성하고, 시간이 지남에 따라 동적인 영역을 생성합니다. 이는 자기회귀 샘플링을 안정화시키고 모션 아티팩트를 줄입니다.

다. 구성적 분류기 없는 가이드 (Compositional Classifier-Free Guidance, CFG)

개념: 캔버스 (공간적 조건) 와 시간적 조건을 모두 강화하기 위해 CFG 를 적용합니다.
구현: 무조건부 (Unconditional), 시간 조건부, 공간 + 시간 조건부 세 가지 경로를 통해 예측 점수 (Score) 를 계산하고, 가중치 ( $w_s, w_t$ ) 를 곱하여 결합합니다. 이를 통해 생성된 프레임이 캔버스의 전역 구조와 시간적 일관성을 동시에 따르도록 유도합니다.

3. 주요 기여 (Key Contributions)

CanvasMAR 아키텍처 제안: 자기회귀 비디오 생성에서 전역 구조를 제공하는 '캔버스' 메커니즘을 처음 도입하여, 적은 샘플링 단계 (예: 8 단계) 로도 고품질 비디오를 생성 가능하게 했습니다.
이중 자기회귀 프로세스: 시간적 자기회귀 (프레임 간) 와 공간적 자기회귀 (프레임 내 토큰 간) 를 효율적으로 결합하고, 캔버스를 통해 두 과정 간의 격차를 해소했습니다.
모션 인식 샘플링 전략: 움직임 정보를 활용하여 생성 순서를 동적으로 조정함으로써, 샘플링 안정성을 높이고 모션 왜곡을 줄였습니다.
성능 및 효율성 균형: 기존 자기회귀 모델보다 훨씬 적은 단계로 더 높은 품질을 달성하면서도, Diffusion 기반 모델보다 훨씬 빠른 추론 속도를 제공합니다.

4. 실험 결과 (Results)

저자들은 BAIR, UCF-101, Kinetics-600 데이터셋에서 CanvasMAR 를 평가했습니다.

성능 (FVD - Fréchet Video Distance):
- BAIR: 자기회귀 모델 중 두 번째로 좋은 성능을 보였으며, 편향 제거 (Debiased) 평가에서는 MAGVIT 을 능가하여 1 위를 기록했습니다.
- Kinetics-600: 자기회귀 모델 중 MAGVIT-v2 에 이어 2 위를 기록했으며, MAGI 와 같은 기존 자기회귀 모델보다 월등히 좋은 성능을 보였습니다. 또한, 최첨단 Diffusion 모델 (DFoT) 과도 경쟁 가능한 성능을 달성했습니다.
효율성 (Speed):
- 샘플링 단계: CanvasMAR 는 8~12 단계의 자기회귀 단계만으로도 고품질 비디오를 생성합니다.
- 추론 속도: Diffusion 모델인 DFoT 와 비교했을 때, CanvasMAR 은 약 5.7 배 더 빠른 지연 시간 (Latency) 을 보였습니다. 전체 생성 시간 기준으로도 약 2.7 배 빠른 것으로 나타났습니다.
정성적 평가: 캔버스가 없는 모델은 8 단계 생성 시 몸체 구조가 왜곡되는 반면, CanvasMAR 은 전역 구조와 객체 일관성을 잘 유지했습니다.

5. 의의 및 결론 (Significance)

자기회귀 비디오 생성의 새로운 기준 설정: 기존 자기회귀 모델이 겪었던 '샘플링 단계와 품질 간의 트레이드오프' 문제를 '캔버스' 메커니즘을 통해 해결했습니다. 이는 적은 계산 비용으로 고품질 비디오를 생성할 수 있음을 입증했습니다.
상호작용성 및 실시간 응용 가능성: Diffusion 모델의 높은 지연 시간 문제를 해결하고, 자기회귀 모델의 상호작용성 장점을 유지하면서 속도를 획기적으로 개선했습니다. 이는 게임 환경, 인터랙티브 시뮬레이터 등 실시간 비디오 생성이 필요한 응용 분야에 큰 잠재력을 제공합니다.
확장성: 캔버스 메커니즘은 텍스트 조건부 생성이나 멀티모달 설정으로도 확장 가능할 것으로 기대되며, 대규모 비디오 생성 모델의 효율성을 높이는 중요한 방향성을 제시합니다.

요약하자면, CanvasMAR은 비디오 생성의 전역적 구조를 미리 예측하여 (캔버스) 자기회귀 과정의 초기 단계를 안정화시키고, 모션 정보를 기반으로 샘플링 순서를 최적화함으로써 적은 단계로 고품질 비디오를 생성하는 효율적인 프레임워크를 제시한 연구입니다.

CanvasMAR: Improving Masked Autoregressive Video Prediction With Canvas