Real-Time Motion-Controllable Autoregressive Video Diffusion

이 논문은 강화 학습 기반의 자기회귀 (AR) 모델인 AR-Drag 을 제안하여, 기존 양방향 확산 모델의 지연 문제를 해결하고 저지연으로 정밀한 모션 제어가 가능한 고품질 실시간 이미지-동영상 생성을 실현했습니다.

핵심

이 논문은 **'AR-Drag'**이라는 새로운 인공지능 기술을 소개합니다. 이 기술은 우리가 손가락으로 화면을 드래그하거나 움직임을 지시하면, 그 즉시 실시간으로 영상을 만들어주는 '마법 같은 도구'입니다.

기존의 기술들이 가진 문제점과 AR-Drag 가 어떻게 이를 해결했는지, 일상적인 비유를 들어 설명해 드릴게요.

1. 기존 기술의 문제: "완성된 영화를 보고 나서 수정하기"

지금까지의 영상 생성 AI 들 (Bidirectional VDM) 은 한 편의 영화를 처음부터 끝까지 동시에 구상하는 방식이었습니다.

• 비유: 마치 영화 감독이 대본을 쓰고, 배우를 캐스팅하고, 촬영을 하고, 편집을 다 끝낸 완성된 영화를 보고 나서 "아, 주인공이 좀 더 왼쪽으로 움직였으면 좋겠다"라고 말하면, 감독이 영화 전체를 다시 다 찍고 편집해서 다시 보여준다고 상상해 보세요.
• 문제점: 사용자가 "이렇게 움직여줘"라고 중간에 지시를 바꿀 수 없습니다. 모든 것이 다 만들어져야만 수정이 가능하므로, 대기 시간 (Latency) 이 매우 길고 실시간 대화나 게임처럼 즉각적인 반응이 불가능했습니다.

2. AR-Drag 의 혁신: "실시간으로 그리는 만화책"

AR-Drag 는 ** autoregressive **(자기회귀) 방식을 사용합니다. 이는 한 장, 한 장 순서대로 만들어가는 방식입니다.

• 비유: 이 기술은 만화책을 그리는 화가와 같습니다. 1 페이지를 그리고, 사용자가 "다음 장은 이렇게 그려줘"라고 지시하면, 화가는 바로 2 페이지를 그립니다. 만약 2 페이지가 마음에 안 들면, 3 페이지를 그리기 전에 바로 수정할 수 있습니다.
• 장점: 사용자가 지시를 내리는 대로 즉시 반응하여 영상을 만들어냅니다. 기다리는 시간이 거의 없습니다.

3. 해결해야 할 난제: "실수 쌓임"과 "공허한 연습"

하지만 순서대로 그리는 방식에는 두 가지 큰 함정이 있었습니다.

1. 실수 누적: 1 페이지를 조금 삐뚤게 그리면, 2 페이지는 그 삐뚤어진 것을 바탕으로 그리게 되어 점점 더 엉망이 됩니다. (질 저하)
2. 훈련과 실제의 괴리: 훈련할 때는 "정답 (이미 만들어진 그림)"을 보고 그렸지만, 실제로는 "스스로 그린 그림"을 보고 그리는 상황이라서 AI 가 혼란을 겪습니다.

4. AR-Drag 의 핵심 기술 3 가지

이 논문은 이 문제들을 해결하기 위해 세 가지 clever 한 전략을 사용했습니다.

① 자기 자신과 놀기 (Self-Rollout)

• 비유: 보통 학생이 시험을 볼 때는 선생님이 정답을 알려주며 문제를 풉니다. 하지만 AR-Drag 는 스스로 문제를 풀고, 그 답을 바탕으로 다음 문제를 풀며 연습합니다.
• 효과: 이렇게 훈련하면 실제 사용할 때 (실제 그림을 그릴 때) 실수가 쌓여도 AI 가 어떻게 대처해야 할지 미리 알고 있게 되어, 영상이 뭉개지거나 깨지는 현상을 막아줍니다.

② 선택적 무작위성 (Selective Stochasticity)

• 비유: 긴 여행을 갈 때, 매 순간마다 "왼쪽으로 갈까, 오른쪽으로 갈까?" 고민하며 무작위로 방향을 정하면 여행이 너무 길어지고 지칩니다. 대신 여행의 중간에 딱 한 번만 "우연히" 방향을 바꿔보는 것으로 충분합니다.
• 효과: AI 가 너무 많은 무작위성을 가지면 학습이 불안정해집니다. AR-Drag 는 필요한 순간에만 약간의 '운'을 섞어서 AI 가 다양한 가능성을 탐색하게 하되, 계산 속도는 빠르도록 유지합니다.

③ 보상 게임 (Reinforcement Learning with Reward)

• 비유: AI 에게 "잘 그렸으면 점수 줘"라고 알려주는 게임을 시켰습니다.
  • 시각적 점수: 그림이 예쁜지 (Aesthetic)
  • 움직임 점수: 사용자가 지시한 대로 움직였는지 (Motion Control)
• 효과: AI 는 이 점수를 받기 위해 스스로 "어떻게 그리면 더 잘할까?"를 고민하며 학습합니다. 특히 복잡한 움직임 (예: 머리카락이 바람에 날리는 것) 을 정확히 따라가도록 훈련시켰습니다.

5. 결론: 왜 이 기술이 중요한가요?

• 빠름: 기존 기술보다 수백 배 더 빠릅니다. (약 0.44 초 vs 176 초)
• 정확함: 사용자가 지시한 대로 움직임을 정확히 따라갑니다.
• 가볍음: 머신러닝 모델의 크기가 작아 (13 억 개 파라미터) 일반 컴퓨터에서도 잘 돌아갑니다.

한 줄 요약:

AR-Drag 는 **"사용자의 손짓 하나에 바로 반응하며, 한 장 한 장 실수 없이 깔끔하게 실시간 영상을 그려내는 똑똑한 화가"**입니다.

이 기술은 앞으로 실시간 인터랙티브 게임, 맞춤형 광고 제작, 혹은 사용자가 직접 스토리를 만들어가는 영상 콘텐츠 등 다양한 분야에서 혁신을 가져올 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비디오 생성 모델, 특히 모션 제어 (Motion Control) 가 가능한 비디오 확산 모델 (VDM) 은 다음과 같은 한계를 가지고 있습니다.

• 고지연성 (High Latency): 현재 주류인 양방향 (Bidirectional) 확산 모델은 모든 프레임을 동시에 노이즈 제거 (Denoising) 해야 합니다. 이로 인해 모든 제어 입력이 지정될 때까지 생성이 지연되며, 실시간으로 모션을 수정하거나 상호작용하는 것이 불가능합니다.
• ** autoregressive (AR) 모델의 부재 및 한계:** 실시간 제어를 위해 순차적으로 프레임을 생성하는 AR 모델은 유리하지만, 기존 AR 비디오 모델들은 주로 텍스트 - 비디오 (T2V) 생성에 국한되거나, 이미지 - 비디오 (I2V) 시나리오에서 복잡한 모션 제어 (예: 궤적, 바운딩 박스) 를 지원하지 못합니다.
• 품질 저하 및 아티팩트: AR 모델은 특히 단계 수가 적은 (Few-step) 설정에서 오차 누적 (Error Accumulation) 로 인해 화질 저하와 모션 아티팩트가 발생합니다. 또한, 훈련 시 정답 (Ground Truth) 프레임을 사용하고 추론 시 생성된 프레임을 사용하는 '훈련 - 테스트 불일치 (Train-Test Mismatch)' 문제가 있어 강화학습 (RL) 적용이 어렵습니다.

2. 제안 방법: AR-Drag (Methodology)

저자들은 AR-Drag를 제안했습니다. 이는 실시간 모션 제어가 가능한 첫 번째 강화학습 (RL) 기반의 Few-step AR 비디오 확산 모델입니다. 전체 프로세스는 두 단계로 구성됩니다.

1 단계: 실시간 모션 제어 기반 베이스 모델 구축 (Fine-tuning & Distillation)

• 데이터 구축: 다양한 모션 패턴을 가진 실사 및 합성 비디오를 수집하고, 자동 검출기를 통해 궤적 (Trajectory) 제어 신호를 생성하여 인간 검증을 거친 데이터셋을 구성했습니다.
• 양방향 모델 미세 조정: Wan2.1-1.3B 모델을 기반으로 제어 신호 (궤적, 텍스트, 참조 이미지) 를 입력받아 모션 제어를 학습하도록 양방향 VDM 을 미세 조정합니다.
• Few-step AR 모델 증류 (Distillation): 양방향 'Teacher' 모델을 Few-step 'Student' 모델로 증류합니다. 이때 Self-Rollout 전략을 도입합니다.
  • Self-Rollout: 기존 AR 훈련 방식 (Teacher Forcing) 은 훈련 시 정답 프레임을 사용하지만, 추론 시에는 생성된 프레임을 사용합니다. 이를 해결하기 위해, 훈련 중에도 모델이 스스로 생성한 이전 프레임 (KV Cache) 을 기반으로 순차적으로 노이즈 제거 과정을 수행하게 합니다. 이는 훈련과 추론의 분포 불일치를 해소하고 Markov 성질을 유지하여 강화학습 적용을 가능하게 합니다.

2 단계: 강화학습을 통한 최적화 (Reinforcement Learning with GRPO)

• MDP 형식화: 비디오 생성 과정을 마르코프 결정 과정 (MDP) 으로 정의합니다. 상태는 현재 프레임과 제어 신호, 이전 프레임들의 상태이며, 행동은 다음 노이즈 제거 단계의 상태입니다.
• 선택적 확률적 샘플링 (Selective Stochasticity): 비디오 생성은 매우 긴 결정 체인 (Long-horizon) 을 가지므로, 모든 단계에서 확률적 (SDE) 샘플링을 하면 분산이 너무 커집니다. 이를 해결하기 위해 단 하나의 무작위 선택된 노이즈 제거 단계에서만 SDE 업데이트를 적용하고 나머지는 결정론적 (ODE) 솔버를 사용하여 효율성과 탐색 (Exploration) 의 균형을 맞춥니다.
• 궤적 기반 보상 모델 (Trajectory-based Reward):
  • 화질 보상 (R_quality): LAION Aesthetic Quality Predictor 를 사용하여 시각적 미적 점수를 평가합니다.
  • 모션 제어 보상 (R_motion): Co-Tracker 를 사용하여 생성된 비디오의 객체 궤적과 사용자가 입력한 목표 궤적 간의 정합도를 측정합니다.
• GRPO 적용: Group Relative Policy Optimization (GRPO) 을 사용하여 위 보상 모델을 기반으로 정책을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 실시간 AR-I2V 모델: Few-step AR 아키텍처를 사용하여 실시간 모션 제어가 가능한 최초의 이미지 - 비디오 (I2V) 생성 모델인 AR-Drag 을 제안했습니다.
2. RL 기반 AR 훈련 프레임워크: AR VDM 에 강화학습을 적용하기 위한 Self-Rollout 전략과 선택적 확률적 샘플링을 도입하여, 훈련 - 추론 불일치 문제와 긴 시간 지평 (Long-horizon) 문제를 해결했습니다.
3. 정밀한 모션 정합: 궤적 기반 보상 모델을 통해 복잡한 모션 신호에 대한 세밀한 제어를 가능하게 했으며, 13 억 (1.3B) 파라미터의 경량 모델로도 최첨단 성능을 달성했습니다.

4. 실험 결과 (Results)

• 지연 시간 (Latency): 기존 양방향 모델 (Tora: 176.51 초, MagicMotion: 1426.37 초) 에 비해 AR-Drag 은 0.44 초의 극히 낮은 지연 시간을 기록하여 실시간 상호작용이 가능함을 입증했습니다.
• 화질 및 일관성: FID (28.98), FVD (187.49), Aesthetic Quality (4.07) 등 시각적 품질 지표에서 기존 모델들을 상회하거나 경쟁하는 성능을 보였습니다.
• 모션 제어 성능: Motion Smoothness (0.9948) 와 Motion Consistency (4.37) 에서 가장 높은 점수를 기록하여, 입력된 궤적에 대한 정밀한 추종 능력을 입증했습니다.
• Ablation Study: RL 학습을 제거하거나 Self-Rollout 을 사용하지 않을 경우 화질과 모션 제어 성능이 급격히 떨어지는 것을 확인하여, 제안된 두 기술의 필수성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 생성 분야에서 실시간 상호작용과 고품질 모션 제어를 동시에 달성하는 새로운 패러다임을 제시합니다.

• 실시간성: 양방향 모델의 고지연 문제를 AR 구조로 해결하여, 사용자가 비디오 생성 중에도 모션을 실시간으로 수정하고 재생성할 수 있는 환경을 제공합니다.
• 효율성: 1.3B 파라미터의 작은 모델로도 대규모 모델 (5B 이상) 보다 우수한 모션 제어 성능을 보여주어, 효율적인 실시간 생성의 가능성을 열었습니다.
• 방법론적 혁신: AR 모델의 훈련 - 추론 불일치 문제를 해결하고 강화학습을 성공적으로 적용한 Self-Rollout과 선택적 확률성 전략은 향후 AR 기반 생성 모델 연구에 중요한 기초를 제공합니다.

요약하자면, AR-Drag 은 지연 시간을 획기적으로 줄이면서도 정밀한 모션 제어가 가능한 실시간 비디오 생성을 실현한 획기적인 연구입니다.