💻 computer science

Magnitude-Direction Decoupling for Fast Video Generation with Flow Matching Models

본 논문은 원래의 모델을 방향이 보정된 경량 대안으로 적응적으로 대체하고 크기 정보를 재사용함으로써, 시각적 충실도를 유지하면서도 상당한 가속(최대 2.95배)을 달성하여 플로우 매칭 기반 비디오 생성을 가속화하는 방법인 크기-방향 디커플링(Magnitude-Direction Decoupling, MDD)을 제안한다.

원저자: Haonan Xu, Feiyang Chen, Songkui Chen, Hongpeng Pan, Zhefeng Wang, Xinyu Duan, Baoxing Huai, Yang Yang

게시일 2026-08-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haonan Xu, Feiyang Chen, Songkui Chen, Hongpeng Pan, Zhefeng Wang, Xinyu Duan, Baoxing Huai, Yang Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

지난 몇 년간 컴퓨터는 놀라울 정도로 실제처럼 보이는 움직이는 영상을 꿈꾸는 법을 배웠습니다. 방대한 양의 비디오 데이터를 처리함으로써, 이러한 인공지능 시스템은 단순한 텍스트 설명만으로 캐릭터가 숲을 걷거나 도시로 폭풍이 몰려오는 장면을 생성해 낼 수 있습니다. 이 마법 뒤에 숨겨진 기술은 점진적인 정제 과정에 의존합니다. 화면이 무작위의 정적 노이즈로 가득 찬 상태에서 시작하여, 선명한 이미지가 나타날 때까지 단계적으로 이를 천천히 깨끗하게 만들어가는 과정을 상상해 보십시오. '디노이징(denoising)'이라고 알려진 이 정화 과정이 현대 비디오 생성의 엔진입니다. 하지만 이 엔진은 매우 무겁습니다. 단 하나의 고품질 비디오를 제작하기 위해 컴퓨터는 이 정화 작업을 연속으로 수백 번 수행해야 하며, 이 작업은 가장 진보된 기기에서도 엄청난 컴퓨팅 파워를 요구하며 완료하는 데 몇 시간이 걸릴 수 있습니다. 창작자와 연구자들에게 이러한 느린 속도는 주요한 장벽이며, 창의적인 도구가 되어야 할 것을 기다림의 게임으로 바꾸어 놓습니다.

한 연구팀은 최종 영상의 품질을 희생하지 않으면서 이 병목 현상을 해결하기 위해 나섰습니다. 그들은 고품질 모션을 생성하는 데 표준이 된 특정 유형의 AI 모델에 집중했습니다. 그들의 조사는 단순하지만 결정적인 관찰에서 시작되었습니다. 긴 정화 과정의 모든 단계가 반드시 풀 파워의 무거운 컴퓨터 두뇌를 필요로 하는 것은 아니라는 점이었습니다. 사실, 이러한 단계 중 상당수에서는 모델의 더 작고 가벼운 버전을 사용해도 괜찮았는데, 다만 길을 잃지만 않는다면 말입니다. 연구진은 이 작은 모델들이 필요한 변화의 일반적인 크기와 강도는 잘 예측하지만, 그 변화의 정확한 방향에 대해서는 자주 실수한다는 것을 발견했습니다. 반대로, 다른 연구자들이 사용하는 또 다른 기술인 이전 단계의 정보를 재사용하는 방식은 방향을 정확하게 유지하는 데는 탁월했지만, 변화의 크기를 틀리는 경우가 많았습니다.

연구팀은 해결책이 이 두 가지 강점을 결합하는 데 있다는 것을 깨달았습니다. 그들은 재사용된 정보로부터 얻은 신뢰할 수 있는 방향 지침과 작은 모델로부터 얻은 정확한 크기 추정치를 결합하여 숙련된 지휘자처럼 작동하는 새로운 방법을 개발했습니다. 이 하이브리드 접근 방식은 컴퓨터가 과정의 대부분에서 힘든 일을 건너뛰고, 가벼운 모델을 사용하여 작업을 수행하면서도 더 신뢰할 수 있는 방향 데이터를 통해 끊임없이 자신의 경로를 확인하도록 합니다. 만약 경로가 너무 멀리 벗어나기 시작하면, 시스템은 계속 진행하기 전에 경로를 수정하기 위해 자동으로 전체의 무거운 모델을 호출합니다. 이 적응형 전략은 비디오 생성이 궤도를 유지하도록 보장하며, 최종 결과물을 실제처럼 보이게 만드는 풍부한 디테일과 복잡한 움직임을 보존합니다.

그들의 아이디어를 테스트하기 위해, 연구진은 이 방법을 현재 사용 가능한 가장 강력한 비디오 생성 모델들에 적용했습니다. 그들은 이 접근 방식이 표준 방식보다 거의 3배 더 빠르게 비디오를 생성하면서도 과도한 계산 비용을 치르지 않는다는 것을 발견했습니다. 오늘날의 대형 모델을 사용한 한 가지 특정 테스트에서, 5초 분량의 영상을 만드는 데 걸리는 시간은 15분 이상에서 단 5분 남짓으로 줄어들었습니다. 결정적으로, 이러한 속도 향상은 품질의 희생을 동반하지 않았습니다. 생성된 비디오는 느린 전통적 방식이 만든 것만큼이나 선명하고 상세했습니다. 기존의 다른 속도 향상 기술들과 비교했을 때, 그들의 새로운 방법은 흐릿함이나 디테일의 손실을 초래하는 경우가 많은 다른 대안들과 달리, 원래의 고품질 표준에 훨씬 더 근접한 결과를 만들어냈습니다.

연구진은 또한 이 방법이 비디오 해상도가 높아져 이미지가 더 커지고 복잡해지더라도 속도 우위를 유지하며 잘 작동한다는 것을 발견했습니다. 그들은 성공의 핵심이 가벼운 모델과 무거운 모델 사이를 언제 전환할지 정확히 아는 데 있다는 것을 알아냈습니다. 변화의 방향을 모니터링함으로써, 시스템은 언제 개입해야 할지를 정확히 알 수 있으며, 이를 통해 최종 비디오가 일관성을 유지하고 시각적으로 풍부하게 유지되도록 보장합니다. 이 연구는 단순히 무거운 도구를 가볍게 만드는 것이 아니라, 서로 다른 도구들을 지능적으로 혼합함으로써 인공지능 비디오 생성을 훨씬 더 빠르게 만드는 것이 가능하다는 것을 보여줍니다. 이는 고품질의 결과물을 기다림 없이 필요로 하는 창작자들에게 실질적인 길을 제시하며, 한때 몇 시간이 걸렸던 과정을 몇 분 안에 할 수 있는 일로 바꾸어 놓습니다.

기술 요약: 빠른 비디오 생성을 위한 Flow Matching 모델의 크기-방향 디커플링 (Magnitude-Direction Decoupling)

1. 문제 정의

Flow matching 모델은 전통적인 확산(diffusion) 모델에 비해 개선된 수렴성과 제어력을 제공하며 비디오 생성을 위한 최첨단 프레임워크로 부상했습니다. 그러나 이러한 모델은 본질적으로 순차적이고 반복적인 디노이징 과정으로 인해 과도한 추론 지연 시간(latency) 문제를 겪고 있습니다. 이러한 병목 현상은 모델이 고해외상도 및 긴 재생 시간으로 확장됨에 따라 더욱 심화됩니다.

기존의 가속 전략들은 다음과 같은 상당한 트레이드오프(trade-offs)를 마주합니다:

학습 기반 방법 (Training-based methods): 증류(distillation)나 양자화(quantization)와 같은 방식은 비용이 많이 드는 재학습과 추가적인 데이터 자원을 요구합니다.
학습 불필요 방법 (Training-free methods): 일반적으로 다음 두 가지 범주로 나뉩니다.
- 캐시 기반 방법 (Cache-based methods): TeaCache와 같은 방식은 이전 타임스텝의 모델 출력(잔차, residuals)을 재사용합니다. 이들은 중복성을 포착하지만, 정적인 특성으로 인해 높은 재사용률 하에서 급격한 오차 누적과 성능 저하를 초래합니다.
- 대형-소형 모델 협업 (Large-small model collaboration): SRDiffusion와 같이 경량화된 소형 모델을 후기 단계에서 대형 모델을 대체하는 데 사용합니다. 그러나 소형 모델은 디노이징 궤적의 *방향(direction)*을 정확하게 예측하는 능력이 부족하여, 콘텐츠의 풍부함과 시각적 충실도를 해치는 편차를 유발할 수 있습니다.

핵심 과제는 시각적 충실도와 콘텐츠의 풍부함을 보존하면서, 원래의 디노이징 궤적에서 벗어나지 않고 추론을 가속화하는 것입니다.

2. 방법론: 크기-방향 디커플링 (Magnitude-Direction Decoupling, MDD)

저자들은 Flow matching 출력에 대한 경험적 분석을 바탕으로 **크기-방향 디커플링 (MDD)**을 제안합니다. 이 방법은 서로 다른 근사 기법들이 모델 출력 벡터의 서로 다른 구성 요소를 포착하는 데 탁월하다는 관찰에 기초합니다.

2.1 경험적 분석

Wan2.1 및 EasyAnimateV5.1과 같은 모델의 중간 디퓨전 단계(20%–95%)를 분석함으로써, 저자들은 두 가지 핵심 속성을 식별했습니다:

방향 성분 (Directional Component): 잔차 재사용(residual reuse, $r = v_\theta - x_t$ 를 캐싱)은 원래 대형 모델 출력의 방향을 매우 신뢰할 수 있게 근사합니다. 대형 모델과 잔차 재사용 출력 사이의 코사인 유사도는 1에 가깝습니다.
크기 성분 (Magnitude Component): 동일 계열의 경량 소형 모델은 대형 모델 출력의 크기(L2 노름)를 견고하게 추정하는 반면, 잔차 재사용은 종종 크기 불일치 문제를 겪습니다.

2.2 MDD 프레임워크

MDD는 이러한 통찰을 결합하여 하이브리드 접근 방식으로 디노이징 속도장(velocity field)을 적응적으로 구축합니다:

디커플링된 구축 (Decoupled Construction): 소형 모델의 원시 출력이나 캐싱된 잔차만을 사용하는 대신, MDD는 경량 소형 모델으로부터 **크기(magnitude)**를 가져오고 대형 모델의 잔차 재사용으로부터 **방향(direction)**을 가져와서 출력 $v_{MDD}$ 를 구축합니다.
$v_{MDD}(x_t, t \mid c) = \|v_\varphi(x_t, t \mid c)\|_2 \cdot \frac{\hat{v}_\theta(x_t, t \mid c)}{\|\hat{v}_\theta(x_t, t \mid c)\|_2}$
이를 통해 궤적이 (방향을 통해) 대형 모델과 정렬되도록 보장하는 동시에 (크기를 통해) 소형 모델의 효율성을 누릴 수 있습니다.
적응형 스위칭 (Adaptive Switching): 잔차 재사용은 자기 수정 기능이 없으므로 방향 오차가 시간에 따라 누적될 수 있습니다. MDD는 방향 성분의 누적 코사인 오차를 모니터링하는 적응형 전략을 채택합니다. 만약 오차가 임계값 $\tau$ 를 초과하면, 시스템은 원래의 대형 모델을 트리거하여 방향을 재계산하고 잔차 캐시를 업데이트함으로써 유의미한 궤적 이탈을 방지합니다.
CFG 재사용 (CFG Reuse): Classifier-Free Guidance (CFG) 환경에서 조건부 및 무조건부 출력의 크기는 거의 동일합니다. MDD는 이를 활용하여 크기를 한 번만 계산(조건부 출력에 대해)하고 이를 무조건부 계산에 재사용함으로써, CFG 단계 동안 소형 모델의 추론 비용을 효과적으로 절반으로 줄입니다.

3. 주요 기여

경험적 발견: 본 논문은 동일한 모델 계열 내에서 경량 모델이 출력 크기를 견고하게 추정하는 반면, 잔차 재사용은 flow matching 프레임워크에서 방향 성분을 신뢰성 있게 근사한다는 점을 입증했습니다.
MDD 알고리즘: 방향이 교정된 잔차 재사용과 소형 모델의 크기 추정을 적응적으로 결합하는 새로운 학습 불필요(training-free) 방법을 제안합니다. 여기에는 방향 드리프트를 수정하기 위한 적응형 스위칭 메커리즘과 비용을 더욱 줄이기 위한 CFG 크기 재사용 전략이 포함됩니다.
성능 검증: 광범적인 실험을 통해 MDD가 여러 flow 기반 비디오 생성 모델에서 샘플링 효율성과 시각적 충실도 모두에서 기존 가속 전략(TeaCache 및 SRDiffusion)보다 우수함을 입증했습니다.

4. 실험 결과

이 방법은 Wan2.1 (14B/1.3B) 및 EasyAnimateV5.1 (12B/7B)을 대상으로 표준 벤치마크(VBench, LPIPS, PSNR, SSIM)를 사용하여 평가되었습니다.

속도 향상: MDD는 Wan2.1-14B에서 최대 2.95배의 속도 향상(지연 시간을 948초에서 321초로 단축)을 달고, EasyAnimateV5.1-12B에서는 1.90배를 달성했습니다.
시각적 충실도: 품질을 저하시키는 경우가 많은 경쟁 방법들과 달리, MDD는 높은 시각적 보유력을 유지합니다. Wan2.1에서 MDD는 0.178의 LPIPS(낮을수록 좋음)를 기록하여 SRDiffusion(0.240)과 TeaCache(0.208)를 크게 앞질렀습니다. 또한 더 우수한 PSNR 및 SSIM 점수를 유지했습니다.
확장성: 이 방법은 720p 해상도까지 효과적으로 확장되며, 베이스라인보다 더 나은 지각적 유사성을 유지하면서 2.77배의 속도 향상을 달성합니다.
Multi-GPU 효율성: 최대 8개의 GPU를 사용하는 멀티 GPU 설정에서 MDD는 SRDiffusion 및 TeaCache에 비해 일관되게 더 높은 추론 효율성을 보여줍니다.
절제 연구 (Ablation Studies):
- 임계값 ( $\tau$ ): 중간 정도의 임계값(0.005)이 속도와 품질 사이의 최적의 균형을 제공합니다. 임계값이 높으면 속도는 빨라지지만 충실도가 떨어지고, 낮으면 속도는 느려지지만 품질은 향상됩니다.
- 재스케일링 (Rescaling): 크기 재스케일링을 위해 소형 모델을 사용하는 것은 매우 중요합니다. 이를 제거하면 눈에 띄는 품질 저하가 발생합니다.
- CFG 재사용: 크기 정보를 재사용하면 시각적 품질에 미미한 영향을 주면서도 추가로 1.20배의 속도 향상을 제공합니다.

5. 의의 및 주장

본 논문은 MDD가 flow matching 비디오 생성을 가속화하기 위한 더 신뢰할 수 있고 경량화된 솔루션을 제공한다고 주장합니다. 크기와 방향을 분리함으로써, 이 방법은 순수 캐시 기반 또는 순수 소형 모델 접근 방식의 한계를 극복합니다. 이는 시각적 충실도와 콘텐츠의 풍부함을 보존하면서도 상당한 추론 가속(최대 2.95배)을 가능하게 하여, 재학습의 부담 없이 고품질 비디오 생성 모델을 배포할 수 있는 실질적인 솔루션을 제공합니다. 저자들은 이 방식이 학습이 필요 없고(training-free), 비용 효율적이며, 기존의 flow matching 아키텍처에 일반적으로 적용 가능하다는 점을 강조합니다.