Uni-ViGU: Towards Unified Video Generation and Understanding via A Diffusion-Based Video Generator
이 논문은 비디오 생성의 높은 계산 비용을 고려하여 생성 모델을 기반으로 텍스트와 비디오의 연속 및 이산 흐름 매칭을 통합하고, 지식 회상 및 능력 정제 단계를 통해 생성 지식을 이해 작업에 활용하는 'Uni-ViGU' 프레임워크를 제안하여 생성 중심 아키텍처가 통합 멀티모달 지능으로 확장 가능한 경로임을 입증합니다.
원저자:Luozheng Qin, Jia Gong, Qian Qiao, Tianjiao Li, Li Xu, Haoyu Pan, Chao Qu, Zhiyu Tan, Hao Li
지금까지의 AI 연구는 주로 **"글을 잘 쓰는 AI(언어 모델)"**를 기반으로 했습니다. 이 AI에게 영상도 만들어보라고 하면, 마치 작은 그림을 그리는 화가에게 거대한 영화관을 짓게 하는 것과 비슷했습니다.
문제: 영상을 만드는 것은 엄청난 계산 비용이 듭니다. (수백만 개의 퍼즐 조각을 맞춰야 함) 반면, 영상을 보고 설명하는 것은 상대적으로 쉽습니다.
결과: "글을 잘 쓰는 AI"에 영상 기능을 더하려고 하면, 비용이 너무 비싸고 성능도 떨어집니다. 마치 작은 자전거에 거대한 트럭 엔진을 달아서 달리는 것처럼 비효율적입니다.
🔄 2. Uni-ViGU의 핵심 아이디어: "엔진을 거꾸로 돌려보기"
이 논문은 발상을 완전히 뒤집었습니다. "글을 잘 쓰는 AI에 영상을 더하는 게 아니라, 이미 영상을 잘 만드는 AI(생성 모델)에 이해 기능을 더하자!"
비유: 이미 **거대한 영화 제작자 (영상 생성 AI)**가 있습니다. 이 제작자는 "이런 대본을 주면 이런 영화를 만든다"는 것을 이미 완벽하게 알고 있습니다.
아이디어: 이 제작자에게 **"이 영화를 보고 대본을 다시 써줘"**라고 시키면 어떨까요?
대본 → 영화 (생성)
영화 → 대본 (이해)
이 두 과정은 사실 동전의 앞뒷면과 같습니다. 영화 제작자가 대본을 어떻게 영화로 바꾸는지 알면, 반대로 영화를 보고 대본을 유추하는 것도 훨씬 쉽습니다.
🛠️ 3. 어떻게 구현했나요? (세 가지 마법 도구)
이 아이디어를 현실로 만들기 위해 세 가지 기술을 사용했습니다.
① 통일된 흐름 (Uni-Flow): "물과 글자를 섞는 한 그릇"
상황: 영상은 '연속적인 물'처럼 흐르고, 글자는 ' discrete(이산적) 인 알파벳'처럼 끊어져 있습니다. 둘을 섞기 어렵습니다.
해결: Uni-ViGU 는 하나의 그릇에서 두 가지를 동시에 다룹니다.
영상은 '흐르는 물'처럼 부드럽게 섞고, 글자는 '알파벳'처럼 끊어지지 않게 처리하는 통일된 마법을 개발했습니다.
마치 유리잔에 물과 얼음을 동시에 넣어 섞는 것처럼, 영상과 글자가 하나의 과정으로 자연스럽게 합쳐집니다.
② 모달리티 기반 MoE (전문가 팀): "공통된 지능, 각자의 전문성"
구조: AI 의 두뇌 (Transformer) 를 보면, 공통된 부분과 전문가 부분이 나뉩니다.
공통된 눈 (Attention): 영상과 글자가 서로 어떻게 연결되는지 이해하는 '공통 지능'은 그대로 공유합니다. (예: '개'라는 글자와 '개' 모양의 영상을 연결하는 능력)
전문가 손 (FFN): 영상을 그리는 손과 글을 쓰는 손은 따로 둡니다.
비유:한 팀의 요리사가 있다고 imagine 해보세요.
공통된 미각: 재료의 맛을 구분하는 능력은 모두 공유합니다.
전문가 역할: 한 명은 '요리 (영상 생성)'만 하고, 다른 한 명은 '레시피 작성 (글자 생성)'만 합니다.
이렇게 하면 기존의 요리 실력 (생성 능력) 을 잃지 않으면서, 새로운 레시피 작성 능력도 빠르게 배울 수 있습니다.
③ 양방향 훈련 (Bidirectional Training): "기억하기 → 정교하게 설명하기"
학습은 두 단계로 나뉩니다.
기억 회상 (Knowledge Recall): AI 에게 "이 영상을 보고 원래 입력했던 대본을 맞춰봐"라고 시킵니다. (단, 대본을 일부 가려서 AI 가 영상 자체를 보고 추론하게 만듭니다.)
비유: "이 영화를 보고, 이 영화의 시나리오를 기억해내서 써봐."
능력 정제 (Capability Refinement): 이제 "이 영상을 보고 매우 자세하고 풍부한 설명을 써봐"라고 시킵니다.
비유: "단순히 '남자가 걷는다'가 아니라, '남자가 노란 셔츠를 입고 햇살 아래를 천천히 걷고 있다'처럼 세부적인 묘사를 해봐."
이 과정을 통해 AI 는 단순히 영상을 만드는 것을 넘어, 영상의 미세한 디테일과 의미를 깊이 이해하게 됩니다.
🌟 4. 왜 이것이 중요한가요?
효율성: 무거운 영상 생성 모델을 기반으로 하므로, 이해 기능을 추가하는 비용이 훨씬 적게 듭니다.
성능: 영상 생성을 잘하는 AI 는 이미 영상의 '맥락'과 '상호작용'을 잘 알고 있습니다. 이를 이해 기능으로 활용하면, 처음부터 이해 기능을 가르치는 것보다 훨씬 빠르고 정확하게 학습합니다.
미래: 이제 하나의 AI 가 영상을 만들고, 그 영상을 보고 설명하며, 둘을 동시에 생성할 수 있는 진정한 '멀티모달 지능'의 시대가 열렸습니다.
📝 요약
Uni-ViGU는 **"영상을 잘 만드는 AI(영화 제작자)"**에게 **"영상을 보고 설명하는 능력(비평가)"**을 가르치는 새로운 방법입니다. 기존의 "글쓰기 AI 에 영상 기능을 더하는" 비효율적인 방식을 버리고, 이미 영상 전문가인 AI 를 역이용하여 더 저렴하고 강력한 AI 를 만들어낸 것입니다.
1. 문제 제기 (Problem Statement)
기존의 통합 멀티모달 모델 (Visual Understanding and Generation) 은 주로 **이해 (Understanding) 중심의 대규모 언어 모델 (MLLM)**을 기반으로 생성 (Generation) 기능을 추가하는 방식으로 발전해 왔습니다. 그러나 비디오 생성과 이해 사이에는 근본적인 계산 비용의 불균형이 존재합니다.
계산 비용의 격차: 비디오 생성은 확산 (Diffusion) 기반의 반복적 탈노이즈 (Denoising) 과정을 거치며, 단일 비디오 샘플당 수백만 개의 토큰을 처리해야 합니다 (예: 5 초 720P 비디오 생성 시 약 7 만 4 천 토큰). 반면, 텍스트 생성이나 비디오 이해는 이에 비해 훨씬 적은 토큰을 사용합니다.
확장의 한계: 이해 중심의 MLLM 을 비디오 생성까지 확장하려면 막대한 계산 자원이 필요하여 확장성이 떨어집니다.
패러다임의 전환 필요: 따라서 저자들은 "이해 중심 모델을 생성으로 확장"하는 기존 접근법을 뒤집어, **"생성 중심 모델 (비디오 생성기) 을 기반으로 이해 기능을 추가"**하는 새로운 패러다임을 제안합니다.
2. 방법론 (Methodology)
Uni-ViGU 는 사전 학습된 비디오 생성 모델 (WAN2.1) 을 기반으로 하여, 비디오 생성과 이해를 단일 프레임워크에서 통합합니다. 주요 기술적 구성 요소는 다음과 같습니다.
가. 유니-플로우 (Uni-Flow) 메커니즘
비디오 (연속 공간) 와 텍스트 (이산 토큰) 의 생성 방식을 단일 프로세스에서 통합하기 위해 제안된 방법입니다.
연속 흐름 매칭 (Continuous Flow Matching): 비디오 생성은 VAE 잠재 공간 (Latent Space) 에서 Gaussian 노이즈를 데이터 분포로 이동시키는 연속적인 흐름 매칭을 사용합니다.
이산 흐름 매칭 (Discrete Flow Matching): 텍스트 생성은 토큰 임베딩 공간에서 동일한 흐름 매칭 원리를 적용하여 이산 데이터를 처리합니다.
통합 학습: 두 모달리티는 서로 다른 시간 단계 (τv,τt) 를 독립적으로 샘플링하며 동시에 학습됩니다. 이를 통해 모델은 노이즈 수준이 다른 모든 조합에서 교차 모달 의존성을 학습할 수 있습니다.
나. 모달리티 주도 MoE (Mixture-of-Experts) 아키텍처
생성 지식을 이해 작업에 재사용하면서도 각 모달리티의 특성을 유지하기 위해 설계된 구조입니다.
공유 어텐션 (Shared Attention): 비디오와 텍스트 토큰의 관계를 학습하는 Self-Attention 및 Cross-Attention 레이어는 공유됩니다. 이는 사전 학습된 시각 - 의미론적 정렬 (Alignment) 지식을 보존합니다.
분리된 FFN (Separate FFN): 모달리티별 생성 패턴을 학습하는 Feed-Forward Network (FFN) 는 비디오용 (Video-FFN) 과 텍스트용 (Text-FFN) 으로 분리됩니다.
Video-FFN: 사전 학습된 가중치를 유지하여 생성 능력을 보존합니다.
Text-FFN: 새로운 가중치로 초기화되어 텍스트 생성 능력을 학습합니다.
이 설계는 파라미터 오버헤드를 최소화하면서 생성 지식을 효율적으로 재사용합니다.
다. 양방향 훈련 메커니즘 (Bidirectional Training)
생성 지식을 이해 능력으로 전환하기 위한 2 단계 훈련 전략을 사용합니다.
지식 회상 (Knowledge Recall Stage):
모델이 비디오에서 입력 프롬프트 (c) 를 재구성하도록 훈련합니다.
조건 프롬프트를 드롭아웃 (Condition Dropout) 하여 모델이 비디오 내용 자체에서 텍스트를 추론하도록 강제합니다. 이는 생성 (텍스트 → 비디오) 의 역과정 (비디오 → 텍스트) 을 학습하는 '워밍업' 단계입니다.
역량 정제 (Capability Refinement Stage):
목표 텍스트를 간단한 프롬프트가 아닌 상세한 비디오 캡션으로 변경하여 미세 조정합니다.
모델이 비디오의 세부 사항 (객체 속성, 공간 관계, 시간적 역동성) 을 이해하고 이를 상세한 텍스트로 표현하도록 훈련하여, 단순한 매칭을 넘어선 진정한 비디오 이해 능력을 확보합니다.
3. 주요 기여 (Key Contributions)
패러다임 전환: 계산 비용이 높은 비디오 생성을 기반으로 이해 기능을 통합하는 생성 중심 (Generation-centric) 아키텍처를 제안하여, 기존 이해 중심 접근법의 확장성 한계를 극복했습니다.
유니-플로우 (Uni-Flow) 프레임워크: 연속적인 비디오 생성과 이산적인 텍스트 생성을 단일 흐름 매칭 프로세스 내에서 통합하여, 하나의 모델로 두 가지 모달리티를 조화롭게 생성하고 이해할 수 있게 했습니다.
효율적인 지식 전이: 사전 학습된 비디오 생성기의 지식을 MoE 기반 구조를 통해 효율적으로 재사용하는 방법을 제시했습니다. 공유 어텐션과 분리된 FFN 을 통해 생성 능력을 유지하면서 텍스트 생성/이해 능력을 추가했습니다.
양방향 훈련 전략: '지식 회상'과 '역량 정제' 단계를 통해 생성 모델이 비디오 이해 능력을 자연스럽게 습득하도록 유도하는 훈련 프로세스를 설계했습니다.
4. 실험 결과 (Results)
성능: Uni-ViGU 는 비디오 생성과 비디오 이해 (Video Captioning, Video QA 등) 모두에서 경쟁력 있는 성능을 달성했습니다.
생성 품질: 공유 어텐션 메커니즘을 통해 텍스트와 비디오가 상호 보완적으로 정제되는 과정에서, 원래 프롬프트보다 훨씬 상세하고 시각적 내용에 충실한 캡션과 비디오 쌍을 생성했습니다.
효율성: 생성 모델의 사전 학습 지식을 재사용함으로써, 처음부터 모델을 학습시키는 것보다 훨씬 낮은 계산 비용으로 통합 멀티모달 지능을 달성했습니다.
5. 의의 및 결론 (Significance)
이 논문은 멀티모달 통합의 새로운 방향성을 제시합니다.
확장성: 비디오 생성의 높은 계산 비용을 고려할 때, 이해 중심 모델을 확장하는 대신 생성 중심 모델을 기반으로 이해를 확장하는 것이 더 실용적이고 확장 가능한 경로임을 입증했습니다.
역설적 통찰: "생성 (Generation) 이 이해 (Understanding) 의 기초가 될 수 있다"는 통찰을 통해, 텍스트 - 비디오 매핑을 학습한 생성 모델이 역방향으로 작동할 때 강력한 이해 능력을 가질 수 있음을 보였습니다.
미래 전망: Uni-ViGU 는 단일 모델로 시각적 생성과 이해를 모두 수행할 수 있는 범용 시각 지능 (General-purpose Visual Intelligence) 을 실현하기 위한 중요한 걸음으로 평가됩니다.
요약하자면, Uni-ViGU 는 비디오 생성기의 강력한 사전 학습 지식을 활용하여, 효율적인 아키텍처와 훈련 전략을 통해 비디오 이해 능력을 자연스럽게 부가한 획기적인 통합 멀티모달 모델입니다.