💻 computer science

Pusa V1.0: Unlocking Temporal Control in Pretrained Video Diffusion Models via Vectorized Timestep Adaptation

Pusa V1.0 एक नॉन-डिस्ट्रक्टिव वेक्टराइज्ड टाइमस्टेप अडैप्टेशन (VTA) विधि पेश करता है जो प्रीट्रेन्ड वीडियो डिफ्यूजन मॉडल्स में इमेज-टू-वीडियो कन्वर्जन, स्टार्ट-एंड फ्रेम कंडीशनिंग और वीडियो एक्सटेंशन सहित सूक्ष्म, ज़ीरो-शॉट टेम्पोरल कंट्रोल को सक्षम बनाता है, जबकि बेस मॉडल की मूल जेनरेटिव क्षमताओं को पूरी तरह से सुरक्षित रखता है।

मूल लेखक: Yaofang Liu, Yumeng Ren, Aitor Artola, Yuxuan Hu, Xiaodong Cun, Xiaotong Zhao, Alan Zhao, Raymond H. Chan, Suiyun Zhang, Rui Liu, Dandan Tu, Jean-Michel Morel

प्रकाशित 2026-05-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yaofang Liu, Yumeng Ren, Aitor Artola, Yuxuan Hu, Xiaodong Cun, Xiaotong Zhao, Alan Zhao, Raymond H. Chan, Suiyun Zhang, Rui Liu, Dandan Tu, Jean-Michel Morel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ है जो शून्य से एक विशिष्ट प्रकार का व्यंजन बनाने में अविश्वसनीय रूप से कुशल है: टेक्स्ट-टू-वीडियो (Text-to-Video)। आप उन्हें एक रेसिपी (टेक्स्ट प्रॉम्प्ट) देते हैं और वे एक शानदार वीडियो तैयार कर देते हैं। यह शेफ "बेस मॉडल" (विशेष रूप से, एक मॉडल जिसे Wan-T2V कहा जाता है) है।

हालाँकि, एक समस्या है। यदि आप शेफ को एक विशिष्ट शुरुआती सामग्री (जैसे कि एक बिल्ली की फोटो) देना चाहते हैं और कहना चाहते हैं, "इस बिल्ली से शुरू करते हुए एक वीडियो बनाओ," तो शेफ भ्रमित हो जाता है। पुराने तरीके में, शेफ को बिल्कुल नए सिरे से खाना बनाना सीखना पड़ता था, और इस प्रक्रिया में वह अक्सर अपने मूल व्यंजनों को अच्छी तरह से बनाना भी भूल जाता था। यह ऐसा ही है जैसे शेफ को एक नया हुनर सीखने के लिए उसकी पूरी पाक कला की ट्रेनिंग भुला देने के लिए मजबूर किया जाए।

यहाँ प्रवेश होता है Pusa V1.0 का।

समस्या: "कठोर घड़ी" (The Rigid Clock)

वर्तमान वीडियो AI मॉडल एक कठोर, सिंक्रोनाइज़्ड घड़ी की तरह काम करते हैं। कल्पना कीजिए कि एक वीडियो गिरते हुए डोमिनोज़ की एक पंक्ति है। इन पुराने मॉडलों में, हर एक डोमिनो (फ्रेम) को बिल्कुल एक ही गति और समय पर गिरना होता है।

यदि आप चाहते हैं कि पहला डोमिनो खड़ा रहे (आपकी शुरुआती इमेज) जबकि बाकी गिरें, तो घड़ी टूट जाती है।
इसे ठीक करने के लिए, अन्य मॉडल शेफ को "रीट्रेन" करने की कोशिश करते हैं, जो महंगा, धीमा है, और अक्सर उनके मूल व्यंजन बनाने की क्षमता को खराब कर देता है।

समाधान: "व्यक्तिगत रिमोट कंट्रोल" (The Individual Remote Controls)

Pusa एक अवधारणा पेश करता है जिसे वेक्टराइज्ड टाइमस्टेप अडैप्टेशन (Vectorized Timestep Adaptation - VTA) कहा जाता है।

पूरे वीडियो के लिए एक मास्टर क्लॉक के बजाय, Pusa हर एक फ्रेम को अपना खुद का रिमोट कंट्रोल देता है।

फ्रेम 1 (आपकी शुरुआती इमेज) को एक रिमोट मिलता है जिसे "पॉज़" (Pause) पर सेट किया गया है।
फ्रेम 2 को एक रिमोट मिलता है जिसे "धीरे चलें" (Move slowly) पर सेट किया गया है।
फ्रेम 3 को एक रिमोट मिलता है जिसे "तेज़ चलें" (Move fast) पर सेट किया गया है।

यह AI को प्रत्येक फ्रेम को स्वतंत्र रूप से विकसित करने की अनुमति देता है। पहला फ्रेम बिल्कुल वहीं रहता है जहाँ आपने उसे रखा था, जबकि बाकी वीडियो उसके चारों ओर स्वाभाविक रूप से बहता है।

जादुई ट्रिक: "नॉन-डिस्ट्रक्टिव" सर्जरी (The "Non-Destructive" Surgery)

सबसे प्रभावशाली हिस्सा यह है कि Pusa इसे कैसे सीखता है।

पुराना तरीका: "एक इमेज से शुरू करने" की ट्रिक सीखने के लिए, पुराने मॉडलों (जैसे Wan-I2V) को एक बड़े, विनाशकारी ओवरहाल से गुजरना पड़ता था। उन्हें लाखों उदाहरणों पर फिर से प्रशिक्षित (Retrain) करना पड़ता था, जो मूल रूप से शेफ के मस्तिष्क को फिर से बनाने जैसा था। इसमें कंप्यूटिंग पावर का बहुत खर्च होता था और अक्सर इससे उनकी टेक्स्ट-टू-वीडियो कार्य करने की क्षमता खत्म हो जाती थी।
Pusa का तरीका: Pusa "सर्जिकल" समायोजन करता है। यह शेफ के मस्तिष्क को फिर से नहीं बनाता; यह बस मौजूदा मस्तिष्क में एक छोटा, विशिष्ट उपकरण (वेक्टराइज्ड टाइमस्टेप) जोड़ देता है।
- उपमा: कल्पना कीजिए कि शेफ पहले से ही पूरी तरह से खाना बनाना जानता है। उसे निकालने और नया काम पर रखने के बजाय, आप बस उसे एक विशिष्ट टाइमर थमा देते हैं जो उसे बताता है कि पहले बर्तन को कब चलाना बंद करना है। शेफ के मूल कौशल 100% बरकरार रहते हैं।

परिणाम: सस्ता, तेज़ और बहुमुखी (The Results: Cheap, Fast, and Versatile)

चूंकि Pusa को सब कुछ शून्य से फिर से सीखने की आवश्यकता नहीं है, इसलिए इसके परिणाम आश्चर्यजनक हैं:

अत्यधिक कुशल (Ultra-Efficient): जबकि अन्य मॉडलों को लाखों उदाहरणों और विशाल कंप्यूटिंग बजट (जिसकी लागत $100,000 से अधिक थी) की आवश्यकता थी, Pusa ने केवल 4,000 उदाहरणों और लागत के एक बहुत छोटे हिस्से (लग लगभग $500) के साथ शीर्ष स्तर के परिणाम प्राप्त किए।
ज़ीरो-शॉट सुपरपावर्स (Zero-Shot Superpowers): क्योंकि शेफ का मस्तिष्क बदला नहीं गया था, Pusa ने न केवल एक इमेज से शुरू करने की क्षमता सीखी। इसने बिना किसी अतिरिक्त प्रशिक्षण के अन्य जटिल चीजें करने की क्षमता भी तुरंत हासिल कर ली, जैसे:
- स्टार्ट-एंड फ्रेम्स (Start-End Frames): AI को शुरुआत और अंत के लिए एक तस्वीर देना, और बीच के हिस्से को भरना।
- वीडियो एक्सटेंशन (Video Extension): एक छोटे वीडियो को लेकर उसे सहजता से लंबा बनाना।
- टेक्स्ट-टू-वीडियो (Text-to-Video): इसने टेक्स्ट प्रॉम्प्ट से वीडियो बनाने की अपनी मूल क्षमता को पूरी तरह से बनाए रखा।

सारांश

Pusa V1.0 एक कार को अलग किए बिना उसके इंजन को अपग्रेड करने जैसा है। हर फ्रेम को अपना स्वयं का "टाइम डायल" देकर, बजाय इसके कि उन्हें एक साथ चलने के लिए मजबूर किया जाए, यह मॉडल जटिल वीडियो कार्यों (जैसे किसी विशिष्ट इमेज से शुरू करना) को अविश्वसनीय दक्षता के साथ संभाल सकता है। यह मूल मॉडल की बुद्धिमत्ता को सुरक्षित रखता है और नई, लचीली क्षमताओं को अनलॉक करता है, जिससे उच्च-गुणवत्ता वाला वीडियो जेनरेशन बहुत सस्ता और अधिक सुलभ हो जाता है।

तकनीकी सारांश: PUSA V1.0

समस्या विवरण (Problem Statement)

वर्तमान वीडियो डिफ्यूजन मॉडल (VDMs) मुख्य रूप से एक स्केलर टाइमस्टेप वेरिएबल (scalar timestep variable) पर निर्भर करते हैं ताकि वीडियो क्लिप के सभी फ्रेमों में शोर के स्तर (noise level) और विकास पथ (evolution trajectory) को समान रूप से नियंत्रित किया जा सके। टेक्स्ट-टू-वीडियो (T2V) जनरेशन के लिए प्रभावी होने के बावजूद, यह कठोर सिंक्रोनाइज़ेशन टेम्पोरल मॉडलिंग पर मौलिक सीमाएं लगाता है। विशेष रूप से, यह सूक्ष्म, समय-निर्भर कार्यों जैसे कि इमेज-टू-वीडियो (I2V), वीडियो एक्सटेंशन, और स्टार्ट-एंड फ्रेम कंडीशनिंग के साथ संघर्ष करता है। मौजूदा समाधान अक्सर इन चुनौतियों के लिए निम्नलिखित का उपयोग करते हैं:

विनाशकारी अनुकूलन (Destructive Adaptation): बेस मॉडल्स को भारी संसाधनों और कार्य-विशिष्ट आर्किटेक्चर (जैसे, मास्क मैकेनिज्म) के साथ फाइन-ट्यून करना, जिससे बेस मॉडल के जेनेरेटिव प्रायर्स (generative priors) के विनाशकारी विस्मरण (catastrophic forgetting) का जोखिम रहता है।
ऑटोरेग्रेसिव दृष्टिकोण (Autoregressive Approaches): वे मॉडल जो कठोर सिंक्रोनाइज़ेशन से बचने के लिए फ्रेमों को क्रमिक रूप से (sequentially) उत्पन्न करते हैं। हालांकि, ये अक्सर कम्प्यूटेशनल अक्षमता, लंबी अनुक्रमों पर त्रुटि संचय (error accumulation), और द्विदिश तर्क (bidirectional reasoning) करने की अक्षमता (जैसे, स्टार्ट और एंड दोनों फ्रेमों पर कंडीशनिंग) द्वारा बाधित होते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र PUSA V1.0 प्रस्तुत करता है, जो एक बहुमुखी मॉडल है जो एक एकीकृत वीडियो डिफ्यूजन फ्रेमवर्क के भीतर सूक्ष्म टेम्पोरल कंट्रोल सक्षम करने के लिए वेक्टराइज्ड टाइमस्टेप अडैप्टेशन (Vectorized Timestep Adaptation - VTA) का लाभ उठाता है। मुख्य नवाचार एक गैर-विनाशकारी अनुकूलन रणनीति है जो बेस मॉडल के आर्किटेक्चर को बदले बिना या उसकी प्रीट्रेंड क्षमताओं को नष्ट किए बिना उसके टेम्पोरल कंडीशनिंग को संशोधित करती है।

1. वेक्टराइज्ड टाइमस्टेप अडैप्टेशन (VTA)

एक एकल स्केलर टाइमस्टेप $t$ के बजाय, PUSA एक वेक्टराइज्ड टाइमस्टेप $\tau \in [0, 1]^N$ का उपयोग करता है, जहाँ $N$ फ्रेमों की संख्या है। प्रत्येक घटक $\tau^i$ , $i$ -वें फ्रेम के अपनी प्रोबेबिलिटी पाथ (probability path) के व्यक्तिगत प्रगति पैरामीटर को दर्शाता है।

आर्किटेक्चरल संशोधन: अनुकूलन न्यूनतम और गैर-विनाशकारी है। टाइमस्टेप एम्बेडिंग मॉड्यूल को इनपुट वेक्टर $\tau$ को प्रोसेस करने के लिए पुन: इंजीनियर किया गया है, जो फ्रेम-विशिष्ट एम्बेडिंग्स उत्पन्न करता है। ये एम्बेडिंग्स DiT (डिफ्यूजन ट्रांसफॉर्मर) ब्लॉक्स के भीतर प्रति-फ्रेम मॉड्यूलेशन पैरामीटर्स (स्केल, शिफ्ट, गेट) उत्पन्न करने के लिए प्रोजेक्ट किए जाते हैं।
प्रायर्स का संरक्षण (Preservation of Priors): क्योंकि संशोधन गैर-विनाशकारी है, सभी फ्रेम टाइमस्टेप्स को एक ही मान पर सेट करने से मॉडल मूल T2V मॉडल के समान परिणाम उत्पन्न कर सकता है, जिससे इसकी मूल क्षमताओं को पूरी तरह से संरक्षित किया जाता है।

2. फ्रेम-अवेयर फ्लो मैचिंग (Frame-Aware Flow Matching - FAFM)

मॉडल को वेक्टराइज्ड टाइमस्टेप्स के लिए विस्तारित फ्लो मैचिंग ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया गया है।

प्रशिक्षण रणनीति: प्रशिक्षण पूरी तरह से रैंडमाइज्ड वेक्टराइज्ड टाइमस्टेप रणनीति ( $p_{async} = 1$ ) का उपयोग करता है, जहाँ प्रत्येक घटक $\tau^i$ को यूनिफॉर्म डिस्ट्रीब्यूशन $U[0, 1]$ से स्वतंत्र रूप से सैंपल किया जाता है। यह मॉडल को अधिकतम विविध वितरण वाले टेम्पोरल स्टेट्स से सूक्ष्म टेम्पोरल कंट्रोल सीखने के लिए मजबूर करता है।
दक्षता: पिछले तरीकों के विपरीत जिन्हें जटिल सैंपलिंग शेड्यूल्स या विशाल डेटासेट्स की आवश्यकता होती है, यह दृष्टिकोण मॉडल को अत्यंत सीमित डेटा और कंप्यूट के साथ फाइन-ट्यून करने की अनुमति देता है।

3. ज़ीरो-शॉट कार्यों के लिए इन्फरेंस (Inference for Zero-Shot Tasks)

PUSA सैंपलिंग के दौरान वेक्टराइज्ड टाइमस्टेप $\tau$ को रणनीतिक रूप से हेरफेर करके ज़ीरो-शॉट क्षमताएं प्राप्त करता है:

I2V: कंडीशनिंग इमेज (जैसे, पहला फ्रेम) के लिए टाइमस्टेप घटक को इन्फरेंस के दौरान शून्य पर क्लैंप किया जाता है ( $\tau^1 = 0$ ), जो इसे एक क्लीन कंडीशन के रूप में प्रभावी रूप से स्थिर करता है जबकि अन्य फ्रेम विकसित होते हैं।
स्टार्ट-एंड फ्रेम्स और एक्सटेंशन: विशिष्ट फ्रेम सबसेट्स (जैसे, पहले और अंतिम फ्रेम) के लिए टाइमस्टेप्स को शून्य या विशिष्ट नॉइज़ लेवल्स पर क्लैंप करके, मॉडल कार्य-विशिष्ट रिट्रेनिंग के बिना मनमाने फ्रेम कॉन्फ़िगरेशन पर सुसंगत वीडियो उत्पन्न कर सकता है।

मुख्य योगदान (Key Contributions)

अभूतपूर्व दक्षता: PUSA केवल 4,000 सैंपल्स और 0.5K कंप्यूट कॉस्ट (लगभग $500) का उपयोग करके स्टेट-ऑफ-द-आर्ट (SOTA) I2V प्रदर्शन प्राप्त करता है, जबकि Wan-I2V जैसे तुलनीय बेसलाइन्स के लिए अपेक्षित >10M सैंपल्स और >100K लागत होती है।
एकीकृत मल्टी-टास्क जनरलाइजेशन: मॉडल T2V क्षमताओं को बनाए रखते हुए साथ ही ज़ीरो-शॉट तरीके से I2V, स्टार्ट-एंड फ्रेम्स, वीडियो एक्सटेंशन और कंप्लीशन के लिए सामान्यीकरण करता है।
मैकेनिस्टिक अंतर्दृष्टि (Mechanistic Insight): विश्लेषण से पता चलता है कि यह दृष्टिकोण फाउंडेशन मॉडल के जेनेरेटिव प्रायर्स को सुरक्षित रखते हुए मॉडल के सेल्फ-अटेंशन मैकेनिज्म में सर्जिकल रूप से टेम्पोरल डायनेमिक्स इंजेक्ट करता है। यह वेक्टराइज्ड टाइमस्टेप्स में निहित "कॉम्बिनेटोरियल एक्सप्लोजन" से बचता है।

परिणाम (Results)

मात्रात्मक प्रदर्शन (Quantitative Performance): VBench-I2V बेंचमार्क पर, PUSA 87.32 का कुल स्कोर प्राप्त करता है, जो Wan-I2V (86.86) और अन्य ओपन-सोर्स मॉडल्स से बेहतर प्रदर्शन करता है। यह I2V सब्जेक्ट कंसिस्टेंसी (97.64 बनाम 96.95) और बैकग्राउंड कंसिस्टेंसी (99.24 बनाम 96.44) में श्रेष्ठ प्रदर्शन प्रदर्शित करता है।
प्रशिक्षण दक्षता: एब्लेशन स्टडीज दिखाती हैं कि PUSA तेजी से कन्वर्ज होता है (900 इटरेशन के भीतर) और समान बजट के साथ प्रशिक्षित बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करता है। LoRA-आधारित फाइन-ट्यूनिंग दृष्टिकोण विशेष रूप से प्रभावी सिद्ध हुआ है।
गुणात्मक विश्लेषण (Qualitative Analysis): अटेंशन मैप्स के विज़ुअलाइज़ेशन दिखाते हैं कि जहाँ बेस T2V मॉडल डायगोनल अटेंशन (फ्रेम इंडिपेंडेंस) प्रदर्शित करता है, वहीं PUSA सभी इन्फरेंस स्टेप्स में कंडीशनिंग फ्रेम के प्रति मजबूत और सुसंगत अटेंशन बनाए रखता है। पैरामीटर डाइवर्जेंस विश्लेषण पुष्टि करता है कि PUSA, Wan-I2V में देखे गए पर्याप्त ड्रिफ्ट की तुलना में न्यूनतम परिवर्तन (मुख्य रूप से सेल्फ-अटेंशन ब्लॉक्स में) प्रेरित करता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र PUSA को वीडियो जनरेशन प्रतिमानों (paradigms) में एक महत्वपूर्ण बदलाव के रूप में स्थापित करता है। सिद्धांत आधारित टेम्पोरल मॉडलिंग (वेक्टराइज्ड टाइमस्टेप्स) को कुशल, गैर-विनाशकारी अनुकूलन के साथ जोड़कर, PUSA दक्षता-गुणवत्ता ट्रेड-ऑफ को फिर से परिभाषित करता है।

लोकतांत्रिक बनाना (Democratization): यह विधि उच्च-फिडेलिटी वीडियो जनरेशन को न्यूनतम कम्प्यूटेशनल संसाधनों के साथ SOTA-स्तर के मल्टी-टास्क सिंथेसिस को सुलभ बनाकर इसे लोकतांत्रिक बनाती है।
बहुमुखी प्रतिभा (Versatility): यह एक ऐसा स्केलेबल प्रतिमान स्थापित करता है जो T2V, I2V और जटिल टेम्पोरल एडिटिंग कार्यों को एक ही फ्रेमवर्क के भीतर एकीकृत करता है।
गैर-विनाशकारी प्रकृति: यह कार्य प्रदर्शित करता है कि बड़े पैमाने के प्री-ट्रेंड मॉडल्स की मूलभूत क्षमताओं का त्याग किए बिना उन्नत टेम्पोरल कंट्रोल को अनलॉक किया जा सकता है, जिससे कैटास्ट्रोफिक फॉरगेटिंग जैसी समस्याओं से बचा जा सकता है।