💻 computer science

Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance

यह शोध पत्र अडैप्टिव लो-पास गाइडेंस (ALG) प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त विधि है जो इमेज-टू-वीडियो जनरेशन में मोशन डायनेमिक्स को बेहतर बनाती है, जो शुरुआती डिनोइजिंग चरणों के दौरान कंडीशनिंग इमेज से हाई-फ्रीक्वेंसी विवरणों को फ़िल्टर करती है, जिससे इमेज क्वालिटी और टेक्स्ट अलाइनमेंट को बनाए रखते हुए मॉडल को स्थिर स्वरूपों (static appearances) पर ओवरफिट होने से रोका जा सके।

मूल लेखक: June Suk Choi, Kyungmin Lee, Sihyun Yu, Yisol Choi, Jinwoo Shin, Kimin Lee

प्रकाशित 2026-02-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: June Suk Choi, Kyungmin Lee, Sihyun Yu, Yisol Choi, Jinwoo Shin, Kimin Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance" पेपर का सरल, बोलचाल की भाषा और रचनात्मक उपमाओं (analogies) के साथ हिंदी अनुवाद दिया गया है।

समस्या: "फ्रोज़न फ्रेम" (स्थिर फ्रेम) प्रभाव

कल्पना कीजिए कि आपके पास एक जादुई फोटो फ्रेम है (Image-to-Video AI)। आप उसमें बिल्ली की एक तस्वीर रखते हैं और उससे कहते हैं, "बिल्ली को दौड़ते हुए दिखाओ।"

आदर्श रूप से, बिल्ली को स्क्रीन पर तेज़ी से दौड़ना चाहिए। लेकिन वास्तव में, ये AI मॉडल अक्सर अटक जाते हैं। बिल्ली बस हल्की सी हिलती-डुलती सी लगती है। यह एक जीवंत वीडियो के बजाय एक उच्च-गुणवत्ता वाली स्थिर फोटो जैसा दिखता है जो बस थोड़ा सा थरथरा रही है।

शोधकर्ताओं ने पता लगाया कि ऐसा क्यों होता है। यह ऐसा है जैसे AI मूल फोटो के विवरणों के प्रति बहुत अधिक जुनूनी हो जाता है।

उपमा: कल्पना कीजिए कि एक चित्रकार को बिल्ली की एक फोटो दी जाती है और उसे बिल्ली के दौड़ने का वीडियो बनाने के लिए कहा जाता है। यदि चित्रकार फोटो के सूक्ष्म विवरणों (जैसे मूंछों का सटीक आकार, बालों की बनात्मक बनावट) को बहुत बारीकी से देखता है, तो वह वहीं "लॉक" हो जाता है। वह उन छोटे विवरणों को पूरी तरह से मिलाने में इतना समय बिता देता है कि वह गति (movement) बनाना ही भूल जाता है। परिणाम स्वरूप, एक सुंदर, स्थिर पेंटिंग मिलती है जो कभी हिलती नहीं है।

तकनीकी शब्दों में, AI मूल छवि के उच्च-आवृत्ति वाले विवरणों (sharp edges, textures) से "ओवर-कंडीशन्ड" हो जाता है। यह छवि के लुक को तुरंत कॉपी करने का एक "शॉर्टकट" लेता है, जिससे गति (motion) का बलिदान हो जाता है।

एक सरल समाधान (लेकिन एक पेंच के साथ)

शोधकर्ताओं ने पहले एक सरल ट्रिक आजमाई: AI को दिखाने से पहले फोटो को धुंधला (blur) कर दें।

उपमा: यदि आप चित्रकार को बिल्ली की एक धुंधली, कम-रिज़ॉल्यूशन वाली फोटो देते हैं, तो वह छोटी मूंछों पर अटक नहीं पाएगा। उसे बड़े चित्र पर ध्यान केंद्रित करना होगा: "ठीक है, बिल्ली यहाँ है, और इसे दौड़ना है।" क्योंकि विवरण धुंधले हैं, चित्रकार को एक गतिशील और प्रवाहमयी गति बनाने के लिए मजबूर होना पड़ता है।
पेंच: हालांकि गति बेहतरीन होती है, लेकिन अंतिम वीडियो धुंधला और कम गुणवत्ता वाला दिखता है क्योंकि AI ने एक धुंधली छवि से शुरुआत की थी। आपको एक गतिशील वीडियो तो मिलता है, लेकिन वह मूल बिल्ली जैसा नहीं दिखता।

समाधान: "एडैप्टिव लो-पास गाइडेंस" (ALG)

टीम ने एक चतुर, दो-चरणीय रणनीति विकसित की जिसे ALG कहा जाता है। इसे एक ऐसे निर्देशक (Director) के रूप में सोचें जो जानता है कि कब सख्त होना है और कब ढीला छोड़ना है।

यहाँ बताया गया है कि ALG कैसे काम करता है, चरण-दर-चरण:

"धुंधली शुरुआत" (शुरुआती चरण):
वीडियो निर्माण के बिल्कुल प्रारंभ में (पेंटिंग के पहले कुछ सेकंड में), AI को इनपुट इमेज का एक धुंधला संस्करण (blurred version) दिखाया जाता है।
- क्यों? यह AI को सूक्ष्म विवरणों के प्रति जुनूनी होने से रोकता है। यह AI को बड़ी गति (big motion) पर ध्यान केंद्रित करने के लिए मजबूर करता है: "बिल्ली दौड़ रही है!" यह वीडियो के लिए एक गतिशील, प्रवाहमयी ढांचा तैयार करता है।
"स्पष्ट समापन" (बाद के चरण):
एक बार जब गति स्थापित हो जाती है और वीडियो बहने लगता है, तो AI को अचानक मूल, स्पष्ट और उच्च-गुणवत्ता वाली फोटो दिखाई जाती है।
- क्यों? अब जब "दौड़ने" की क्रिया पहले से ही हो रही है, तो AI सुरक्षित रूप से सभी तीखे विवरण (बाल, मूंछें, आँखें) वापस जोड़ सकता है बिना अटके। यह धुंधली गति को एक स्पष्ट, हाई-डेफिनिशन वीडियो में बदल देता है।

रूपक (Metaphor):
एक घर बनाने की कल्पना करें।

पुराना तरीका (Standard AI): आप हर एक ईंट को पूरी तरह से बिछाने की कोशिश करते हैं जबकि नींव अभी भी गीली होती है। घर खड़ा तो हो जाता है, लेकिन दीवारें टेढ़ी हो जाती हैं क्योंकि आप ईंटों पर बहुत अधिक ध्यान केंद्रित कर रहे थे।
"ब्लर" वाला तरीका: आप पूरा घर कीचड़ से बनाते हैं। यह बहुत अच्छी तरह से हिलता और बहता है, लेकिन यह कीचड़ का ढेर है।
ALG वाला तरीका: पहले आप एक मोटा, तेज़-गति वाला मिट्टी का ढांचा बनाते हैं ताकि आकार और प्रवाह सही रहे (गति)। फिर, एक बार जब आकार ठोस हो जाता है, तो आप मिट्टी को हटाकर सटीक, स्पष्ट ईंटों का उपयोग करते हैं (विवरण)। आपको एक ऐसा घर मिलता है जो गतिशील भी है और सुंदर भी।

परिणाम

शोधकर्ताओं ने कई लोकप्रिय AI वीडियो मॉडलों (जैसे Wan 2.1, Wan 2.2, और LTX-Video) पर इसका परीक्षण किया।

मोशन बूस्ट: वीडियो 33% अधिक गतिशील हो गए। जानवर तेज़ी से दौड़े, कारें स्वाभाविक रूप से चलीं, और दृश्य जीवंत महसूस हुए।
गुणवत्ता बरकरार: "धुंधली शुरुआत" वाले तरीके के विपरीत, अंतिम वीडियो मूल की तरह ही स्पष्ट और उच्च-गुणवत्ता वाले थे।
कोई ट्रेनिंग आवश्यक नहीं: सबसे अच्छी बात? उन्हें AI को फिर से सिखाने की ज़रूरत नहीं पड़ी। उन्होंने बस निर्माण प्रक्रिया के दौरान फोटो को देखने के "नियमों" को बदल दिया। यह एक मुफ्त अपग्रेड है!

सारांश

यह पेपर AI वीडियो के बहुत स्थिर होने की समस्या को हल करता है, यह सिखाकर कि AI को शुरुआत में सूक्ष्म विवरणों को अनदेखा करना चाहिए (गति को बढ़ावा देने के लिए) और अंत में उन्हें वापस जोड़ना चाहिए (गुणवत्ता सुनिश्चित करने के लिए)। यह एक डांसर को यह बताने जैसा है: "पहले, बस लय और बड़े मूव्स पर ध्यान दो। अपने जूतों की चिंता मत करो। एक बार जब तुम मूव करने लगो, तब हम जूतों को पॉलिश करेंगे।"

यहाँ शोध पत्र "Improving Motion in Image-to-Video Models via Adaptive Low-Pass Guidance" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

हाल के इमेज-टू-वीडियो (I2V) मॉडल, जो आमतौर पर पूर्व-प्रशिक्षित टेक्स्ट-टू-वीडियो (T2V) मॉडलों को फाइन-ट्यून करके बनाए जाते हैं, मोशन डायनेमिक्स के दमन (suppression of motion dynamics) से ग्रस्त होते हैं। जबकि ये मॉडल इनपुट संदर्भ छवि की स्थिर उपस्थिति और उच्च निष्ठा (high fidelity) को बनाए रखने में उत्कृष्ट हैं, वे अक्सर अपने T2V समकक्षों की तुलना में अत्यधिक स्थिर वीडियो उत्पन्न करते हैं।

घटना (The Phenomenon): I2V मॉडल जनरेशन प्रक्रिया के दौरान ही इनपुट छवि के सूक्ष्म, उच्च-आवृत्ति (high-frequency) विवरणों पर "लॉक" होने की प्रवृत्ति रखते हैं।
परिणाम (The Consequence): यह समयपूर्व स्थिरीकरण जनरेशन प्रक्षेपवक्र (generation trajectory) को एक "शॉर्टकट समाधान" की ओर ले जाता है, जहाँ वीडियो संदर्भ फ्रेम का बहुत सख्ती से पालन करता है, जिससे बड़े पैमाने पर, मोटे मोशन (coarse motions) के विकास में बाधा आती है।
समझौता (The Trade-off): इनपुट छवि पर केवल लो-पास फ़िल्टर (ब्लरिंग) लागू करके इसे ठीक करने के पिछले प्रयास सफलतापूर्वक मोशन तो बढ़ाते थे, लेकिन इससे इमेज फिडेलिटी और प्रति-फ्रेम गुणवत्ता में भारी गिरावट आती थी।

2. कार्यप्रणाली: एडेप्टिव लो-पास गाइडेंस (ALG)

लेखक एडेप्टिव लो-पास गाइडेंस (ALG) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री इन्फरेंस तकनीक है और मोशन डायनेमिक्स एवं इमेज फिडेलिटी के बीच के समझौते को हल करती है।

मुख्य परिकल्पना (Core Hypothesis)

मोशन का दमन डिनोइजिंग प्रक्रिया के शुरुआती चरणों के दौरान कंडीशनिंग इमेज में उच्च-आवृत्ति संकेतों (high-frequency signals) के अत्यधिक एक्सपोज़र के कारण होता है। यह मॉडल को बहुत जल्दी सूक्ष्म विवरणों को हल करने के लिए मजबूर करता है, जिससे जटिल मोशन उत्पन्न करने के लिए प्रक्षेपवक्र की लचीलापन सीमित हो जाता है।

एल्गोरिदम (The Algorithm)

ALG मानक क्लासिफायर-फ्री गाइडेंस (CFG) सैंपलिंग प्रक्रिया को संशोधित करता है, जो डिनोइजिंग टाइमस्टेप $t$ के आधार पर कंडीशनिंग इमेज को अनुकूल रूप से बदलता है:

शुरुआती चरण ( $t \approx 0$ ): मॉडल को इनपुट इमेज के लो-पास फ़िल्टर्ड संस्करण (जैसे, द्विलिनियर डाउनसैंपलिंग और अपसैंपलिंग के माध्यम से) पर कंडीशन किया जाता है। यह उच्च-आवृत्ति विवरणों को हटा देता है, जिससे "शॉर्टकट" प्रभाव को रोका जा सके और मॉडल को एक गतिशील, मोटा (coarse) मोशन प्रक्षेपवक्र स्थापित करने की अनुमति मिल सके।
अंतिम चरण ( $t \approx 1$ ): मॉडल वापस मूल, अनफिल्टर्ड इनपुट इमेज पर स्विच हो जाता है। यह उच्च-आवृत्ति विवरणों को फिर से पेश करता है, जिससे यह सुनिश्चित होता है कि अंतिम वीडियो संदर्भ छवि के प्रति उच्च फिडेलिटी बनाए रखे।

गणितीय सूत्रीकरण (Mathematical Formulation)

वेलोसिटी फील्ड $v_{ALG}$ की गणना इस प्रकार की जाती है:
$v_{ALG}(x_t, t) = v_\theta(x_t, x_{init}, t, \emptyset) + w \left( v_\theta(x_t, x^{(t)}_{init}, t, c) - v_\theta(x_t, x^{(t)}_{init}, t, \emptyset) \right)$

जहाँ:

$x^{(t)}_{init} = F_{LP}(x_{init}, \kappa(t))$ लो-पास फ़िल्टर्ड लेटेंट है, जहाँ फ़िल्टर स्ट्रेंथ $\kappa(t)$ , $t$ बढ़ने के साथ घटती जाती है।
महत्वपूर्ण डिज़ाइन विकल्प: अनकंडीशनल टर्म $v_\theta(x_t, x_{init}, t, \emptyset)$ मूल अनफिल्टर्ड इमेज $x_{init}$ का उपयोग करता है। यह एक "फिडेलिटी करेक्शन" टर्म के रूप में कार्य करता है, जो सैंपलिंग को मूल इमेज के उच्च-आवृत्ति विवरणों की ओर निर्देशित करता है, जिससे उस विरूपण (distortion) को रोका जा सके जो तब होता है जब अनकंडीशनल टर्म को भी फ़िल्टर किया जाता है।

कार्यान्वयन विवरण (Implementation Details)

फ़िल्टर प्रकार: द्विलिनियर डाउनसैंपलिंग के बाद अपसैंपलिंग (जो लो-पास फ़िल्टर के रूप में कार्य करता है)।
शेड्यूल: एक स्टेप फंक्शन का उपयोग किया जाता है जहाँ पहले $t_{trans}$ (जैसे, 10%) डिनोइजिंग स्टेप्स के लिए स्ट्रॉन्ग फ़िल्टरिंग लागू की जाती है, और फिर मूल इमेज पर स्विच किया जाता है।
ट्रेनिंग-फ्री: इसके लिए बेस मॉडल के पुन: प्रशिक्षण की आवश्यकता नहीं है; यह सैंपलिंग लूप में एक संशोधन है।

3. प्रमुख योगदान (Key Contributions)

मोशन सप्रेशन का निदान: लेखकों ने पहचान की और मात्रात्मक रूप से सिद्ध किया कि I2V मॉडल "शॉर्टकट इफेक्ट" से ग्रस्त हैं, जहाँ इनपुट इमेज में उच्च-आवृत्ति विवरण समयपूर्व जनरेशन प्रक्षेपवक्र को बाधित करते हैं, जिससे स्थिर वीडियो बनते हैं।
ALG तकनीक: उन्होंने एक सरल, ट्रेनिंग-फ्री विधि पेश की जो केवल शुरुआती डिनोइजिंग चरणों के दौरान कंडीशनिंग इमेज को अनुकूल रूप से फ़िल्टर करती है। यह गतिशील मोशन निर्माण को प्रोत्साहित करता है जबकि बाद के चरणों में इमेज फिडेलिटी को सुरक्षित रखता है।
व्यापक सत्यापन: इस पद्धति को कई अत्याधुनिक ओपन-सोर्स मॉडल्स (Wan 2.1, Wan 2.2, LTX-Video) और विविध बेंचमार्क डेटासेट्स (VBench, PVD, VidProM) पर सत्यापित किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

शोध पत्र ALG की प्रभावकारिता प्रदर्शित करने वाले व्यापक मात्रात्मक और गुणात्मक परिणाम प्रस्तुत करता है:

डायनेमिक डिग्री में सुधार: VBench टेस्ट सूट पर, ALG बेसलाइन CFG की तुलना में विभिन्न मॉडल्स में औसत 33% सुधार (Dynamic Degree में) प्राप्त करता है।
- उदाहरण: Wan 2.1 का Dynamic Degree 28.9 से बढ़कर 39.4 हो गया।
- उदाहरण: Wan 2.2 का Dynamic Degree 31.7 से बढ़कर 39.0 हो गया।
गुणवत्ता का संरक्षण: साधारण लो-पास फ़िल्टरिंग के विपरीत, ALG अन्य गुणवत्ता मेट्रिक्स को बनाए रखता है या थोड़ा सुधार भी करता है:
- एस्थेटिक क्वालिटी (Aesthetic Quality) और इमेजिंग क्वालिटी (Imaging Quality) बेसलाइन के समान ही रहती है।
- I2V सब्जेक्ट कंसिस्टेंसी (इनपुट इमेज के प्रति फिडेलिटी) सुरक्षित रहती है।
- टेम्पोरल फ्लिकर (Temporal Flicker) और मोशन स्मूथनेस (Motion Smoothness) पर नकारात्मक प्रभाव नहीं पड़ता।
सामान्यीकरण (Generalization): यह विधि विभिन्न मॉडल आर्किटेक्चर (Diffusion Transformers) और डेटासेट्स (जैसे वास्तविक वीडियो फ्रेम्स - PVD, और सिंथेटिक इमेजेस - VidProM) पर प्रभावी ढंग से काम करती है।
कंप्यूटेशनल लागत: ओवरहेड न्यूनतम है (Wan 2.1 के लिए इन्फरेंस समय में लगभग 11% की वृद्धि), क्योंकि अतिरिक्त गणना (फ़िल्टरिंग) केवल कुल टाइमस्टेप्स के एक छोटे से हिस्से पर लागू होती है।

5. महत्व (Significance)

यह कार्य वर्तमान वीडियो जनरेशन की एक महत्वपूर्ण बाधा को संबोधित करता है: इनपुट संदर्भ की दृश्य गुणवत्ता से समझौता किए बिना गतिशील मोशन उत्पन्न करने में I2V मॉडल्स की अक्षमता।

व्यावहारिक प्रभाव: ALG डेवलपर्स और शोधकर्ताओं के लिए एक तत्काल, 'ड्रॉप-इन' समाधान प्रदान करता है, जो उन्हें महंगे पुन: प्रशिक्षण या जटिल आर्किटेक्चरल परिवर्तनों की आवश्यकता के बिना अधिक यथार्थवादी और सक्रिय वीडियो बनाने में सक्षम बनाता है।
सैद्धांतिक अंतर्दृष्टि: यह डिफ्यूजन/फ्लो-मैचिंग मॉडल्स में जेनेरेटिव प्रक्रिया की गहरी समझ प्रदान करता है, जो "कोर्स-टू-फाइन" (coarse-to-fine) प्रगति के महत्व और यह कैसे उच्च-आवृत्ति कंडीशनिंग स्वाभाविक प्रवाह को बाधित कर सकती है, इस पर प्रकाश डालता है।
भविष्य की दिशा: ALG की सफलता यह सुझाव देती है कि फ्रीक्वेंसी एनालिसिस पर आधारित एडेप्टिव कंडीशनिंग रणनीतियों को अन्य जेनेरेटिव कार्यों में भी लागू किया जा सकता है, जहाँ विशिष्ट विशेषताओं (जैसे मोशन बनाम टेक्सचर) पर नियंत्रण आवश्यक हो।

संक्षेप में, ALG मोशन और फिडेलिटी के बीच के समझौते को सफलतापूर्वक अलग करता है, जिससे I2V मॉडल ऐसे वीडियो बनाने में सक्षम होते हैं जो अत्यधिक गतिशील होने के साथ-साथ स्रोत इमेज के प्रति दृश्य रूप से भी वफादार होते हैं।