💻 computer science

Motion Prior Distillation in Time Reversal Sampling for Generative Inbetweening

यह शोध पत्र मोशन प्रायर डिस्टिलेशन (MPD) का प्रस्ताव देता है, जो एक इन्फरेंस-टाइम तकनीक है जो इमेज-टू-वीडियो डिफ्यूजन मॉडल्स में द्विदिश मिसअलाइनमेंट (bidirectional misalignment) के कारण होने वाले टेम्पोरल डिस्कंटीन्यूइटी और विजुअल आर्टिफैक्ट्स को समाप्त करने के लिए फॉरवर्ड पाथ से मोशन रेसिडुअल को बैकवर्ड पाथ में डिस्टिल करके जनरेटिव इनबिटवीनिंग (generative inbetweening) में सुधार करता है।

मूल लेखक: Wooseok Jeon, Seunghyun Shin, Dongmin Shin, Hae-Gon Jeon

प्रकाशित 2026-02-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wooseok Jeon, Seunghyun Shin, Dongmin Shin, Hae-Gon Jeon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक फिल्म निर्देशक हैं जो एक फिल्म के छूटे हुए दृश्यों को भरने की कोशिश कर रहे हैं। आपके पास पहला फ्रेम है (एक ट्रैफिक लाइट पर शुरू होती हुई कार) और आखिरी फ्रेम है (उसी कार का गंतव्य पर पार्क होना)। आपका काम बीच के सभी सुचारू और तार्किक फ्रेम बनाना है ताकि कार स्वाभाविक रूप से A से B तक चल सके।

यह जेनरेटिव इनबिटवीनिंग (Generative Inbetweening) की चुनौती है।

समस्या: दो निर्देशक, एक स्क्रिप्ट

अतीत में, AI मॉडल इस समस्या को हल करने के लिए दो अलग-अलग "निर्देशकों" को एक साथ फिल्म पर काम करने के लिए कहने की कोशिश करते थे:

निर्देशक A शुरुआती फ्रेम को देखता है और कल्पना करता है, "ठीक है, कार आगे बढ़ रही है।"
निर्देशक B आखिरी फ्रेम को देखता है और कोशिश करता है कि, "ठीक है, यह यहाँ कैसे पहुँची?"

टकराव:
यहाँ पेंच यह है: AI वीडियो मॉडल भविष्य की भविष्यवाणी करने के लिए प्रशिक्षित होते हैं। वे यह बताने में माहिर हैं कि, "यदि कार यहाँ है, तो वह वहाँ जाएगी।" लेकिन वे पीछे की ओर देखने में बहुत खराब हैं। जब निर्देशक B आखिरी फ्रेम से पीछे की ओर काम करने की कोशिश करता है, तो AI भ्रमित हो जाता है। बजाय इसके कि वह सोचे, "कार बाईं ओर से आई थी," वह अक्सर सोचता है, "कार बाईं ओर जा रही है।"

इससे मोशन प्रायर कॉन्फ्लिक्ट (Motion Prior Conflict) पैदा होता है।

निर्देशक A कहता है: "आगे बढ़ो!"
निर्देशक B कहता है: "पीछे जाओ!"

जब आप उनके विचारों को मिलाने की कोशिश करते हैं, तो परिणाम एक ग्लिच वाला (glitchy) दृश्य होता है। कार बीच के दृश्य में झिलमिला सकती है, धुंधली (ghost) हो सकती है या अचानक दिशा बदल सकती है। यह वैसा ही है जैसे आगे चलने की कोशिश करना जबकि कोई दूसरा आपको पीछे खींच रहा हो; आप अपनी जगह पर लड़खड़ाने लगते हैं।

समाधान: मोशन प्रायर डिस्टिलेशन (MPD)

इस शोध के लेखकों ने एक चतुर समाधान प्रस्तावित किया है जिसे मोशन प्रायर डिस्टिलेशन (Motion Prior Distillation) कहा जाता है।

इसे इस तरह सोचें: दोनों निर्देशकों को बहस करने देने के बजाय, आप निर्देशक B की कल्पना को फायर (निकाल) कर देते हैं और उन्हें केवल निर्देशक A की स्क्रिप्ट दे देते हैं, लेकिन उसे उल्टा चलाकर।

यह कैसे काम करता है, इसके सरल चरण यहाँ दिए गए हैं:

फॉरवर्ड पाथ (Forward Path) को देखें: सबसे पहले, AI शुरुआत से अंत तक जाने वाले वीडियो का एक कच्चा ड्राफ्ट तैयार करता है। यह "मोशन एनर्जी" या "रेसिड्यूल" (अवशेष) को कैप्चर करता है (यानी अंतर कि कार अभी कहाँ है और एक पल पहले कहाँ थी)।
मोशन को डिस्टिल करें: AI इस फॉरवर्ड पाथ से इस "मोशन एनर्जी" को लेता है और इसे डिस्टिल करता है (जैसे किसी चीज़ से उसका सार निकालना) और फिर इसे बैकवर्ड पाथ (पीछे की ओर जाने वाले पथ) में डाल देता है।
जादुई ट्रिक: जब AI पीछे का रास्ता (अंत से शुरुआत तक) बनाने की कोशिश करता है, तो वह एंड फ्रेम से यह नहीं पूछता कि, "तुम कहाँ से आए थे?" इसके बजाय, वह कहता है, "मुझे पता है कि कार आगे कैसे बढ़ी, इसलिए मैं वापस शुरुआत तक पहुँचने के लिए बस उस विशिष्ट गति को उलट (reverse) दूँगा।"

ऐसा करके, AI पीछे की गति का अनुमान लगाना बंद कर देता है और बस फॉरवर्ड मोशन को रिवर्स कर देता है। यह सुनिश्चित करता है कि कार अचानक विपरीत दिशा में जाने का निर्णय न ले ले। यह एक एकल, सुसंगत कहानी बनाता है जहाँ कार बिना किसी घोस्टिंग या भ्रम के सुचारू रूप से A से B तक चलती है।

यह बेहतर क्यों है?

कोई घोस्टिंग नहीं: पिछले तरीकों में, कार दो कारों के ओवरलैप होने जैसी दिख सकती थी क्योंकि दोनों निर्देशक एक-दूसरे से सहमत नहीं हो पाते थे। MPD के साथ, केवल एक निर्देशक का तर्क होता है, इसलिए कार ठोस और वास्तविक दिखती है।
कोई अतिरिक्त ट्रेनिंग नहीं: आमतौर पर, इन AI ग्लिच को ठीक करने के लिए, आपको पूरे मॉडल को फिर से प्रशिक्षित करना पड़ता है, जिसमें हफ्तों और विशाल कंप्यूटरों की आवश्यकता होती है। यह एक "प्लग-एंड-प्ले" ट्रिक है। आपको AI को कुछ नया सिखाने की ज़रूरत नहीं है; आप बस जनरेशन प्रक्रिया के दौरान उसके सोचने के तरीके को बदलते हैं।
सुचारू फिल्में: परिणाम एक ऐसा वीडियो है जहाँ गति स्वाभाविक, निरंतर और भौतिक रूप से संभव लगती है, भले ही शुरुआती और अंतिम फ्रेम समय में एक-दूसरे से बहुत दूर हों।

उपमा: हाइकर और मैप (Hiker and the Map)

कल्पना कीजिए कि आप एक ट्रेलहेड (शुरुआत) से पहाड़ की चोटी (अंत) तक हाइकिंग कर रहे हैं।

पुराना तरीका: आप ट्रेलहेड पर मौजूद गाइड से पूछते हैं, "मैं चोटी तक कैसे पहुँचूँ?" और चोटी पर मौजूद गाइड से पूछते हैं, "मैं यहाँ कैसे पहुँचा?" चोटी वाला गाइड, जिसने कभी चढ़ाई नहीं की है, गलती से आपको पहाड़ से नीचे या गोल-गोल घूमने के लिए इशारा कर सकता है। आप खो जाते हैं।
नया तरीका (MPD): आप ट्रेलहेड वाले गाइड से रास्ता पूछते हैं। फिर, आप उसी रास्ते को लेते हैं और उसे बस उल्टा चलते हैं। आपको पता है कि आपका हर कदम कहाँ जा रहा है क्योंकि आप बस उन कदमों को दोहरा रहे हैं जो आपने पहले ही तय किए थे। आप चोटी पर पूरी तरह से पहुँच जाते हैं, और यदि आप मुड़ते हैं, तो आप जानते हैं कि बिना भटके वापस नीचे कैसे आना है।

सारांश

यह पेपर ग्लिच वाले AI वीडियो को ठीक करने के लिए एक स्मार्ट, ट्रेनिंग-फ्री ट्रिक पेश करता है। यह महसूस करते हुए कि "पीछे देखना" AI को भ्रमित करता है, वे बस "फॉरवर्ड" मोशन को लेते हैं, उसके सार को डिस्टिल करते हैं, और बैकवर्ड जनरेशन को मजबूर करते हैं कि वह उस सटीक पथ का उल्टा पालन करे। परिणाम? सुचारू, वास्तविक वीडियो जो टूटे हुए VCR टेप की तरह नहीं दिखते।

यहाँ शोध पत्र "Motion Prior Distillation in Time Reversal Sampling for Generative Inbetweening" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र जेनरेटिव इनबिटवीनिंग (Generative Inbetweening) की चुनौती को संबोधित करता है, जिसका लक्ष्य दो की-फ्रेम्स (शुरुआती और अंतिम) के बीच अर्थपूर्ण रूप से सुसंगत और अस्थायी रूप से सुसंगत (temporally coherent) मध्यवर्ती फ्रेम उत्पन्न करना है। जबकि इमेज-टू-वीडियो (I2V) डिफ्यूजन मॉडल एक एकल फ्रेम से वीडियो बनाने में उत्कृष्ट हैं, बाउंडेड जनरेशन (दोहरे प्रतिबंधों) को लागू करना कठिन है।

मौजूदा इन्फरेंस-टाइम सैंपलिंग रणनीतियाँ, जिन्हें टाइम रिवर्सल सैंपलिंग (Time Reversal Sampling) के रूप में जाना जाता है, दो डिनोइज़िंग पथों (denoising paths) को चलाकर इसे हल करने का प्रयास करती हैं:

फॉरवर्ड पाथ (Forward Path): स्टार्ट फ्रेम ( $c_{start}$ ) पर आधारित।
बैकवर्ड पाथ (Backward Path): एंड फ्रेम ( $c_{end}$ ) पर आधारित, जिसे अक्सर टेम्पोरली फ्लिप किया जाता है।

मुख्य समस्या: मोशन प्रायर संघर्ष (Motion Prior Conflict)
लेखक इन दोनों पथों के बीच एक मौलिक विसंगति (misalignment) की पहचान करते हैं। I2V मॉडल 'फॉरवर्ड मोशन' की भविष्यवाणी करने के लिए प्रशिक्षित होते हैं। फलस्वरूप:

फॉरवर्ड पाथ स्वाभाविक रूप से स्टार्ट फ्रेम के मोशन प्रायर का अनुसरण करता है।
बैकवर्ड पाथ, भले ही उसे एंड फ्रेम से इनिशियलाइज़ किया गया हो, फिर भी "फॉरवर्ड-लुकिंग" सीक्वेंस (एंड फ्रेम के बाद क्या होगा, इसकी भविष्यवाणी करना) उत्पन्न करने की प्रवृत्ति रखता है, बजाय इसके कि वह उस इतिहास का निष्ठापूर्वक पुनर्निर्माण करे जो एंड फ्रेम तक पहुँचा है।
परिणाम: जब इन दोनों पथों को जोड़ा (फ्यूज किया) जाता है (चाहे समानांतर में या क्रमिक रूप से), तो वे विरोधाभासी प्रक्षेपवक्र (trajectories) का पालन करते हैं। इससे टेम्पोरल डिस्कंटिन्यूटी (अस्थायी विच्छेदन), घोस्टिंग आर्टिफैक्ट्स, रिवर्स प्ले इफेक्ट्स, और विषय (subjects) का विरोधाभासी दिशाओं में चलना (जैसे कि एक कार दो पथों में अलग-अलग गंतव्यों की ओर जा रही हो) जैसी समस्याएँ उत्पन्न होती हैं।

2. कार्यप्रणाली: मोशन प्रायर डिस्टिलेशन (MPD)

प्रस्तावित समाधान मोशन प्रायर डिस्टिलेशन (MPD) है, जो एक ट्रेनिंग-फ्री इन्फरेंस-टाइम तकनीक है जो बिना किसी मॉडल रिट्रेनिंग के बैकवर्ड पाथ को फॉरवर्ड मोशन प्रायर के साथ संरेखित (align) करती है।

मुख्य अंतर्दृष्टि (Key Intuition)

बैकवर्ड पाथ को एंड फ्रेम से कंडिशन किया गया एक स्वतंत्र जनरेशन प्रोसेस मानने के बजाय, MPD इसे फॉरवर्ड पाथ के मोशन के 'टाइम-रिवर्स्ड रिकंस्ट्रक्शन' के रूप में मानता है। यह विधि मानती है कि मोशन रेसिडुअल (क्रमिक फ्रेमों के बीच डिनोज्ड एस्टीमेट में परिवर्तन) में वह आवश्यक मोशन जानकारी होती है जो स्टार्ट फ्रेम द्वारा प्रेरित होती है।

तकनीकी वर्कफ़्लो (Technical Workflow)

फॉरवर्ड पाथ जनरेशन: मॉडल $c_{start}$ पर कंडिशन होकर एक फॉरवर्ड डिनोइज़िंग पाथ जेनरेट करता है। यह लगातार फ्रेमों के बीच मोशन रेसिडुअल ( $\Delta \hat{x}_{0, c_{start}}$ ) और संबंधित नॉइज़ रेसिडुअल ( $\Delta \epsilon_{fwd}$ ) की गणना करता है।
बैकवर्ड पाथ इनिशियलाइजेशन: बैकवर्ड पाथ को एंड फ्रेम के एनकोडेड लेटेंट ( $z_{end}$ ) का उपयोग करके इनिशियलाइज़ किया जाता है।
डिस्टिलेशन (मुख्य चरण):
- बैकवर्ड पाथ को $c_{end}$ का उपयोग करके डिनोइज़ करने के बजाय, यह विधि नॉइज़ प्रेडिक्शन के लिए $c_{end}$ को अनदेखा कर देती है।
- यह बैकवर्ड नॉइज़ रेसिडुअल ( $\epsilon_{bwd}$ ) को शुरुआती बैकवर्ड नॉइज़ से फॉरवर्ड नॉइज़ रेसिड्यूल्स ( $\Delta \epsilon_{fwd}$ ) को संचयी रूप से घटाकर पुनर्निर्मित करता है।
- गणितीय रूप से, बैकवर्ड नॉइज़ को इस प्रकार अपडेट किया जाता है: $\epsilon^{(i)}_{bwd} = \epsilon^{(1)}_{bwd} - \sum_{k=2}^{i} \Delta \epsilon^{(k)}_{fwd}$ ।
- यह प्रभावी रूप से बैकवर्ड पाथ को फॉरवर्ड पाथ के टाइम-रिवर्स्ड मोशन ट्रजेक्टरी का पालन करने के लिए मजबूर करता है।
फ्यूजन (Fusion): अंतिम एस्टीमेट मूल फॉरवर्ड एस्टीमेट और पुनर्निर्मित बैकवर्ड एस्टीमेट (जो अब एक ही मोशन प्रायर साझा करता है) का फ्यूजन है।
रणनीतिक समय (Strategic Timing): MPD को केवल शुरुआती डिनोइज़िंग स्टेप्स के दौरान लगाया जाता है (एक अनुपात $\gamma$ द्वारा नियंत्रित)। शुरुआती स्टेप्स ग्लोबल ट्रजेक्टरी और लो-फ्रीक्वेंसी स्ट्रक्चर को परिभाषित करते हैं, जबकि बाद के स्टेप्स हाई-फ्रीक्वेंसी विवरणों को रिफाइन करते हैं। MPD को शुरुआत में लागू करने से यह सुनिश्चित होता है कि विवरण जोड़ने से पहले ग्लोबल मोशन संरेखित हो जाए।

एल्गोरिदम अवलोकन (Algorithm Overview)

इनपुट: स्टार्ट फ्रेम ( $I_{start}$ ), एंड फ्रेम ( $I_{end}$ ), नॉइज़ शेड्यूल।
प्रक्रिया:
- $c_{start}$ के साथ फॉरवर्ड डिनोइज़िंग चलाएं।
- मोशन रेसिड्यूल्स निकालें।
- $I_{end}$ के साथ बैकवर्ड पाथ को इनिशियलाइज़ करें लेकिन डिनोइज़िंग गाइडेंस के लिए $c_{end}$ का उपयोग न करें।
- ट्रजेक्टरीज को संरेखित करने के लिए फॉरवर्ड रेसिड्यूल्स को बैकवर्ड पाथ में इंजेक्ट करें।
- एस्टीमेट्स को फ्यूज करें और मानक यूलर स्टेप्स (Euler steps) के साथ आगे बढ़ें।
आउटपुट: टेम्पोरली सुसंगत मध्यवर्ती फ्रेम।

3. प्रमुख योगदान (Key Contributions)

मोशन प्रायर संघर्ष का विश्लेषण: शोध पत्र मौजूदा टाइम रिवर्सल सैंपलिंग विधियों में "मोशन प्रायर संघर्ष" को औपचारिक रूप से पहचानता है और उसका विश्लेषण करता है, जिसका कारण I2V मॉडल्स का अंतर्निहित फॉरवर्ड-जनरेशन बायस है।
मोशन प्रायर डिस्टिलेशन (MPD): एक नवीन, ट्रेनिंग-फ्री इन्फरेंस तकनीक जो फॉरवर्ड पाथ से मोशन रेसिडुअल को बैकवर्ड पाथ में डिस्टिल करके द्विदिश मिसअलाइनमेंट (bidirectional misalignment) को हल करती है, जिससे यह प्रभावी रूप से एक सिंगल-पाथ एलाइनमेंट टास्क में बदल जाता है।
सिंगल-पाथ डिज़ाइन: एंड-कंडिशन वाले पाथ के डिनोइज़िंग को जानबूझकर टालकर, यह विधि अस्पष्टता के स्रोत को समाप्त करती है और सुनिश्चित करती है कि बैकवर्ड पाथ फॉरवर्ड मोशन प्रायर के अनुरूप हो।
व्यापक मूल्यांकन: लेखक विधि की श्रेष्ठता को प्रमाणित करने के लिए व्यापक मात्रात्मक बेंचमार्क, गुणात्मक विजुअल तुलना और एक कठोर यूजर स्टडी प्रदान करते हैं।

4. प्रायोगिक परिणाम (Experimental Results)

विधि का मूल्यांकन DAVIS और Pexels डेटासेट्स पर विभिन्न मेट्रिक्स का उपयोग करके किया गया और इसकी तुलना TRF, ViBiD, GI, FCVG, FILM, और DynamiCrafter जैसे बेसलाइन्स से की गई।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- MPD ने सभी बेसलाइन्स को FID (Fréchet Inception Distance) और FVD (Fréchet Video Distance) में लगातार पछाड़ा, जो बेहतर विजुअल क्वालिटी और टेम्पोरल सुसंगतता को दर्शाता है।
- इसने VBench++ स्कोर में महत्वपूर्ण सुधार हासिल किया, विशेष रूप से मोशन स्मूथनेस और टेम्पोरल कंसिस्टेंसी में।
- नोट: हालांकि फ्लो-आधारित विधियाँ (FILM) कभी-कभी विशिष्ट एलाइनमेंट मेट्रिक्स में थोड़ा अधिक स्कोर करती हैं, लेकिन वे धुंधले आर्टिफैक्ट्स और खराब लॉन्ग-रेंज कंसिस्टेंसी से जूझती हैं, जिसके परिणामस्वरूप खराब FVD स्कोर मिलता है।
गुणात्मक प्रदर्शन (Qualitative Performance):
- बेसलाइन्स (TRF, ViBiD) में "बैक-एंड-फोर्थ" मोशन, घोस्टिंग, और विषयों का गायब होना या दिशा बदलना देखा गया।
- MPD ने सुचारू, प्राकृतिक प्रक्षेपवक्र (trajectories) बनाए, जहाँ वस्तुओं ने पूरे अनुक्रम के दौरान निरंतर मोशन दिशा और पहचान बनाए रखी।
यूजर स्टडी (User Study):
- 30 प्रतिभागियों के साथ Amazon Mechanical Turk पर आयोजित की गई।
- MPD ने नेचुरलनेस और टेम्पोरल कंसिस्टेंसी के लिए उच्चतम रैंकिंग प्राप्त की।
- अन्य सभी विधियों की तुलना में इसमें रिपोर्ट किए गए आर्टिफैक्ट्स और अवास्तविक मोशन की दर सबसे कम थी।
एब्लेशन स्टडीज (Ablation Studies):
- डिस्टिलेशन रेशियो ( $\gamma$ ): केवल शुरुआती स्टेप्स में MPD लगाने (जैसे, $\gamma=0.2$ या $0.3 $) से सर्वोत्तम परिणाम मिले। पूरी प्रक्रिया के दौरान इसे लागू करने ($ \gamma=1.0$) से पिक्सेल-लेवल बायस के कारण प्रदर्शन में गिरावट आई।
- री-नॉइज़िंग स्टेप्स ( $k$ ): 2-3 री-नॉइज़िंग स्टेप्स ने प्रक्रिया को जटिल बनाए बिना ट्रजेक्टरी को प्रभावी ढंग से निर्देशित करने में मदद की।

5. महत्व (Significance)

यह कार्य ट्रेनिंग-फ्री जेनरेटिव इनबिटवीनिंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

दक्षता (Efficiency): फाइन-ट्यूनिंग (जैसे, GI, FCVG) या अतिरिक्त ट्रेनिंग (DynamiCrafter) की आवश्यकता वाली विधियों के विपरीत, MPD एक प्लग-एंड-प्ले इन्फरेंस रणनीति है जो Stable Video Diffusion (SVD) जैसे प्री-ट्रेंड मॉडल्स के साथ काम करती है।
मजबूती (Robustness): यह डिफ्यूजन-आधारित वीडियो जनरेशन की एक मौलिक सीमा को हल करता है: मोशन संघर्ष के बिना ड्यूल-कन्स्ट्रेंट जनरेशन करने में असमर्थता।
व्यावहारिकता (Practicality): टेम्पोरल कंसिस्टेंसी में सुधार करके और आर्टिफैक्ट्स को कम करके, MPD जेनरेटिव इनबिटवीनिंग को वीडियो एडिटिंग, एनिमेशन इंटरपोलेशन और कंटेंट क्रिएशन जैसे वास्तविक दुनिया के अनुप्रयोगों के लिए व्यवहार्य बनाता है, जहाँ स्टार्ट और एंड स्टेट्स पर सटीक नियंत्रण की आवश्यकता होती है।