💻 computer science

FC-VFI: Faithful and Consistent Video Frame Interpolation for High-FPS Slow Motion Video Generation

यह शोध पत्र FC-VFI का प्रस्ताव करता है, जो एक नवीन वीडियो फ्रेम इंटरपोलेशन विधि है जो 30 FPS से 2560×1440 रिज़ॉल्यूशन पर 120/240 FPS तक उच्च-निष्ठा (high-fidelity), गति-संगत 4x और 8x फ्रेम दर अपस्केलिंग प्राप्त करने के लिए लेटेंट टेम्पोरल मॉडलिंग, सिमेंटिक मैचिंग लाइन्स और एक टेम्पोरल डिफरेंस लॉस का लाभ उठाता है, जो मौजूदा डिफ्यूजन-आधारित दृष्टिकोणों की निष्ठा और निरंतरता की सीमाओं को दूर करता है।

मूल लेखक: Ganggui Ding, Hao Chen, Xiaogang Xu

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ganggui Ding, Hao Chen, Xiaogang Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक फिल्म है जो सामान्य गति पर चलती है, जैसे कि एक सामान्य टीवी शो। अब, कल्पना कीजिए कि आप उस फिल्म को धीमा करना चाहते हैं ताकि गिरते हुए पत्ते या पानी की एक बूंद के हर सूक्ष्म विवरण को दिखाया जा सके। इसे स्लो मोशन (slow motion) कहा जाता है।

स्मूथ स्लो मोशन बनाने के लिए, आपको उन नए फ्रेम्स (frames) को बनाना होगा जो पहले मौजूद नहीं थे, यानी मूल चित्रों के बीच के खाली स्थानों को भरना होगा। इसे वीडियो फ्रेम इंटरपोलेशन (Video Frame Interpolation - VFI) कहा जाता है।

समस्या क्या है? पुराने तरीके एक अनाड़ी चित्रकार की तरह हैं। यदि वे यह अनुमान लगाने की कोशिश करते हैं कि दो फ्रेमों के बीच क्या होता है, तो वे अक्सर गड़बड़ी कर देते हैं। वे कार को पिघलता हुआ दिखा सकते हैं, या किसी व्यक्ति का चेहरा अजीब तरह से झिलमिलाता हुआ दिखा सकते हैं। उन्हें विवरणों को स्पष्ट रखने और गति को सुचारू बनाने में संघर्ष करना पड़ता है।

यहाँ आता है FC-VFI, एक नया AI टूल जो एक मास्टर टाइम-ट्रैवलिंग आर्टिस्ट (समय यात्रा करने वाला कलाकार) की तरह काम करता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

1. समस्या: "पिघलती कार" का प्रभाव (The "Melting Car" Effect)

कल्पना कीजिए कि आपके पास एक सेकंड की शुरुआत में कार की एक फोटो है और उसी सेकंड के अंत में उसी कार की एक दूसरी फोटो है। आप बीच में 7 नए फोटो बनाना चाहते हैं ताकि यह स्मूथ स्लो मोशन जैसा दिखे।

पुराने AI तरीके: वे कारों के बीच अदृश्य रेखाएं (ऑप्टिकल फ्लो) खींचकर गति का अनुमान लगाने की कोशिश करते हैं। लेकिन जटिल दृश्यों में, ये रेखाएं भ्रमित हो जाती हैं। परिणाम? बीच के फ्रेमों में कार दबी हुई, खिंची हुई या धुंधली दिखाई दे सकती है।
लक्ष्य: हमें एक ऐसे AI की आवश्यकता है जो याद रखे कि कार शुरुआत और अंत में कैसी दिख रही थी, और उन विवरणों को खोए बिना बीच के हिस्से को भरे।

2. समाधान: FC-VFI के तीन जादुई तरीके

इस शोध के लेखकों ने FC-VFI को एक "लार्ज प्री-ट्रेंड वीडियो मॉडल" (इसे एक ऐसे कलाकार के रूप में सोचें जिसने पहले ही लाखों फिल्में देखी हैं) का उपयोग करके बनाया है। उन्होंने इस कलाकार को इन समस्याओं को ठीक करने के लिए तीन विशिष्ट तरकीबें सिखाई हैं:

तरकीब #1: "बुकएंड्स" रणनीति (टेम्पोरल फिडेलिटी मॉड्यूलेशन)

कल्पना कीजिए कि आप सूर्योदय और सूर्यास्त के बीच होने वाले दृश्य को चित्रित करने की कोशिश कर रहे हैं।

पुराना तरीका: कलाकार सूर्योदय और सूर्यास्त को देखता है, फिर अपनी आँखें बंद करता है और बीच के हिस्से का अनुमान लगाने की कोशिश करता है। वे आकाश के रंगों को भूल सकते हैं।
FC-VFI का तरीका: कलाकार चित्रकारी के दौरान भी सूर्योदय और सूर्यास्त की तस्वीरों को मेज पर खुला रखता है। वे रंगों और आकृतियों को सही बनाए रखने के लिए शुरुआत और अंत को लगातार देखते रहते हैं।
उपमा: यह किताब के पहले और आखिरी पन्नों को खुला रखने जैसा है जब आप बीच के अध्याय लिख रहे होते हैं, ताकि कहानी कभी अपने प्लॉट से न भटके। यह "पिघलती कार" के प्रभाव को रोकता है और विवरणों को स्पष्ट रखता है।

तरकीब #2: "कंकाल" मार्गदर्शक (मैचिंग लाइन्स)

कभी-कभी वस्तुएं तेजी से चलती हैं, और यह बताना मुश्किल होता है कि वे कहाँ जा रही हैं।

पुराना तरीका: कलाकार हर एक पिक्सेल को ट्रैक करने की कोशिश करता है (जैसे समुद्र तट पर रेत के हर कण को गिनना)। यह अस्त-व्यस्त और त्रुटियों के प्रति संवेदनशील है।
FC-VFI का तरीका: कलाकार केवल वस्तुओं की मुख्य रूपरेखाओं (key outlines) को देखता है (जैसे लाइसेंस प्लेट का किनारा या किसी इमारत का कोना)। वे गति को निर्देशित करने के लिए इन "कंकाल रेखाओं" का उपयोग करते हैं।
उपमा: एक डांसर के पूरे शरीर को देखने के बजाय, केवल उनके पैरों और हाथों की गति को देखने जैसा है। यदि पैर और हाथ सही ढंग से चलते हैं, तो शरीर का बाकी हिस्सा स्वाभाविक रूप से पीछे आता है। यह वस्तु की संरचना को ठोस बनाए रखता है, भले ही वह तेजी से चल रही हो।

तरकीब #3: "स्मूथनेस" चेक (टेम्पोरल डिफरेंस लॉस)

कभी-कभी AI ऐसे फ्रेम बनाता है जो एक-दूसरे के इतने समान होते हैं कि वीडियो एक स्थिर मूर्ति जैसा दिखता है, भले ही उसे चलते हुए दिखाया जाना चाहिए।

समाधान: FC-VFI में एक अंतर्निहित नियम है: "यदि आपके द्वारा बनाया गया चित्र पिछले चित्र के बिल्कुल समान दिखता है, तो आपको इसे थोड़ा और चलाना होगा।"
उपमा: यह एक डांस इंस्ट्रक्टर द्वारा छात्र को दी गई सलाह जैसा है, "बस खड़े मत रहो! एक कदम लो!" यह सुनिश्चित करता है कि स्लो-मोशन वीडियो तरल और गतिशील महसूस हो, न कि झटकेदार या अटका हुआ।

3. परिणाम: हाई-स्पीड, हाई-क्वालिटी जादू

इन तरकीबों के कारण, FC-VFI 30 फ्रेम्स प्रति सेकंड (मानक टीवी गति) वाली वीडियो को 120 या 240 फ्रेम्स प्रति सेकंड (सुपर स्मूथ स्लो मोशन) में बदल सकता है, बिना गुणवत्ता खोए।

रेज़ोल्यूशन (Resolution): यह बड़ी, हाई-डेफिनिशन स्क्रीन्स (जैसे 1440p) पर भी ऐसा कर सकता है, जो एक बड़ी बात है क्योंकि अधिकांश AI इतने अधिक विवरणों के साथ संघर्ष करते हैं।
गति (Speed): यह आश्चर्यजनक रूप से तेज़ है। अन्य तरीकों के विपरीत, जिन्हें गलतियों को सुधारने के लिए वीडियो को कई बार "दोबारा बनाने" में काफी समय लग सकता है, FC-Vश FC-VFI इसे केवल कुछ ही प्रयासों (10 स्टेप्स) में सही कर देता है।

सारांश

FC-VFI को एक सुपर-स्मार्ट एडिटर के रूप में समझें जो केवल दो क्षणों के बीच क्या होता है इसका अनुमान नहीं लगाता। इसके बजाय, यह:

मूल तस्वीरों को अपनी नज़र के सामने रखता है ताकि वह विवरणों को कभी न भूले।
वस्तुओं की रूपरेखा का पालन करता है ताकि वे बिखर न जाएं।
गति को सहज और प्राकृतिक बनाने के लिए मजबूर करता है।

परिणामस्वरूप एक ऐसा स्लो-मोशन वीडियो मिलता है जो इतना वास्तविक और विस्तृत दिखता है कि आप कसम खा लेंगे कि कैमरा सुपर-स्पीड पर ही शूट कर रहा था, भले ही वह न रहा हो।

यहाँ शोध पत्र "FC-VFI: Faithful and Consistent Video Frame Interpolation for High-FPS Slow Motion Video Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वीडियो फ्रेम इंटरपोलेशन (VFI) का लक्ष्य स्टार्ट और एंड फ्रेम के बीच मध्यवर्ती फ्रेमों को संश्लेषित करना है ताकि स्लो-मोशन जनरेशन के लिए फ्रेम रेट (जैसे, 30 FPS से 120/240 FPS) बढ़ाया जा सके। पारंपरिक विधियाँ ऑप्टिकल फ्लो पर निर्भर करती हैं, जो जटिल दृश्यों में ऑक्लूजन (occlusions) या तीव्र गति के दौरान संघर्ष करती हैं। हालिया डिफ्यूजन-आधारित विधियाँ बेहतर जेनेरेटिव क्षमताएं प्रदान करती हैं, लेकिन वे दो महत्वपूर्ण समस्याओं से ग्रस्त हैं:

फिडेलिटी लॉस (Fidelity Loss): जेनेरेटिव प्रायर्स (priors) अक्सर संरचनात्मक विरूपण, आर्टिफ़ेक्ट्स (जैसे, घोस्टिंग), और फ्लिकरिंग का कारण बनते हैं, जहाँ मध्यवर्ती फ्रेम स्टार्ट/एंड फ्रेम की ज्यामिति से काफी विचलित हो जाते हैं।
टेम्पोरल इनकंसिस्टेंसी (Temporal Inconsistency): इंटरपोलेटेड अनुक्रमों में अक्सर गलत गति या आसन्न फ्रेमों के बीच "लगभग स्थिर" व्यवहार दिखाई देता है। मौजूदा मोशन गाइडेंस (सघन ऑप्टिकल फ्लो या स्पार्स पॉइंट्स) या तो जटिल दृश्यों में त्रुटिपूर्ण होती है या उसमें पर्याप्त संरचनात्मक संदर्भ की कमी होती है।
दक्षता (Efficiency): कई वर्तमान डिफ्यूजन दृष्टिकोणों के लिए द्विदिश इन्फरेंस (फॉरवर्ड और बैकवर्ड जनरेट करना और फिर फ्यूज करना) या री-नॉइज़िंग स्टेप्स की आवश्यकता होती है, जिससे उच्च कम्प्यूटेशनल ओवरहेड होता है।

2. कार्यप्रणाली: FC-VFI (Methodology: FC-VFI)

लेखक FC-VFI प्रस्तावित करते हैं, जो एक प्री-ट्रेंड बड़े पैमाने के इमेज-टू-वीडियो (I2V) डिफ्यूजन मॉडल (विशेष रूप से HunyuanVideo-I2V) से फाइन-ट्यून किया गया एक फ्रेमवर्क है। इसके मुख्य नवाचार निम्नलिखित हैं:

A. टेम्पोरल फिडेलिटी मॉड्यूलेशन रेफरेंस (TFMR)

चैनलों के माध्यम से स्टार्ट/एंड फ्रेम लेटेंट्स को मध्यवर्ती लेटेंट्स के साथ जोड़ने (जो बाउंड्री जानकारी को बाधित कर सकता है) के बजाय, FC-VFI उन्हें टेम्पोरल डायमेंशन के साथ जोड़ता है।

तंत्र (Mechanism): मध्यवर्ती फ्रेम के नॉइजी लेटेंट ( $z_n$ ) को स्टार्ट ( $z_s$ ) और एंड ( $z_e$ ) फ्रेम के लेटेंट्स के साथ एक सीक्वेंस $Z = \{z_s, z_n, z_e\}$ बनाने के लिए जोड़ा जाता है।
फिडेलिटी मॉड्यूलेशन: डिफ्यूजन प्रक्रिया को बाउंड्री फ्रेम्स को दूषित करने से रोकने के लिए, मॉडल वेलोसिटी प्रेडिक्शन के दौरान $z_s$ और $z_e$ को एक फिक्स्ड टाइमस्टेप $t^*=0$ (नॉइज़-फ्री स्टेट) असाइन करता है, जबकि मध्यवर्ती फ्रेम मानक नॉइज़ शेड्यूलिंग का पालन करते हैं। यह सुनिश्चित करता है कि जनरेशन प्रक्रिया लगातार एंडपॉइंट्स के हाई-फिडेलिटी फीचर्स को रेफर करती रहे।

B. मैचिंग लाइन्स कंडीशन (Matching Lines Condition)

बड़े कैमरा मोशन या तीव्र ऑब्जेक्ट मूवमेंट के दौरान संरचनात्मक अस्थिरता को संबोधित करने के लिए, लेखक एक सिमेंटिक मैचिंग लाइन तंत्र पेश करते हैं।

एक्सट्रैक्शन (Extraction): GlueStick का उपयोग करके स्टार्ट और एंड फ्रेम से सिमेंटिक लाइन पेयर्स निकाले जाते हैं।
एनकोडिंग (Encoding): एक हल्का ResNet-आधारित एनकोडर इन लाइनों को कंडीशन फीचर्स ( $c_s, c_e$ ) में बदल देता है।
इंजेक्शन (Injection): इन फीचर्स को बाउंड्री लेटेंट्स में एलिमेंट-वाइज जोड़ा जाता है ( $z'_s = z_s + c_s$ , $z'_e = z_e + c_e$ )। एक रेप्लिकेटेड DiT ब्लॉक इन एन्हांस्ड लेटेंट्स को प्रोसेस करता है ताकि रेजिडुअल फीचर्स बनाए जा सकें, जिन्हें मुख्य बैकबोन में वापस इंजेक्ट किया जाता है।
लाभ: सघन ऑप्टिकल फ्लो (त्रुटिपूर्ण) या स्पार्स पॉइंट्स (संरचना की कमी) के विपरीत, मैचिंग लाइन्स मजबूत संरचनात्मक सीमाओं और ऑब्जेक्ट शेप्स प्रदान करती हैं, जो उन टेम्पोरली कंप्रेस्ड VAEs के साथ संघर्ष नहीं करतीं जिनमें फ्रेम-वाइज़ कंडीशनिंग की आवश्यकता होती है।

C. टेम्पोरल डिफरेंस लॉस (Temporal Difference Loss)

"नियर-स्टैटिक" आर्टिफ़ेक्ट्स को कम करने के लिए, जहाँ आसन्न इंटरपोलेटेड फ्रेम समान दिखाई देते हैं:

मॉडल एक लॉस टर्म ( $L_{temp}$ ) पेश करता है जो लगातार फ्रेमों के बीच अनुमानित मोशन डिफरेंस को ग्राउंड ट्रुथ मोशन डिफरेंस के साथ स्पष्ट रूप से संरेखित करता है।
उद्देश्य: $L = L_{flow} + \omega L_{temp}$ । यह गतिशील अंतर और सुचारू मोशन ट्रांजिशन को प्रोत्साहित करता है।

D. ट्रेनिंग स्ट्रैटेजी (Training Strategy)

आर्किटेक्चर: DiT बैकबोन के साथ फ्लो मैचिंग (FM) पर आधारित।
फाइन-ट्यूनिंग: DiT बैकबोन को फाइन-ट्यून करने के लिए LoRA (Rank 64) और लाइन एनकोडर के लिए फुल ट्रेनिंग का उपयोग करता है।
दक्षता: यह विधि द्विदिश इन्फरेंस या री-नॉइज़िंग की आवश्यकता को समाप्त करती है, जिसमें केवल 10 डीनॉइजिंग स्टेप्स की आवश्यकता होती है।

3. मुख्य योगदान (Key Contributions)

फिथफुल इंटरपोलेशन स्ट्रैटेजी: TFMR प्रस्तावित करता है, जो एक नवीन टेम्पोरल मॉडलिंग रणनीति है जो टाइमस्टेप्स को मॉड्युलेट करके और लेटेंट्स को टेम्पोरली जोड़कर बाउंड्री फिडेलिटी को सुरक्षित रखती है, जिससे बिना संरचनात्मक विरूपण के हाई-रेज़ोल्यूशन (2560×1440) इंटरपोलेशन संभव होता है।
रोबस्ट मोशन गाइडेंस: एक मैचिंग लाइन्स कंडीशन पेश करता है जो ऑप्टिकल फ्लो या स्पार्स पॉइंट्स की तुलना में बेहतर संरचनात्मक स्थिरता प्रदान करता है, जिसे विशेष रूप से टेम्पोरली कंप्रेस्ड वीडियो लेटेंट्स के साथ काम करने के लिए डिज़ाइन किया गया है।
टेम्पोरल कंसिस्टेंसी: "नियर-स्टैटिक" आर्टिफ़ेक्ट्स को खत्म करने और सुचारू मोशन ट्रांजिशन सुनिश्चित करने के लिए टेम्पोरल डिफरेंस लॉस विकसित करता है।
दक्षता और स्केलेबिलिटी: SOTA डिफ्यूजन विधियों की तुलना में काफी कम इन्फरेंस स्टेप्स (10 स्टेप्स) के साथ 4× और 8× इंटरपोलेशन (30 FPS $\to$ 120/240 FPS) प्राप्त करता है, जो 2560×1440 तक के रेजोल्यूशन को सपोर्ट करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

मॉडल का मूल्यांकन विविध डेटासेट्स (REDS, Adobe240, X-Test, DAVIS-2017) पर ऑप्टिकल-फ्लो-आधारित (GIMM-VFI) और डिफ्यूजन-आधारित (GI, ViBiDSampler, FCVG) विधियों के विरुद्ध किया गया।

मात्रात्मक प्रदर्शन (Quantitative Performance):
- 1024×576 पर, FC-VFI 4× और 8× इंटरपोलेशन दोनों के लिए सभी मेट्रिक्स (PSNR, SSIM, FID, FVD, LPIPS) में सभी डिफ्यूजन-आधारित SOTA विधियों से बेहतर प्रदर्शन करता है।
- 2560×1440 पर, यह जनरेटिव फ्लेक्सिबिलिटी बनाए रखते हुए GIMM-VFI के मुकाबले प्रतिस्पर्धी परिणाम प्राप्त करता है।
गुणात्मक प्रदर्शन (Qualitative Performance):
- FC-VFI सूक्ष्म विवरणों (टेक्स्ट, लाइसेंस प्लेट, बिल्डिंग टेक्सचर) को संरक्षित करता है और प्रतिस्पर्धियों की तुलना में ऑक्लूजन और हाई-कॉन्ट्रास्ट लाइटिंग को बेहतर ढंग से संभालता है।
- यह अन्य विधियों में देखे जाने वाले घोस्टिंग, फ्लिकरिंग और स्ट्रक्चरल डिफॉर्मेशन जैसे सामान्य आर्टिफ़ेक्ट्स से बचता है।
दक्षता (Efficiency):
- सिंगल-पास, 10-स्टेप डीनॉइजिंग प्रक्रिया के कारण अन्य डिफ्यूजन विधियों (जैसे, 1024×576 के लिए 4× में 16s बनाम 606s) की तुलना में इन्फरेंस समय काफी कम है।
एब्लेशन स्टडीज (Ablation Studies):
- TFMR या मैचिंग लाइन्स कंडीशन को हटाने से PSNR और SSIM में महत्वपूर्ण गिरावट आती है, जो टेम्पोरल कॉनकैटिनेशन और स्ट्रक्चरल गाइडेंस की आवश्यकता की पुष्टि करती है।
- टेम्पोरल डिफरेंस लॉस प्रभावी रूप से FVD (वीडियो क्वालिटी मेट्रिक) को कम करता है, जो सुचारू मोशन का संकेत देता है।

5. महत्व (Significance)

FC-VFI हाई-फिडेलिटी वीडियो जनरेशन में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। चैनल-वाइज़ कंडीशनिंग से टेम्पोरल कॉनकैटिनेशन की ओर शिफ्ट होकर और फिडेलिटी मॉड्यूलेशन पेश करके, यह VFI में जेनेरेटिव क्रिएटिविटी और स्ट्रक्चरल फिडेलिटी के बीच लंबे समय से चले आ रहे ट्रेड-ऑफ को हल करता है। इसकी कम कम्प्यूटेशनल लागत के साथ 2K रेजोल्यूशन (2560×1440) पर हाई-फ्रेम-रेट स्लो-मोशन वीडियो उत्पन्न करने की क्षमता इसे एनिमेशन, फिल्म प्रोडक्शन और वीडियो एन्हांसमेंट जैसे अनुप्रयोगों के लिए अत्यधिक व्यावहारिक बनाती है, जो डिफ्यूजन-आधारित इंटरपोलेशन के लिए एक नया मानक स्थापित करती है।