Multiple Hypothesis Flow Estimation for Video Frame Interpolation under Matching Ambiguity

कल्पना कीजिए कि आप एक साधारण क्लिप से एक सहज, स्लो-मोशन वीडियो बनाने की कोशिश कर रहे हैं। ऐसा करने के लिए, कंप्यूटरों को उन नए फ्रेमों का आविष्कार करना होगा जो आपके पास पहले से मौजूद फ्रेमों के बीच पूरी तरह फिट बैठते हों। यह एक जादूगर की तरह है जो दो तस्वीरों के बीच के एक सेकंड के हिस्से में डांसर कैसा दिख रहा था, इसका सटीक अनुमान लगाने की कोशिश कर रहा है। इस जादू का सबसे कठिन हिस्सा यह पता लगाना है कि हर एक पिक्सेल पहले फोटो से दूसरे फोटो तक कैसे चला। आमतौर पर, कंप्यूटर यह खोजने की कोशिश करता है कि पिक्सेल कहाँ गया, इसके लिए केवल एक "सर्वश्रेष्ठ अनुमान" (best guess)। लेकिन कभी-कभी, दुनिया भ्रमित करने वाली होती है। यदि आपके पास समान ब्लेड वाली एक घूमती हुई पवनचक्की है, या गिरते हुए समान दिखने वाले बर्फ के टुकड़ों का ढेर है, या एक तेजी से चलती मुट्ठी है जो एक धुंधला निशान छोड़ देती है, तो कंप्यूटर फंस जाता है। वह पहले फ्रेम में एक पिक्सेल देखता है और पूछता है, "क्या तुम इस जगह चले गए, या उस जगह, या उस एक?" इन पेचीदा स्थितियों में, केवल एक सही उत्तर नहीं होता; इसमें कई समान रूप से प्रशंसनीय उत्तर होते हैं। यदि कंप्यूटर को तुरंत केवल एक अनुमान चुनने के लिए मजबूर किया जाता है, तो वह अक्सर गलत चुनाव करता है या एक अस्त-व्यस्त समझौता करता है, जिसके परिणामस्वरूप नया फ्रेम भूतिया (ghostly), धुंधला या विकृत दिखाई देता है।

यह शोध पत्र वीडियो फ्रेम इंटरपोलेशन (VFI) के क्षेत्र में उस विशिष्ट सिरदर्द से निपटता है। लेखक इस भ्रमित करने वाले क्षणों को संभालने का एक चतुर नया तरीका प्रस्तावित करते हैं। कंप्यूटर को तुरंत एक एकल, हताश अनुमान लगाने के लिए मजबूर करने के बजाय, वे इसे प्रत्येक पिक्सेल के लिए शीर्ष तीन सर्वश्रेष्ठ अनुमानों (या "परिकल्पनाओं") की एक छोटी सूची रखने देते हैं। इसे एक ऐसे जासूस की तरह समझें जो पहले संदिग्ध को देखते ही उसे गिरफ्तार नहीं करता, बल्कि तीन संदिग्धों को अपनी लाइनअप में रखता है। कंप्यूटर फिर एक विशेष "विश्वसनीयता जज" (reliability judge) का उपयोग करता है जो सुरागों को देखता है—जैसे कि गति कितनी सुसंगत है और छवि कितनी स्पष्ट है—और अंतिम उत्तर के रूप में एकल सबसे अच्छे संदिग्ध को चुनता है। अधिक साक्ष्य जुटाने के बाद ही अंतिम निर्णय लेने की प्रतीक्षा करके, यह विधि उन भूतिया, धुंधली गलतियों से बचती है जो तब होती हैं जब कंप्यूटर को बहुत जल्दी अनुमान लगाने के लिए मजबूर किया जाता है। परिणाम एक बहुत अधिक स्पष्ट, तेज वीडियो होता है, विशेष रूप से उन अराजक दृश्यों में जहाँ चीजें घूमती हैं, दोहराई जाती हैं, या इतनी तेजी से चलती हैं कि उन्हें स्पष्ट रूप से देखना कठिन होता है।

समस्या: जब "एक सही उत्तर" मौजूद नहीं होता

अधिकांश वीडियो इंटरपोलेशन विधियाँ एक सख्त शिक्षक की तरह काम करती हैं जो हर सवाल का एक एकल उत्तर मांगती है। वे वीडियो के दो फ्रेमों को देखते हैं और गणना करने की कोशिश करते हैं कि हर पिक्सेल वास्तव में कैसे चला। सरल दृश्यों में, यह बहुत अच्छा काम करता है। लेकिन वास्तविक दुनिया में, चीजें अव्यवस्थित होती हैं। यह शोध पत्र तीन विशिष्ट परिदृश्यों की पहचान करता है जहाँ यह "एक उत्तर" वाला नियम विफल हो जाता है:

1. पुनरावृत्ति बनावट (Repetitive Textures): कल्पना कीजिए कि फूलों का एक मैदान है या बर्फ का ढेर है। यदि आप पहले फ्रेम में एक बर्फ के टुकड़े को देखते हैं, तो वह अपने पड़ोसियों जैसा ही दिखता है। जब कंप्यूटर इसे अगले फ्रेम के साथ मिलाने की कोशिश करता है, तो वह दर्जनों समान दिखने वाले बर्फ के टुकड़े देखता है। वह यह नहीं बता सकता कि असली मैच कौन सा है।
2. सममित घूर्णन (Symmetric Rotations): एक पवनचक्की या हेलीकॉप्टर के प्रोपेलर के बारे में सोचें। यदि ब्लेड सभी एक जैसे हैं, तो पहले फ्रेम का एक ब्लेड अगले फ्रेम में किसी भी अन्य ब्लेड से मेल खाने के लिए घूम सकता है। यहाँ केवल एक नहीं, बल्कि कई सही उत्तर हैं।
3. धुंधलेपन के साथ तेज़ गति (Fast Motion with Blur): जब कोई चीज़ बहुत तेज़ी से चलती है, जैसे मार्शल आर्ट्स फिल्म में एक मुक्का, तो वह एक धुंधला निशान (blur) छोड़ देती है। कंप्यूटर पिक्सेल का एक निशान देखता है और ठीक से पता नहीं लगा पाता कि वस्तु कहाँ से शुरू हुई या कहाँ समाप्त हुई।

इन सभी मामलों में, "ग्राउंड ट्रुथ" (वास्तविक वीडियो फ्रेम जो बीच में आना चाहिए) कंप्यूटर को एक अनूता सा सुराग नहीं देता है। कंप्यूटर गलत पिक्सेल को मिलाकर भी एक ऐसी तस्वीर बना सकता है जो मशीन के लिए ठीक दिखेगी, लेकिन वह इंसान के लिए अजीब दिखेगी। पारंपरिक विधियाँ कंप्यूटर को तुरंत केवल एक पथ चुनने के लिए मजबूर करती हैं। यदि वह गलत पथ चुनता है, या दो अलग-अलग पथों को मिलाने की कोशिश करता है, तो परिणाम "घोस्टिंग" (दोहरी छवियां दिखना) या "संरचनात्मक विरूपण" (वस्तुएं पिघली हुई या टूटी हुई दिखना) के रूप में सामने आता है।

समाधान: "टॉप-के" (Top-K) शॉर्टलिस्ट

इस शोध पत्र के लेखक, ज़िबो सू और उनके सहयोगियों ने एक अलग दृष्टिकोण का सुझाव दिया है। कंप्यूटर को तुरंत एक उत्तर के लिए प्रतिबद्ध होने के लिए कहने के बजाय, वे उसे सबसे अच्छे उम्मीदवारों की एक Top-K सूची रखने देते हैं। अपने प्रयोगों में, उन्होंने पाया कि 3 उम्मीदवारों (K=3) को रखना सबसे अच्छा काम करता है।

यहाँ उनका सिस्टम, जिसे मल्टीपल हाइपोथीसिस फ्लो एस्टीमेशन (MHFE) कहा जाता है, चरण-दर-चरण काम करता है:

1. खोज (The Coarse Search): सबसे पहले, कंप्यूटर पूरी छवि को देखता है और उन शीर्ष 3 स्थानों को खोजता है जहाँ एक पिक्सेल के जाने की सबसे अधिक संभावना है। इन्हें "एंकर" (anchors) कहा जाता है।
2. स्थानीय परिशोधन (The Local Refinement): केवल अनुमान लगाने के बजाय, कंप्यूटर उन 3 एंकरों में से प्रत्येक पर ज़ूम करता है। यह प्रत्येक एंकर के आसपास के पड़ोस को करीब से देखने के लिए एक विशेष "लोकल अटेंशन" टूल का उपयोग करता है। यह अनुमान को परिष्कृत करने में मदद करता है, जिससे गति पथ को अधिक सटीक बनाने के लिए सूक्ष्म विवरण जुड़ जाते हैं।
3. विश्वसनीयता जज (The Reliability Judge): अब कंप्यूटर के पास प्रत्येक पिक्सेल के लिए 3 परिष्कृत विकल्प हैं। वह केवल पहले विकल्प को नहीं चुनता। यह एक "रिलायबिलिटी-गाइडेड राउटर" का उपयोग करता है। यह एक स्मार्ट सिस्टम है जो निम्नलिखित सुरागों की जाँच करता है:
   • सुसंगतता (Consistency): यदि पिक्सेल आगे बढ़ता है और फिर पीछे आता है, तो क्या वह वहीं वापस पहुँच जाता है जहाँ से शुरू हुआ था?
   • फोकस (Focus): क्या मिलान स्पष्ट और तीक्ष्ण है, या यह धुंधला है?
   • आत्मविश्वास (Confidence): प्रारंभिक खोज कितनी निश्चित है?
4. अंतिम चयन (The Final Choice): इन सुरागों के आधार पर, राउटर उस विशिष्ट पिक्सेल के लिए एकल सबसे विश्वसनीय विकल्प चुनता है। महत्वपूर्ण बात यह है कि यह एक को चुनता है और बाकी को हटा देता है। यह उन्हें आपस में मिलाता नहीं है।

"एक को चुनना" "उन्हें मिलाने" से बेहतर क्यों है?

शोध पत्र का एक मुख्य निष्कर्ष यह है कि विभिन्न अनुमानों को मिलाना (mixing) वास्तव में बुरा है। कुछ पुरानी विधियों ने सुरक्षित रहने के लिए सभी संभावित गतियों को औसत निकालने की कोशिश की थी। लेखक दिखाते हैं कि यह औसत निकालना एक "समझौतापूर्ण भविष्यवाणी" (compromised prediction) बनाता है। यह एक लाल कार और एक नीली कार को मिलाने जैसा है; आपको एक बैंगनी कार नहीं मिलती जो असली लगे, बल्कि आपको एक मैला, भूतिया मिश्रण मिलता है।

"हार्ड राउटिंग" (एक विजेता चुनना) रणनीति का उपयोग करके, कंप्यूटर यह सुनिश्चित करता है कि अंतिम छवि एक एकल, सुसंगत कहानी से बनी हो। यदि कंप्यूटर अनिश्चित है, तो वह एक भ्रमित करने वाली कहानी बताने के बजाय, पर्याप्त साक्ष्य मिलने तक प्रतीक्षा करता है कि सबसे अच्छी एकल कहानी क्या है।

नया परीक्षण: MA-HD

अपने विचार को सिद्ध करने के लिए, शोधकर्ताओं को मानक परीक्षणों का उपयोग नहीं करना पड़ा क्योंकि उन परीक्षणों में ये पेचीदा "अस्पष्ट" दृश्य पर्याप्त नहीं थे। इसलिए, उन्होंने MA-HD (मैचिंग-एम्बिग्युइटी हाई डेफिनेशन) नामक एक नया बेंचमार्क बनाया।

इस नए परीक्षण सेट में 1,000 वीडियो क्लिप शामिल हैं जिन्हें विशेष रूप से उनके भ्रम पैदा करने वाले कारकों के लिए चुना गया है:

• गतिशील बनावट (Dynamic Textures): ज्वालाएँ, लहरें, बर्फ और बारिश।
• घूर्णन (Rotation): पवनचक्की और हवाई जहाज के प्रोपेलर।
• तेज़ गति (Fast Motion): मार्शल आर्ट्स के पंच और ड्रिफ्टिंग कारें।

उन्होंने इन कठिन दृश्यों में मौजूदा सर्वोत्तम वीडियो उपकरणों (जैसे EMA-VFI, SGM-VFI, आदि) के विरुद्ध अपने तरीके का परीक्षण किया।

परिणाम: अधिक स्पष्ट, स्वच्छ और कम भूतिया

परिणाम प्रभावशाली थे, विशेष रूप से कठिन श्रेणियों में:

• प्रत्यक्ष गुणवत्ता (Perceptual Quality): लेखकों ने LPIPS और DISTS जैसे मेट्रिक्स का उपयोग किया, जो यह मापते हैं कि कंप्यूटर को लगता है कि एक छवि मानव दृष्टि के प्रति कितनी समान है। उनके नए MA-HD परीक्षण पर, उनके तरीके ने LPIPS के लिए 11.14 और DISTS के लिए 7.19 स्कोर किया। यह दूसरे सबसे अच्छे तरीके (PerVFI) से काफी बेहतर था, जिसने क्रमशः 13.69 और 7.60 स्कोर किया। सरल शब्दों में, उनके वीडियो मानव आँखों के लिए बहुत अधिक स्वाभाविक और कम धुंधले थे।
• अस्पष्टता को संभालना (Handling Ambiguity): विजुअल तुलनाओं में, पुराने तरीके घूमते ब्लेड और तेज़ मुक्कों के आसपास "भूत" (धुंधली दोहरी छवियां) और "टीयरिंग" (छवि के हिस्सों का फटना) उत्पन्न करते थे। नया तरीका ब्लेड को तीक्ष्ण और मुक्कों को ठोस रखता है।
• दक्षता (Efficiency): यह विधि काफी तेज़ भी है। यह MA-HD परीक्षण पर लगभग 0.78 फ्रेम प्रति सेकंड (FPS) पर चलती है, जो अन्य उच्च-गुणवत्ता वाले तरीकों के बराबर है, हालांकि यह सबसे तेज़ नहीं है। यह लगभग 6.91 GB मेमोरी का उपयोग करती है, जो 30 GB से अधिक की आवश्यकता वाले कुछ अन्य भारी-भरकम तरीकों की तुलना में बहुत कम है।

शोध पत्र किन बातों को खारिज करता है

लेखक बहुत स्पष्ट हैं कि क्या काम नहीं करता है:

• सॉफ्ट फ्यूजन (Soft Fusion): वे विभिन्न गति पथों को औसत निकालने के खिलाफ स्पष्ट रूप से तर्क देते हैं। उनके परीक्षणों ने दिखाया कि जब उन्होंने उम्मीदवारों को मिलाने (उनके अध्ययन में वेरिएंट बी) की कोशिश की, तो इमेज क्वालिटी गिर गई, जिससे भारी घोस्टिंग और फीकी विवरण उत्पन्न हुई, भले ही पिक्सेल-दर-पिक्सेल संख्याएँ ठीक दिख रही हों।
• केवल आत्मविश्वास-आधारित रूटिंग (Confidence-Only Routing): उन्होंने एक संस्करण का भी परीक्षण किया जहाँ कंप्यूटर बिना सीखे गए "विश्वसनीयता जज" के उपयोग के, केवल उच्चतम प्रारंभिक आत्मविश्वास स्कोर वाले उम्मीदवार को चुनता है। इसने उनके पूर्ण सिस्टम की तुलना में खराब प्रदर्शन किया, जिससे सिद्ध हुआ कि खराब अनुमानों को फ़िल्टर करने के लिए स्मार्ट जज आवश्यक है।

निष्कर्ष

यह शोध पत्र सुझाव देता है कि जब दुनिया अस्पष्ट हो—जब एक पिक्सेल के चलने के कई तरीके हों—तो सबसे अच्छी रणनीति बेतरतीब ढंग से अनुमान लगाना या सभी अनुमानों को मिलाना नहीं है। इसके बजाय, कंप्यूटर को सर्वश्रेष्ठ संभावनाओं की एक छोटी सूची रखनी चाहिए, अतिरिक्त सावधानी के साथ उन्हें परिष्कृत करना चाहिए, और फिर एक स्मार्ट, सीखे गए सिस्टम का उपयोग करके एकल सबसे विश्वसनीय कहानी चुनना चाहिए। यह दृष्टिकोण, जैसा कि वे दिखाते हैं, अधिक साफ, तीक्ष्ण और यथार्थवादी स्लो-मोशन वीडियो की ओर ले जाता है, विशेष रूप से उन अराजक, तेज़-मूविंग या दोहराव वाले दृश्यों में जो अन्य वीडियो टूल्स को विफल कर देते हैं।