Predicting total time to compress a video corpus using online inference systems

कल्पना कीजिए कि आप एक विशाल डिजिटल लाइब्रेरी चला रहे हैं जहाँ लोग लगातार हजारों वीडियो फाइलें स्ट्रीम करने के लिए उन्हें छोटा करने (कंप्रेशन) हेतु छोड़ जाते हैं। यह प्रक्रिया, जिसे "कंप्रेशन" कहा जाता है, एक सूटकेस पैक करने जैसा है: आपको वीडियो डेटा को मोड़ना और दबाना होगा ताकि वह कम जगह घेरे, लेकिन वीडियो को मोड़ना जितना कठिन होगा (तेज गति या जटिल बनावट के कारण), इसमें उतना ही अधिक समय लगेगा। क्लाउड कंप्यूटिंग की दुनिया में, यह जानना कि इस पैकिंग के काम में वास्तव में कितना समय लगेगा, एक बहुत बड़ी बात है। इससे कंपनियों को यह समझने में मदद मिलती है कि उन्हें कितनी शक्ति खर्च करने की आवश्यकता है और इससे भी महत्वपूर्ण बात यह है कि वे अपने ग्राहकों से कितना शुल्क लें। अभी, अधिकांश सिस्टम एक आँखों पर पट्टी बँधे हुए शेफ की तरह काम करते हैं; वे आपको भोजन का मूल्य तभी बताते हैं जब आप उसे खा चुके होते हैं। यह बजट बनाना एक दुःस्वप्न जैसा बना देता है। वैज्ञानिकों ने प्रत्येक व्यक्तिगत वीडियो क्लिप के समय का अनुमान लगाने की कोशिश की है, लेकिन यह एक बार में एक ईंट को तौलकर पूरे ट्रक के भार का अनुमान लगाने की कोशिश करने जैसा है। यह धीमा है, और त्रुटियाँ बढ़ती जाती हैं। बड़ा सवाल यह है: क्या हम पूरे काम को खत्म करने से पहले ही वीडियो के पूरे ढेर (कोर्सस) के लिए कुल समय की भविष्यवाणी कर सकते हैं, और क्या हम काम के दौरान और भी स्मार्ट हो सकते हैं?

यह शोध पत्र, जिसे ट्रिनिटी कॉलेज डबलिन की एक टीम द्वारा लिखा गया है, इसी समस्या का समाधान करता है। हर एक वीडियो क्लिप के लिए एक-एक करके समय का अनुमान लगाने के बजाय, उन्होंने एक नया प्रकार का "स्मार्ट कैलकुलेटर" बनाया है जो वीडियो के पूरे संग्रह (या "कोर्सस") को कंप्रेस करने के लिए आवश्यक कुल समय की भविष्यवाणी करता है। उन्होंने पाया कि बड़े चित्र (बिग पिक्चर) को देखना छोटे टुकड़ों को देखने की तुलना में बहुत बेहतर है। वास्तव में, पूरे समूह के लिए कुल समय की भविष्यवाणी करने की उनकी विधि, प्रति क्लिप अनुमान लगाने की पुरानी विधि की तुलना में दोगुनी से अधिक सटीक थी।

यहाँ उनका सिस्टम कैसे काम करता है, इसका एक मजेदार उदाहरण दिया गया है। कल्पना कीजिए कि आप एक निर्माण स्थल के फोरमैन हैं जहाँ 60 la अलग-अलग कमरे पेंट किए जाने हैं। कुछ कमरे छोटे और साधारण हैं; अन्य विशाल हैं और उन पर जटिल भित्ति चित्र (म्यूरल) बने हैं।

• पुराना तरीका (प्रति-क्लिप भविष्यवाणी): आप काम शुरू करने से पहले हर एक कमरे को पेंट करने में लगने वाले समय का अनुमान लगाने की कोशिश करते हैं। आप अनुमान लगा सकते हैं कि म्यूरल वाले कमरे में 10 घंटे लगेंगे और अलमारी वाले कमरे में 1 मिनट। लेकिन यदि आपका एक भी अनुमान गलत होता है, तो पूरे काम के लिए आपका कुल अनुमान गलत हो जाता है।
• नया तरीका (कोर्सस भविष्यवाणी): आप पेंट करना शुरू करते हैं। कुछ कमरे (मान लीजिए कि काम का केवल 2%) पूरा करने के बाद, आप रुकते हैं और देखते हैं कि आपने क्या किया है। आप महसूस करते हैं, "हे, अब तक जो कमरे मैंने पेंट किए हैं, उनमें औसतन वास्तव में 15 मिनट लग रहे हैं।" फिर आप उस वास्तविक दुनिया के डेटा का उपयोग शेष 588 कमरों के लिए समय का अनुमान लगाने के लिए करते हैं।

लेखकों ने इस विचार का परीक्षण दो अलग-अलग "पेंटिंग टूल्स" (वीडियो कोडक जिन्हें x264 और x265 कहा जाता है) और 600 उच्च-गुणवत्ता वाले 4K वीडियो क्लिप्स के एक विशाल डेटासेट के साथ किया। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने एक ऐसा सिस्टम बनाया जो काम के दौरान सीखता है। वे इसे "ऑनलाइन इन्फरेंस" कहते हैं। यह एक जीपीएस (GPS) की तरह है जो हर नए लैंडमार्क से गुजरने पर आपके मार्ग और आगमन के समय को अपडेट करता है, बजाय इसके कि शुरुआत में केवल एक स्थिर मानचित्र दे दे।

उन्होंने कई रणनीतियों का परीक्षण किया:

1. "प्रोग्रेस बार" का अनुमान: यह सबसे सरल विधि है। यह मान लेता है कि बाकी वीडियो उतने ही औसत समय लेंगे जितने कि वे वीडियो जिन्हें आप पहले ही पूरा कर चुके हैं। यह ठीक है, लेकिन बहुत अच्छा नहीं।
2. "ग्रुपिंग" का अनुमान: यह विधि वीडियो को उनकी जटिलता के आधार पर समूहों (क्लस्टर) में वर्गीकृत करती है (जैसे कमरों को म्यूरल वाले या सादे दीवारों वाले कमरों के रूप में वर्गीकृत करना)। यह प्रत्येक समूह के लिए शेष कमरों के समय की अलग से भविष्यवाणी करती है। यह बेहतर है।
3. "सुपर-ब्रेन" का अनुमान (मशीन लर्निंग): यह एक स्मार्ट एल्गोरिदम का उपयोग करता है जिसे XGBoost कहा जाता है। यह आपके द्वारा प्रोसेस किए गए वीडियो के विवरणों को देखता है और बाकी हिस्से की भविष्यवाणी करने के लिए एक जटिल पैटर्न सीखता है।

परिणाम आश्चर्यजनक और प्रभावशाली थे। लेखकों ने पाया कि आपको पूरे काम के लिए "सुपर-ब्रेन" की आवश्यकता नहीं है। वास्तव में, सबसे अच्छी रणनीति "मिक्स-एंड-मैच" दृष्टिकोण है:

• शुरू करने से पहले: एक सामान्य "सुपर-ब्रेन" मॉडल का उपयोग करके एक मोटा अंदाजा प्राप्त करें। x264 टूल के लिए, यह अनुमान कुल समय का लगभग 13.5% गलत था।
• 2% पूरा होने के बाद: "सुपर-ब्रेन" पर स्विच करें जो काम के दौरान सीखता है (ऑनलाइन)। इससे त्रुटि घटकर लगभग 8.75% रह जाती है।
• 6% पूरा होने के बाद: सरल "ग्रुपिंग" विधि पर स्विच करें। आश्चर्यजनक रूप से, यह सरल विधि और भी सटीक हो गई, जिससे त्रुटि घटकर 5% से भी कम (x264 के लिए 4.89% और x265 के लिए 5.11%) रह गई।

शोध पत्र स्पष्ट रूप से इस विचार का खंडन करता है कि अच्छे परिणाम प्राप्त करने के लिए आपको सब कुछ सीखने के लिए एक एकल, जटिल मॉडल की आवश्यकता है। उन्होंने दिखाया कि सामान्य मॉडल (अन्य स्रोतों से डेटा पर प्रशिक्षित) वास्तव में वास्तविक काम शुरू होने के बाद खराब प्रदर्शन करते हैं। उन्होंने यह भी साबित किया कि आपको एक अच्छा अनुमान प्राप्त करने के लिए काम के 50% या 90% पूरा होने तक प्रतीक्षा करने की आवश्यकता नहीं है; आप वीडियो के एक बहुत छोटे हिस्से को प्रोसेस करने के बाद ही बहुत सटीक भविष्यवाणियां (5% से कम त्रुटि) प्राप्त कर सकते हैं।

टीम ने 64 कोर वाले एक शक्तिशाली कंप्यूटर पर इसका मापन किया, जो 2 या 4 सेकंड लंबे 600 क्लिप्स को प्रोसेस कर रहा था। उन्होंने पाया कि इन भविष्यवाणियों को चलाने के लिए आवश्यक "बौद्धिक शक्ति" बहुत कम थी—इससे पूरे प्रक्रिया में 0.2% से भी कम अतिरिक्त समय लगा। इसका मतलब है कि सिस्टम इतना तेज़ है कि इसे वास्तविक वीडियो कंप्रेशन को धीमा किए बिना रीयल-टाइम में उपयोग किया जा सकता है।

संक्षेप में, शोध पत्र सुझाव देता है कि वीडियो के विशाल कार्य के लिए यह अनुमान लगाने के लिए कि कितना समय लगेगा, "क्रिस्टल बॉल" (भविष्य दिखाने वाला गोला) होने के बजाय एक "सीखने वाला फोरमैन" होना बेहतर है। काम के एक छोटे नमूने को देखकर और काम के दौरान अपने अनुमान को समायोजित करके, आप हर एक कदम का पहले से अनुमान लगाने की तुलना में बहुत अधिक सटीकता के साथ कुल लागत और समय की भविष्यवाणी कर सकते हैं। यह क्लाउड कंपनियों को पैसा बचाने में मदद करता है और ग्राहकों को यह जानने में मदद करता है कि वे काम शुरू होने से पहले वास्तव में किस चीज के लिए भुगतान कर रहे हैं।