USV: Towards Understanding the User-generated Short-form Videos
यह शोध पत्र USV प्रस्तुत करता है, जो 224K उपयोगकर्ता-जनित लघु-रूप वीडियो का एक बड़े पैमाने का डेटासेट है जिसे विषय पहचान और वीडियो-टेक्स्ट रिट्रीवल कार्यों की स्थापना के माध्यम से उच्च-स्तरीय सिमेंटिक वीडियो समझ को आगे बढ़ाने के लिए डिज़ाइन किया गया है, जिसके साथ प्रस्तावित बेसलाइन मॉडल और व्यापक बेंचमार्क भी दिए गए हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि इंटरनेट एक विशाल, अराजक पुस्तकालय है। वर्षों से, "वीडियो अंडरस्टैंडिंग" (वीडियो समझ) का अध्ययन करने वाले शोधकर्ता ऐसी किताबें व्यवस्थित कर रहे हैं जो हॉलीवुड फिल्मों या पेशेवर वृत्तचित्रों (documentaries) जैसी दिखती हैं। वे किताबें अच्छी तरह से लिखी गई हैं, स्पष्ट रूप से लेबल की गई हैं, और सख्त नियमों का पालन करती हैं। लेकिन हाल ही में, इस पुस्तकालय के एक नए, जंगली हिस्से में विस्फोट हुआ है: यूजर-जेनरेटेड शॉर्ट-फॉर्म वीडियो (सोचिए TikTok, Instagram Reels, या Kwai)। ये पॉलिश किए हुए वीडियो नहीं हैं; ये आम लोगों द्वारा बनाए गए लाखों त्वरित, अव्यवस्थित और रचनात्मक क्लिप हैं।
अब तक, इस नए खंड के लिए किसी ने उचित मानचित्र नहीं बनाया था। यह पेपर, जिसका शीर्षक "USV: Towards Understanding the User-generated Short-form Videos" है, वह टीम है जिसने अंततः वह मानचित्र बनाया है।
यहाँ उनके काम का सरल शब्दों में विवरण दिया गया है:
1. समस्या: पुस्तकालय बहुत अव्यवस्थित है
लेखक बताते हैं कि मौजूदा वीडियो डेटासेट विश्वकोशों (encyclopedias) के पुस्तकालय की तरह हैं। वे लंबे, पेशेवर वीडियो में विशिष्ट क्रियाओं (जैसे "एक व्यक्ति का कूदना") को पहचानने पर ध्यान केंद्रित करते हैं। लेकिन नए शॉर्ट-फॉर्म वीडियो अलग हैं:
- वे छोटे और केंद्रित हैं: एक 15 सेकंड का क्लिप आमतौर पर केवल एक मुख्य विचार रखता है (जैसे "ASMR" या "एक मज़ेदार बिल्ली"), न कि कोई जटिल कथानक।
- वे टेक्स्ट-हैवी (पाठ-प्रधान) हैं: वे शीर्षकों, सबटाइटल्स और टिप्पणियों से भरे होते हैं जो बताते हैं कि क्या हो रहा है।
- वे अराजक हैं: हर दिन लाखों वीडियो अपलोड किए जाते हैं। हर एक को मैन्युअल रूप से जांचना और लेबल करना बहुत कठिन है, इसमें इंसानों को सैकड़ों साल लग जाएंगे।
- वे विविध हैं: ये केवल नाचते हुए लोग नहीं हैं; ये लेक्चर, स्लाइड्स, पॉडकास्ट और अजीबोगरीब प्रयोग भी हैं।
2. समाधान: USV डेटासेट
टीम ने USV-1.0 नामक एक नया डेटासेट बनाया।
- उन्होंने इसे कैसे प्राप्त किया: लोगों को वीडियो देखने और लेबल करने के लिए काम पर रखने के बजाय (जो बहुत धीमा है), उन्होंने एक "वेब-सुपरवाइज्ड" (web-supervised) ट्रिक का उपयोग किया। उन्होंने वीडियो प्लेटफॉर्म से पूछा, "मुझे 'ASMR' या 'ब्लॉकचेन' के बारे में सभी वीडियो दिखाओ।" प्लेटफॉर्म के अपने सर्च इंजन ने यह काम किया।
- परिणाम: उन्होंने 212 अलग-अलग विषयों को कवर करने वाले 224,000 वीडियो एकत्र किए।
- चुनौती: क्योंकि उन्होंने हर वीडियो की मैन्युअल रूप से जांच नहीं की, इसलिए यह डेटासेट "नॉइजी" (noisy) है। "ASMR" लेबल वाले कुछ वीडियो वास्तव में किसी और चीज़ के बारे में हो सकते हैं। लेकिन लेखकों का तर्क है कि यह शोर वास्तविक दुनिया का एक यथार्थवादी प्रतिनिधित्व है, और एक छोटे, एकदम सटीक डेटासेट के बजाय एक विशाल, थोड़ा अव्यवस्थित डेटासेट होना बेहतर है।
3. नए खेल: दो नई चुनौतियाँ
यह परीक्षण करने के लिए कि क्या कंप्यूटर इस अव्यवस्थित पुस्तकालय को समझ सकता है, लेखकों ने दो नए "खेल" (टास्क) बनाए:
गेम A: टॉपिक रिकग्निशन (यह क्या है? वाला खेल)
- लक्ष्य: एक वीडियो देखें और उसके मुख्य विषय का अनुमान लगाएं (जैसे, "क्या यह कुकिंग के बारे में है या ट्रैवल के बारे में?")।
- ट्विस्ट: आप केवल चित्र नहीं देख सकते। आपको ऑडियो सुनना और सबटाइटल्स भी पढ़ने होंगे। एक वीडियो समुद्र तट (beach) जैसा दिख सकता है, लेकिन यदि ऑडियो "अर्थशास्त्र" (economics) पर एक लेक्चर है, तो विषय अर्थशास्त्र है।
- टूल: उन्होंने एक मल्टी-मोडैलिटी फ्यूजन नेटवर्क (MMF-Net) बनाया। एक तीन सिरों वाले रोबोट की कल्पना करें: वीडियो के लिए एक आँख, ध्वनि के लिए एक कान, और पढ़ने के लिए एक मस्तिष्क। यह तीनों को मिलाकर एक स्मार्ट अनुमान लगाता है।
गेम B: वीडियो-टेक्स्ट रिट्रीवल (मैचिंग वाला खेल)
- लक्ष्य: वीडियो को उसके यूजर-रिटन टाइटल (या इसके विपरीत) के साथ मिलाना।
- ट्विस्ट: टाइटल अक्सर अस्पष्ट होते हैं। समुद्र तट के एक वीडियो का टाइटल "हैप्पी हॉलिडे" हो सकता है। कंप्यूटर को यह समझना होगा कि "हैप्पी हॉलिडे" सिमेंटिकली (अर्थपूर्ण रूप से) समुद्र तट के दृश्य से मेल खाता है, भले ही शब्द वीडियो में शाब्दिक रूप से मौजूद न हों।
- टूल: उन्होंने वीडियो-टेक्स्ट कॉन्ट्रास्टिव लर्निंग (VTCL) का उपयोग किया। इसे कंप्यूटर को सिखाने के रूप में सोचें कि "मैचिंग" जोड़ों (वीडियो + टाइटल) को उनके मानसिक स्थान में करीब लाना है और "मिसमैच" जोड़ों को दूर धकेलना है।
4. उन्होंने क्या पाया
- ज्यादा बेहतर है: इन शॉर्ट वीडियो के लिए, अधिक फ्रेम (समय) देखना कंप्यूटर को विषय को बेहतर ढंग से समझने में मदद करता है।
- पुराने मानचित्रों पर भरोसा न करें: पेशेवर फिल्मों (जैसे Kinetics) पर प्रशिक्षित मॉडल यहाँ अच्छा काम नहीं करते। "शॉर्ट-फॉर्म" शैली बहुत अलग है।
- तीन की शक्ति: सबसे महत्वपूर्ण निष्कर्ष यह है कि वीडियो, ऑडियो और टेक्स्ट को मिलाना सबसे अच्छा काम करता है।
- यदि आप केवल वीडियो देखते हैं, तो आप मुख्य बात मिस कर सकते हैं।
- यदि आप केवल सुनते हैं, तो आप विजुअल संदर्भ मिस कर सकते हैं।
- लेकिन जब आप इन तीनों को मिलाते हैं, तो कंप्यूटर को एक "होलिस्टिक" (समग्र) समझ मिलती है, ठीक वैसे ही जैसे एक इंसान TikTok देखते समय करता है।
सारांश
यह पेपर एक आधारभूत कदम है। यह कहता है, "केवल पॉलिश की हुई फिल्मों का अध्ययन करना बंद करें। यहाँ शॉर्ट, अव्यवस्थित वीडियो का एक विशाल, वास्तविक दुनिया का डेटासेट है। हमने इन पर AI का परीक्षण करने के दो नए तरीके परिभाषित किए हैं, और हमने दिखाया है कि इन वीडियो को वास्तव में समझने के लिए, AI को एक साथ पढ़ना, सुनना और देखना होगा।"
उन्होंने यह दावा नहीं किया कि यह तुरंत वीडियो सिफारिशों (recommendations) को ठीक कर देगा या बीमारियों का निदान करेगा; उन्होंने केवल आधारशिला (डेटासेट और बेसलाइन विधियाँ) रखी है ताकि अन्य शोधकर्ता इस विशिष्ट, अराजक और तेजी से बढ़ते शॉर्ट-फॉर्म वीडियो की दुनिया के लिए बेहतर उपकरण बनाना शुरू कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।