LAION-BVD: A 10-Million-Hour Open Video Dataset for Multimodal Pre-training
यह शोध पत्र LAION-BVD को प्रस्तुत करता है, जो 80 मिलियन वीडियो (10 मिलियन घंटे) वाला एक विशाल ओपन डेटासेट है जिसमें सिंथेटिक रूप से जनरेट किए गए कैप्शन शामिल हैं, जो वीडियो, ऑडियो और इमेज-टेक्स्ट कार्यों में अत्याधुनिक मल्टीमॉडल प्री-ट्रेनिंग को सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के आधुनिक युग में, कंप्यूटर नियमों को सीखकर नहीं, बल्कि उदाहरणों की विशाल मात्रा को आत्मसात करके दुनिया को देखना और सुनना सीख रहे हैं। वर्षों से, शोधकर्ताओं ने टेक्स्ट विवरणों के साथ जोड़ी गई तस्वीरों के विशाल पुस्तकालय बनाए हैं, जिससे मशीनों को यह समझने में मदद मिली है कि कुत्ते की फोटो के साथ अक्सर "डॉग" शब्द आता है। यह प्रक्रिया, जिसे मल्टीमॉडल लर्निंग (multimodal learning) कहा जाता है, कंप्यूटर को यह जोड़ने की अनुमति देती है कि वे क्या देखते हैं और क्या पढ़ते हैं, जो उन प्रणालियों का आधार बनता है जो छवियों का वर्णन कर सकती हैं, उनके बारे में प्रश्नों के उत्तर दे सकती हैं, या यहाँ तक कि टेक्स्ट से नई तस्वीरें भी बना सकती हैं। हालाँकि, जबकि स्थिर छवियों के ये पुस्तकालय अरबों प्रविष्टियों तक पहुँच चुके हैं, चलते-फिरते चित्रों (moving pictures) और ध्वनि के लिए समकक्ष संग्रह आश्चर्यजनक रूप से छोटे रहे हैं। वीडियो स्थिर फोटो की तुलना में कहीं अधिक जटिल होते हैं; उनमें गति, बदलते दृश्य और अक्सर एक साउंडट्रैक होता है जो दृश्यों के साथ मिलकर एक कहानी बताता है। चुनौती यह रही है कि इन शक्तिशाली प्रणालियों को प्रशिक्षित करने के लिए पर्याप्त वीडियो डेटा एकत्र करना बेहद कठिन है, क्योंकि वीडियो अक्सर वाणिज्यिक प्लेटफार्मों की दीवारों के पीछे बंद होते हैं और उन्हें प्रोसेस करने के लिए अत्यधिक कंप्यूटिंग शक्ति की आवश्यकता होती है।
शोधकर्ताओं की एक टीम ने अब LAION-BVD नामक अभूतपूर्व पैमाने के डेटासेट को जारी करके इस बाधा को तोड़ दिया है। यह संग्रह मुक्त विज्ञान (open science) में एक बड़ी छलांग का प्रतिनिधित्व करता है, जो 10 मिलियन घंटों के वीडियो का एक पुस्तकालय प्रदान करता है। इसे समझने के लिए, यदि कोई बिना रुके इस फुटेज के हर एक घंटे को देखना चाहे, तो इसे समाप्त करने में एक हजार साल से अधिक का समय लगेगा। इस डेटासेट को पहले सार्वजनिक वेब, विशेष रूप से यूट्यूब, विमियो और डेलीमोशन जैसे प्रमुख प्लेटफार्मों से वीडियो के 1.3 बिलियन लिंक एकत्र करके बनाया गया था। इस विशाल सूची से, शोधकर्ताओं ने सफलतापूर्वक 80 मिलियन विशिष्ट वीडियो डाउनलोड किए। इसके बाद उन्होंने इन लंबे वीडियो को दृश्य परिवर्तनों (scene changes) के आधार पर छोटे, सार्थक क्लिप्स में काटने के लिए स्वचालित उपकरणों का उपयोग किया, जिससे यह सुनिश्चित हुआ कि प्रत्येक खंड एक सुसंगत क्षण को कैप्चर करे, न कि असंबंधित शॉट्स का एक उलझा हुआ मिश्रण।
इस कार्य का वास्तविक नवाचार इस बात में निहित है कि शोधकर्ताओं ने कंप्यूटर को इन क्लिप्स को समझना कैसे सिखाया। चूंकि कोई भी इंसान संभवतः 10 मिलियन घंटों का वीडियो नहीं देख सकता और हर सेकंड के लिए विवरण नहीं लिख सकता, इसलिए टीम ने टेक्स्ट लेबल स्वचालित रूप से उत्पन्न करने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग किया। उन्होंने विशेष मॉडल को प्रशिक्षित किया जो वीडियो क्लिप्स को देखते हैं और क्रिया का वर्णन करने वाले छोटे, सिंथेटिक कैप्शन लिखते हैं, जबकि अलग-अलग मॉडलों ने ऑडियो ट्रैक को सुना ताकि संगीत से लेकर भाषण और परिवेशी शोर तक, ध्वनियों का वर्णन किया जा सके। उन्होंने वीडियो से व्यक्तिगत फ्रेम भी निकाले ताकि 300 मिलियन छवियों का एक विशाल संग्रह बनाया जा सके, जिनमें से प्रत्येक का अपना विवरण है। इस प्रक्रिया ने एक समृद्ध, बहु-स्तरीय डेटासेट बनाया जहाँ कंप्यूटर वीडियो को टेक्स्ट से, ऑडियो को टेक्स्ट से, और यहाँ तक कि एकल छवियों को भी टेक्स्ट से जोड़ने के बारे में सीख सकता है, और यह सब एक ही स्रोत सामग्री से प्राप्त किया गया है।
जब शोधकर्ताओं ने इस नए डेटा का परीक्षण करने के लिए कंप्यूटर मॉडल को प्रशिक्षित किया, तो परिणाम चौंकाने वाले थे। मॉडलों ने वीडियो और ऑडियो को उतनी ही अच्छी तरह से, और कुछ मामलों में मौजूदा, छोटे डेटासेट्स पर प्रशिक्षित मॉडलों से बेहतर तरीके से समझना सीखा। प्रदर्शन लगातार सुधरा क्योंकि शोधकर्ताओं ने मॉडलों को अधिक डेटा खिलाया और बड़े कंप्यूटर आर्किटेक्चर का उपयोग किया, जो यह सुझाव देता है कि यह विशाल पुस्तकालय मशीनों को सिखाने के लिए एक उच्च-गुणवत्ता वाला संसाधन है। वीडियो-प्रशिक्षित मॉडल मानवीय क्रियाओं को पहचानने में बेहतर हो गए, जैसे कि किसी को बास्केटबॉल खेलते हुए या एक विशिष्ट नृत्य करते हुए पहचानना, और वे टेक्स्ट विवरण दिए जाने पर सही वीडियो खोजने में अधिक कुशल हो गए। इसी तरह, ऑडियो-प्रशिक्षित मॉडलों ने बोले गए शब्दों या लिखित विवरणों को सही ध्वनियों से मिलाने की मजबूत क्षमता दिखाई, चाहे वह पक्षी की चहचहाहट हो या कार के इंजन के शुरू होने की आवाज़।
शायद आश्चर्यजनक रूप से, इन वीडियो से निकाली गई छवियों ने भी सीखने के एक शक्तिशाली नए स्रोत के रूप में काम किया। हालांकि इन वीडियो-व्युत्पन्न छवियों पर प्रशिक्षित मॉडल एक कठोर, पाठ्य-शैली (textbook style) में विशिष्ट वस्तुओं की पहचान करने में सर्वोत्कृष्ट नहीं थे, लेकिन वे एक अलग कार्य में उत्कृष्ट थे: दिए गए विवरण के लिए सही छवि खोजना। यह सुझाव देता है कि वीडियो में कैद दृश्य जगत मानक वेब छवियों की तुलना में एक अलग प्रकार की विविधता प्रदान करता है, जो कंप्यूटर को दुनिया को अधिक व्यापक रूप से समझने में मदद करने वाला एक अनूठा दृष्टिकोण प्रदान करता है। शोधकर्ताओं ने पाया कि उनके स्वचालित सिस्टम द्वारा उत्पन्न कैप्शन पर्याप्त सटीक थे, जिसमें अधिकांश क्लिप्स की सामग्री का सही ढंग से वर्णन किया गया था।
यह कार्य केवल एक नया डेटासेट प्रदान करने से कहीं अधिक है; यह प्रदर्शित करता है कि उन्नत वीडियो और ऑडियो एआई को प्रशिक्षित करने के लिए बाधा अब उपलब्ध डेटा की कमी नहीं है, बल्कि इसे प्रोसेस करने के लिए आवश्यक इंजीनियरिंग प्रयास है। यह दिखाकर कि वेब वीडियो के एक विशाल, खुले संग्रह का सफलतापूर्वक क्यूरेशन किया जा सकता है और इसे अत्याधुनिक मॉडलों को प्रशिक्षित करने के लिए उपयोग किया जा सकता है, शोधकर्ताओं ने आर्टिफिशियल इंटेलिजेंस की एक नई पीढ़ी के द्वार खोल दिए हैं। उन्होंने सिद्ध कर दिया है कि सही उपकरणों के साथ, ऑनलाइन वीडियो के विशाल, अराजक महासागर को एक संरचित, शैक्षिक संसाधन में बदला जा सकता है, जिससे मशीनें मानव अनुभव के पूर्ण स्पेक्ट्रम से सीख सकती हैं—न केवल स्थिर रूप में, बल्कि गति और ध्वनि के साथ भी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।