Fake & Square: Training Self-Supervised Vision Transformers with Synthetic Data and Synthetic Hard Negatives
यह शोधपत्र Syn2Co को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो नमूना विविधता के लिए सिंथेटिक डेटा और चुनौतीपूर्ण कंट्रास्ट के लिए सिंथेटिक हार्ड नेगेटिव्स का लाभ उठाकर विजन ट्रांसफॉर्मर्स के लिए सेल्फ-सुपरवाइज्ड लर्निंग को बढ़ाता है, जिससे विशाल वास्तविक दुनिया के डेटासेट पर निर्भरता कम करने के लिए "नकली बनाने" (faking it) की क्षमता और सीमाओं का पता लगाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
बिना शिक्षक के सीखने की कला
कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। पुराने दिनों में, आपको एक इंसान की आवश्यकता होती जो हजारों तस्वीरों को देखता, बिल्ली की ओर इशारा करता और कहता, "यह एक बिल्ली है।" इसे "सुपरवाइज्ड लर्निंग" (supervised learning) कहा जाता है, और यह बहुत अच्छा काम करता है, लेकिन यह धीमा, महंगा है और इसमें बहुत अधिक मानवीय देखरेख की आवश्यकता होती है। इससे बचने के लिए, वैज्ञानिकों ने "सेल्फ-सुपरवाइज्ड लर्निंग" (self-supervised learning) का आविष्कार किया। इसे ऐसे समझें जैसे आप रोबोट को तस्वीरों का एक ढेर दे रहे हैं और कह रहे हैं, "खुद पता लगाओ कि इन तस्वीरों में क्या समानता या भिन्नता है।" रोबोट तस्वीरों की तुलना करके सीखता है, यह पहचानने की कोशिश करता है कि एक ही कुत्ते की दो तस्वीरें "दोस्त" (पॉजिटिव्स) हैं, जबकि एक कुत्ते की फोटो और एक टोस्टर की फोटो "अजनबी" (नेगेटिव्स) हैं।
हालाँकि, इसमें एक पेंच है। इसमें वास्तव में कुशल होने के लिए, रोबोट को वास्तविक दुनिया की तस्वीरों के एक विशाल पुस्तकालय की आवश्यकता होती है, और उसे "हार्ड नेगेटिव्स" (hard negatives) के साथ चुनौती दी जानी चाहिए—यानी वे कठिन तुलनाएँ जो लगभग एक जैसी हैं लेकिन थोड़ी अलग हैं, जैसे कि गोल्डन रिट्रीवर बनाम लैब्राडोर। यदि रोबोट केवल आसान उदाहरण देखता है, तो वह आलसी हो जाता है और सूक्ष्म विवरणों को नहीं सीख पाता। लेकिन क्या होगा यदि हमारे पास पर्याप्त वास्तविक तस्वीरें न हों, या उन कठिन उदाहरणों को खोजना बहुत मुश्किल हो? यहीं पर "नकली बनाने" (faking it) का विचार काम आता है। क्या होगा यदि हम रोबोट को सीखने में मदद करने के लिए कंप्यूटर का उपयोग करके नकली तस्वीरें या नकली कठिन उदाहरण बना सकें? यह कंप्यूटर विजन का खेल का मैदान है, एक ऐसा क्षेत्र जहाँ मशीनें दुनिया को देखने और समझने की कोशिश करती हैं, और यह वही मंच है जहाँ हम अपनी कहानी बताने जा रहे हैं।
फेक इट टिल यू मेक इट: AI आँखों को प्रशिक्षित करने का एक नया तरीका
"Fake & Square: Training Self-Supervised Vision Transformers with Synthetic Data and Synthetic Hard Negatives" नामक एक शोध पत्र में, इंपीरियल कॉलेज लंदन के शोधकर्ताओं की एक टीम ने एक साहसिक विचार का परीक्षण करने का निर्णय लिया: क्या हम AI को "असली" चीजों के बजाय "नकली" चीजों का उपयोग करके भी उतनी ही अच्छी तरह से देख सकते हैं? उनका दृष्टिकोण पुरानी कहावत, "फेक इट टिल यू मेक इट" (जब तक सफल न हो, तब तक दिखावा करो) से प्रेरित है। वास्तविक दुनिया के डेटा का इंतजार करने के बजाय, उन्होंने अपने स्वयं के प्रशिक्षण सामग्री को सिंथेसाइज (या निर्मित) करने का निर्णय लिया ताकि देखा जा सके कि क्या यह काम करेगा।
शोधकर्ताओं ने दो विशिष्ट तरीकों पर ध्यान केंद्रित किया। पहला, उन्होंने सिंथेटिक डेटा (Synthetic Data) पर ध्यान दिया। कल्पना कीजिए कि आपके पास 100 अलग-अलग जानवरों का एक फोटो एल्बम है। वास्तविक जानवरों की अधिक तस्वीरें लेने के बजाय, उन्होंने उन समान जानवरों की 1,30,000 नई, नकली तस्वीरें पेंट करने के लिए "डिफ्यूजन मॉडल" (diffusion model) नामक एक विशेष कंप्यूटर प्रोग्राम का उपयोग किया। ये केवल धुंधली प्रतियां नहीं हैं; ये बिल्कुल नई छवियां हैं जो असली जैसी दिखती हैं। वे यह देखना चाहते थे कि क्या एक AI केवल इस नकली एल्बम का अध्ययन करके जानवरों को पहचानना सीख सकता है, या क्या उसे असली और नकली के मिश्रण की आवश्यकता है।
दूसरा, उन्होंने हार्ड नेगेटिव्स (Hard Negatives) की समस्या को हल किया। रोबोट के सीखने के खेल में, एक "हार्ड नेगेटिव" एक कठिन तुलना है, जैसे रोबolo को नीले रंग के दो बहुत मिलते-जुलते शेड्स के बीच अंतर बताने के लिए कहना। आमतौर पर, वास्तविक जीवन में इन कठिन जोड़ों को खोजना कठिन होता है। इसलिए, शोधकर्ताओं ने रोबोट के मस्तिष्क के भीतर (उस गणितीय स्थान में जहाँ AI अपनी जानकारी संग्रहीत करता है) इन कठिन तुलनाओं को "फर्जी" बनाने का एक तरीका निकाला। उन्होंने AI की वर्तमान समझ को लिया और गणितीय रूप से उन्हें मिश्रित किया ताकि नए, अत्यधिक चुनौतीपूर्ण उदाहरण बनाए जा सकें जिन्हें रोबोट को समझना था। उन्होंने इस संयुक्त पद्धति को Syn2Co नाम दिया।
उन्होंने क्या पाया
टीम ने उनके "नकली" तरीकों का परीक्षण दो लोकप्रिय AI मस्तिष्क डिजाइनों पर किया: DeiT-S और Swin-T। उन्होंने ImageNet-100 पर प्रयोग किए, जिसमें छवियों की 100 श्रेणियां शामिल हैं।
यहाँ आंकड़े हमें क्या बताते हैं:
- मिश्रण मायने रखता है: जब उन्होंने केवल नकली छवियों का उपयोग करके AI को प्रशिक्षित किया, तो इसने आश्चर्यजनक रूप से अच्छा प्रदर्शन किया, लेकिन यह पूर्ण नहीं था। हालाँकि, जब उन्होंने नकली छवियों को असली छवियों के साथ मिलाया, तो AI और भी बेहतर हो गया। परिणाम बताते हैं कि सिंथेटिक छवियां एक शक्तिशाली पूरक की तरह हैं; वे सीखने को बढ़ावा देती हैं, लेकिन वे अभी तक वास्तविक दुनिया के डेटा की आवश्यकता को पूरी तरह से प्रतिस्थापित नहीं कर सकती हैं।
- अलग मस्तिष्क, अलग ज़रूरतें: दो AI मॉडल "नकली बनाने" की प्रक्रिया के प्रति अलग-अलग प्रतिक्रिया देते हैं। DeiT-S मॉडल को नकली छवियों और नकली कठिन तुलनाओं का संयोजन बहुत पसंद आया, जिसने 300 इपोक (सीखने के चक्र) के लिए प्रशिक्षण के दौरान 82.12% सटीकता का शीर्ष स्कोर प्राप्त किया। दूसरी ओर, Swin-T मॉडल नकली छवियों की तुलना में नकली कठिन तुलनाओं (सिंथेटिक नेगेटिव्स) को अधिक प्राथमिकता देता प्रतीत हुआ।
- "कठिन" सबक: शोधकर्ताओं ने पाया कि इन सिंथेटिक हार्ड नेगेटिव्स को जोड़ने से AI को अधिक स्पष्ट, विस्तृत विशेषताएं सीखने में मदद मिली। उदाहरण के लिए, एक परीक्षण में, उन्होंने इन हार्ड नेगेटिव्स के प्रतिशत को 0% से 40% तक बदला। जैसे-जैसे उन्होंने इन चुनौतीपूर्ण उदाहरणों को जोड़ा, AI का प्रदर्शन आम तौर पर सुधरा, जिससे पता चला कि "नकली" संघर्ष वास्तव में AI को मजबूत बनाने में मदद कर रहे थे।
निष्कर्ष
यह शोध पत्र यह दावा नहीं करता कि नकली डेटा एक जादुई छड़ी है जो सब कुछ हल कर देती है। इसके बजाय, यह सुझाव देता है कि सिंथेटिक डेटा एक आशाजनक उपकरण है। लेखकों ने पाया कि हालांकि आप अपनी सभी वास्तविक तस्वीरों को फेंक नहीं सकते और 100% कंप्यूटर द्वारा उत्पन्न छवियों पर निर्भर नहीं रह सकते, लेकिन अपने वास्तविक डेटा को ऑगमेंट (बढ़ाने) के लिए सिंथेटिक डेटा का उपयोग करना बहुत अच्छा काम करता है। यह AI को तेजी से सीखने और अधिक मजबूत बनने में मदद करता है, खासकर जब वास्तविक डेटा प्राप्त करना कठिन हो या जब आपको AI की सीमाओं का परीक्षण करने के लिए अधिक चुनौतीपूर्ण उदाहरणों की आवश्यकता हो।
संक्षेप में, शोधकर्ताओं ने दिखाया कि आप वास्तव में एक निश्चित सीमा तक "फेक इट" (दिखावा) कर सकते हैं। सिंथेटिक छवियां और सिंथेटिक चुनौतियां उत्पन्न करके, उन्होंने एक ऐसा प्रशिक्षण वातावरण बनाया जिसने AI मॉडल को बेहतर ढंग से सीखने में मदद की, यह साबित करते हुए कि कभी-कभी, थोड़ा सा कृत्रिम सहयोग सीखने की प्रक्रिया को बहुत वास्तविक बना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।