Escaping The Big Data Paradigm in Self-Supervised Representation Learning
यह शोधपत्र SCOTT प्रस्तुत करता है, जो एक स्पार्स कनवोल्यूशनल टोकेनाइज़र है जिसे MIM-JEPA प्रशिक्षण ढांचे के साथ संयोजित किया गया है, जो विजन ट्रांसफॉर्मर्स को छोटे पैमाने के, सूक्ष्म-स्तरीय डेटासेट्स पर शून्य से मजबूत स्व-पर्यवेक्षित (self-supervised) निरूपण सीखने में सक्षम बनाता है, जिससे प्रभावी विजन रिप्रेजेंटेशन लर्निंग के लिए बड़े डेटा और विशाल कम्प्यूटेशनल संसाधनों की आवश्यकता को चुनौती मिलती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बच्चे को अलग-अलग प्रकार के पक्षियों को पहचानना सिखाने की कोशिश कर रहे हैं।
पुराना तरीका (द "बिग डेटा" प्रतिमान):
पारंपरिक रूप से, कंप्यूटर (या बच्चे) को पक्षी पहचानने के लिए सिखाने हेतु, आपको दुनिया के हर पक्षी की लाखों तस्वीरें दिखानी होंगी, जो हर कोण से और हर मौसम की स्थिति में ली गई हों। आपको एक विशाल लाइब्रेरी और इसे प्रोसेस करने के लिए एक सुपर-कंप्यूटर की आवश्यकता होगी। यह "बिग डेटा" वाला दृष्टिकोण है। यह तब बहुत अच्छा काम करता है जब आपके पास असीमित संसाधन हों, लेकिन यदि आपके पास आपके स्थानीय पार्क में किसी दुर्लभ पक्षी की केवल कुछ ही तस्वीरें हैं, या यदि आप मेडिकल स्कैन में किसी विशिष्ट ट्यूमर की पहचान करने की कोशिश कर रहे हैं जहाँ आप AI को लाखों उदाहरण नहीं दिखा सकते, तो यह बुरी तरह विफल हो जाता है।
समस्या:
यह शोध पत्र तर्क देता है कि हम एक ऐसे जाल में फंसे हुए हैं जहाँ हम सोचते हैं कि हमें कुछ भी उपयोगी सीखने के लिए लाखों तस्वीरों की आवश्यकता है। लेकिन क्या होगा अगर हम एक छोटी सी फोटो एल्बम के साथ भी उतना ही अच्छा सीख सकें?
नया समाधान (SCOT + MIM-JEPA):
लेखक एक नया तरीका पेश करते हैं जिसे SCOTT (ट्रांसफॉर्मर्स के लिए स्पार्स कॉन्वोल्यूशनल टोकेनाइज़र) कहा जाता है, जिसे MIM-JEPA नामक एक लर्निंग स्ट्रैटेजी के साथ जोड़ा गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
1. SCOTT: द "स्मार्ट पज़ल बिल्डर"
मानक AI मॉडल (जिन्हें विजन ट्रांसफॉर्मर कहा जाता है) एक छवि को एक बड़े ग्रिड वाले वर्गाकार पहेली के टुकड़ों की तरह देखते हैं। वे छवि को छोटे-छोटे वर्गों में काट देते हैं और प्रत्येक वर्ग को एक स्वतंत्र तथ्य के रूप में मानते हैं।
- दोष: यदि आप पहेली के 60% हिस्से को ढक देते हैं (जैसा कि AI खुद को सिखाने के लिए करता है), तो मानक मॉडल भ्रमित हो जाता है। वह छवि के "प्रवाह" को खो देता है क्योंकि वर्ग एक-दूसरे से कटे हुए होते हैं।
- सुधार (SCOTT): कल्पना कीजिए कि छवि को कठोर वर्गों में काटने के बजाय, आप एक स्मार्ट, लचीला जाल (एक स्पार्स कॉन्वोल्यूशनल टोकेनाइज़र) का उपयोग करते हैं। यह जाल, जब कुछ हिस्से गायब हों तब भी, टुकड़ों के बीच के किनारों और कनेक्शनों को "देख" सकता है। यह एक पुल की तरह कार्य करता है, जो स्थानीय विवरणों (जैसे पंख की बनावट या पंखुड़ी) को जोड़े रखता है, भले ही छवि के कुछ हिस्से छिपे हुए हों। यह थोड़ा "कॉमन सेंस" (इंडक्टिव बायस) डालता है जो कठोर वर्ग-काटने वाले मॉडलों में नहीं होता।
2. MIM-JEPA: द "ब्लाइंडफोल्डेड आर्ट क्रिटिक" (आंखों पर पट्टी बांधे हुए कला समीक्षक)
अधिकांश AI लर्निंग में एक तस्वीर के गायब पिक्सेल का अनुमान लगाने की कोशिश की जाती है (जैसे कि कलरिंग बुक को भरना)।
- पुराना तरीका: AI गायब पिक्सेल के सटीक रंग का अनुमान लगाने की कोशिश करता है। यह एक छात्र से एक पेंटिंग में नीले रंग के सटीक शेड को याद रखने के लिए कहने जैसा है। यह बहुत अधिक विवरण है और इसमें मुख्य विचार छूट जाता है।
- नया तरीका (MIM-JEPA): यह तरीका एक ब्लाइंडफोल्डेड आर्ट क्रिटिक की तरह है।
- AI एक ऐसी तस्वीर देखता है जिस पर 60% हिस्सा आंखों पर पट्टी बंधी होने के कारण ढका हुआ है (मास्क्ड इमेज मॉडलिंग)।
- गायब पिक्सेल के सटीक रंग का अनुमान लगाने के बजाय, यह गायब हिस्से के अर्थ या अवधारणा (concept) का अनुमान लगाने की कोशिश करता है।
- यह पूछता है: "यदि मैं यहाँ एक पंख देख रहा हूँ, तो वहाँ किस तरह के शरीर के अंग के होने की संभावना है?"
- यह "एब्स्ट्रैक्ट स्पेस" (जैसे कि एक पक्षी के विचार को समझना) में सीखता है, न कि "पिक्सेल स्पेस" (जैसे कि नीले रंग के विशिष्ट शेड को समझना) में। यह AI को वस्तु के सार को सीखने के लिए मजबूर करता है, न कि केवल शोर (noise) को।
परिणाम: एक छोटी लाइब्रेरी से सीखना
लेखकों ने तीन छोटे डेटासेट्स पर इसका परीक्षण किया:
- फूल: 102 प्रकार के फूल, जिनमें से प्रत्येक की बहुत कम तस्वीरें हैं।
- पालतू जानवर: बिल्लियों और कुत्तों की 37 नस्लें।
- जानवर: 100 प्रकार के जानवर।
जादू:
भले ही उन्होंने केवल कुछ हज़ार छवियों का उपयोग किया (लाखों के बजाय) और एक अपेक्षाकृत छोटे कंप्यूटर का उपयोग किया, उनका मॉडल इन चीजों को पहचानने में बेहतर रहा, जितना कि पारंपरिक तरीकों का उपयोग करके शुरू से प्रशिक्षित किए गए मॉडल।
- उपमा: कल्पना कीजिए कि एक छात्र जिसने इतिहास के बारे में केवल 50 किताबें पढ़ी हैं, वह उस छात्र से बेहतर इतिहास समझने में सक्षम है जिसने 5,000 किताबें पढ़ी हैं लेकिन कहानियों को जोड़ना नहीं जानता था।
यह क्यों मायने रखता है?
यह उन क्षेत्रों के लिए गेम-चेंजर है जहाँ डेटा दुर्लभ या महंगा है:
- मेडिकल इमेजिंग: डॉक्टरों के पास दुर्लभ बीमारियों के लाखों एक्स-रे नहीं होते हैं। यह तरीका केवल कुछ दर्जनों उदाहरणों के साथ एक दुर्लभ ट्यूमर को पहचानने में सीख सकता है।
- रोबोटिक्स: कारखाने में एक रोबोट को यह सीखने के लिए कि टूटा हुआ हिस्सा कैसा दिखता है, लाखों टूटे हुए हिस्सों को देखने की आवश्यकता नहीं है; वह कुछ दर्जनों से सीख सकता है।
- एक्सेसिबिलिटी: आपको स्मार्ट AI बनाने के लिए सुपरकंप्यूटर या अरबों डॉलर के डेटासेट की आवश्यकता नहीं है। आप इसे एक मानक लैपटॉप और एक छोटे डेटासेट के साथ कर सकते हैं।
सारांश में:
यह शोध पत्र कहता है, "AI को लाखों छवियों का बुफे खिलाने की कोशिश करना बंद करें। इसके बजाय, उसे एक छोटा, उच्च-गुणवत्ता वाला भोजन दें, उसे भोजन के बीच के संबंधों को खोजना सिखाएं (SCOTT), और उसे केवल सामग्री को याद करने के बजाय स्वाद को समझने के लिए कहें (MIM-JEPA)।" यह AI को स्मार्ट बनने की अनुमति देता है, भले ही वह डेटा के लिए भूखा हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।