A Review on Discriminative Self-supervised Learning Methods in Computer Vision
यह शोध पत्र कंप्यूटर विज़न में डिस्क्रिमिनेटिव सेल्फ-सुपरवाइज्ड लर्निंग विधियों की एक व्यापक समीक्षा प्रदान करता है, जो उन्हें व्यवस्थित रूप से पांच प्रमुख दृष्टिकोणों में वर्गीकृत करता है, मानक बेंचमार्क पर उनकी कार्यप्रणाली और प्रदर्शन का विश्लेषण करता है, और उनके सैद्धांतिक आधारों, व्यावहारिक चुनौतियों और भविष्य के अनुसंधान दिशाओं पर चर्चा करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। पुराने दिनों में, आपको एक मानव शिक्षक के साथ बैठना पड़ता था और रोबोट को एक-एक करके हजारों तस्वीरें दिखानी पड़ती थीं, और कहना पड़ता था, "यह एक बिल्ली है," "यह एक कुत्ता है," "यह एक कार है।" इसे सुपरवाइज्ड लर्निंग (supervised learning) कहा जाता है। यह बहुत अच्छा काम करता है, लेकिन यह हर एक सबक के लिए एक ट्यूटर रखने जैसा है; इसमें बहुत समय लगता है, बहुत पैसा खर्च होता है, और आपके शिक्षक जल्दी खत्म हो जाते हैं।
अब, एक अलग दृष्टिकोण की कल्पना करें। क्या होगा यदि आप बस रोबोट के सामने दुनिया की अरबों तस्वीरें फेंक दें और कहें, "इसे खुद समझ लो"? यह सेल्फ-सुपरवाइज्ड लर्निंग (Self-Supervised Learning - SSL) की दुनिया है। एक मानव शिक्षक के बजाय, रोबोट अपने स्वयं के छोटे क्विज़, या "प्रि टेक्स्ट टास्क" (pretext tasks) बनाता है। उदाहरण के लिए, वह एक तस्वीर ले सकता है, उसे पहेली के टुकड़ों में काट सकता है, और फिर उन्हें वापस जोड़ने की कोशिश कर सकता है। या वह एक ब्लैक-एंड-व्हाइट फोटो ले सकता है और रंगों का अनुमान लगाने की कोशिश कर सकता है। इन पहेलियों को हल करके, रोबोट सीखता है कि बिल्ली कैसी दिखती है, बनावट (textures) कैसे काम करती है, और वस्तुएं स्थान में कैसे स्थित होती हैं, और वह यह सब बिना किसी के यह बताए कि "यह एक बिल्ली है," खुद ही सीख जाता है।
बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: हम यह कैसे सुनिश्चित करें कि रोबोट केवल अपने द्वारा बनाए गए पहेलियों का उपयोग करके दुनिया की सर्वोत्तम समझ विकसित कर सके? कुछ तरीके ऐसे हैं जहाँ रोबोट को वीडियो (जैसे कि एक फिल्म) में अगले फ्रेम का अनुमान लगाने के लिए कहा जाता है, जबकि अन्य तरीके ऐसे हैं जहाँ वह यह महसूस करने की कोशिश करते हैं कि एक ही कुत्ते की दो थोड़ी अलग तस्वीरें वास्तव में एक ही कुत्ता हैं। यह पेपर विशेष रूप से दूसरे समूह पर गहराई से उतरता है: वे तरीके जो डिस्क्रिमिनेशन (discrimination) पर ध्यान केंद्रित करते हैं—यानी, रोबweise को बिना किसी मानवीय लेबल के चीजों के बीच अंतर करना और समानताओं को पहचानना सिखाना।
द ग्रेट रोबोट स्कूल: मशीनें खुद को कैसे सिखाती हैं, एक समीक्षा
यह पेपर एक बहुत बड़े, मैत्रीपूर्ण टूर गाइड की तरह है जो एक बहुत ही भीड़भाड़ वाले स्कूल के माध्यम से ले जाता है जहाँ रोबोट दुनिया को देखना सीख रहे हैं। लेखक, निकोलाओस जियाकुमोग्लू, तानिया स्टैथाकी और अथानासियोस गेकेलियस ने 2017 और 2025 के बीच बिना लेबल वाली तस्वीरों से सीखने के 90 से अधिक तरीकों को देखा है। उन्होंने इन सभी तरीकों को पांच मुख्य "क्लबों" या श्रेणियों में वर्गीकृत किया है, जिनमें से प्रत्येक का अपना अनूठा तरीका है।
क्लब 1: द कॉन्ट्रास्टिव क्लब (द "ट्विन खोजो" गेम)
कल्पना कीजिए कि आपके पास ताश की एक गड्डी है। आप एक कार्ड चुनते हैं (जिसे "एंकर" कहा जाता है), फिर आप उसकी एक तस्वीर लेते हैं और उसमें थोड़ा बदलाव करते हैं—शायद आप उसे घुमा देते हैं या उसके रंग बदल देते हैं (यह "पॉजिटिव" जोड़ी है)। फिर, आप गड्डी से अन्य यादृच्छिक (random) कार्ड उठाते हैं (ये "नेगेटिव्स" हैं)। कॉन्ट्रास्टिव मेथड्स (Contrastive Methods) का लक्ष्य रोबोट को यह सिखाना है: "हे, ये दो कार्ड जुड़वां हैं! इन्हें अपने दिमाग में एक जैसा बना लो। लेकिन सुनिश्चित करो कि ये उन अन्य सभी रैंडम कार्डों से बिल्कुल अलग दिखें।"
यह पेपर यहाँ दो बड़े सितारों पर प्रकाश डालता है: SimCLR और MoCo। SimCLR एक सरल, ईमानदार शिक्षक की तरह है जो कहता है, "बस एक ही छवि के इन दो दृश्यों को देखो और उन्हें मेल कराओ।" MoCo थोड़ा अधिक व्यवस्थित है; यह नकारात्मक कार्डों का एक विशाल "मेमोरी बैंक" रखता है ताकि रोबोट वर्तमान छवि की तुलना हजारों अन्य कार्डों से कर सके, भले ही रोबोट की मेमोरी (कंप्यूटर का RAM) छोटी हो। पेपर सुझाव देता है कि हालांकि ये तरीके शक्तिशाली हैं, लेकिन कभी-कभी उन्हें संघर्ष करना पड़ता है यदि रोबोट अंतरों को अनदेखा करने में बहुत कुशल हो जाता है, या यदि उसके पास तुलना करने के लिए "नेगेटिव" कार्ड खत्म हो जाते हैं।
क्लब 2: द क्लस्टरिंग क्लब (द "समानों को समूह में बांटो" गेम)
एक कार्ड की दूसरे से तुलना करने के बजाय, क्लस्टरिंग मेथड्स (Clustering Methods) एक पार्टी होस्ट की तरह काम करते हैं। वे सभी तस्वीरों को देखते हैं और कहते हैं, "तुम, तुम और तुम, तुम सब बिल्लियों जैसे दिखते हो। चलो तुम्हें 'बिल्ली' समूह में रखते हैं। तुम, तुम और तुम, तुम कारों जैसे दिखते हो। चलो तुम्हें 'कार' समूह में रखते हैं।" रोबोट अभी तक "बिल्ली" या "कार" नाम नहीं जानता है; वह बस यह सीखता है कि कुछ तस्वीरें एक साथ क्यों आती हैं।
इस क्लब का एक प्रसिद्ध सदस्य SwAV है। यह चतुर है क्योंकि यह चीजों को समूह में बांटने के लिए अंत तक प्रतीक्षा नहीं करता है; यह सीखते समय ही इसे ऑन-द-फ्लाई करता है। पेपर नोट करता है कि यह दृष्टिकोण बहुत अच्छा है क्योंकि इसे काम करने के लिए बड़े पैमाने पर "नेगेटिव" उदाहरणों की आवश्यकता नहीं होती है, जिससे यह कुशल बनता है। हालाँकि, लेखक बताते हैं कि यदि पार्टी होस्ट भ्रमित हो जाता है और एक कुत्ते को बिल्ली के समूह में रख देता है, तो रोबोट गलत सबक सीख लेता है।
क्लब 3: द सेल्फ-डिस्टिलेशन क्लब (द "कॉपीकैट" गेम)
यहाँ चीजें थोड़ी अजीब और अद्भुत हो जाती हैं। सेल्फ-डिस्टिलेशन (Self-Distillation) में, रोबोट के पास दो दिमाग होते हैं: एक "टीचर" और एक "स्टूडेंट"। टीचर एक तस्वीर देखता है और एक उत्तर देता है। स्टूडेंट उसी तस्वीर के थोड़े अलग संस्करण को देखता है और अनुमान लगाने की कोशिश करता है कि टीचर ने क्या कहा था। पेच यह है कि टीचर स्टूडेंट की ही कुछ सेकंड पहले की एक धीमी गति वाली कॉपी है।
BYOL और DINO यहाँ सुपरस्टार हैं। पेपर बताता है कि BYOL अद्भुत है क्योंकि इसे किसी भी "नेगेटिव" कार्ड की आवश्यकता नहीं है! यह बस स्टूडेंट को कहता है, "अनुमान लगाओ कि टीचर क्या देख रहा है।" रोबोट को धोखाधड़ी करने से रोकने के लिए (जैसे कि हर तस्वीर के लिए "बिल्ली" कहकर), वे "स्टॉप-ग्रेडिएंट" नामक एक विशेष ट्रिक का उपयोग करते हैं जो टीचर को स्टूडेंट की गलतियों की नकल करने से रोकता है। पेपर सुझाव देता है कि यह तरीका बहुत मजबूत है और यह अटेंशन मैप्स को देखकर वस्तुओं को सेगमेंट (पृष्ठभूमि से अलग करना) करने में भी मदद कर सकता है, जो कि एक शानदार "इमर्जेंट" गुण है।
क्लब 4: द नॉलेज डिस्टिलेशन क्लब (द "बड़े भाई" गेम)
यह सेल्फ-डिस्टिलेशन क्लब के समान है, लेकिन एक ट्विस्ट के साथ। यहाँ, "टीचर" एक पूरी तरह से अलग, पहले से प्रशिक्षित रोबोट है (शायद एक जो इंसानों द्वारा एक विशाल डेटासेट पर प्रशिक्षित किया गया है)। "स्टूडेंट" एक छोटा, सस्ता रोबलेट है जो बड़े भाई से सीखने की कोशिश कर रहा है। पेपर SEED और DisCo जैसे तरीकों का वर्णन करता है, जहाँ छोटा रोबोट बड़े वाले की समझ की नकल करने की कोशिश करता है। यह बहुत उपयोगी है यदि आप एक फोन पर एक स्मार्ट रोबोट रखना चाहते हैं जिसमें बहुत अधिक शक्ति नहीं है। बड़ा रोबोट भारी काम करता है, और छोटा वाला शॉर्टकट सीखता है।
क्लब 5: द फीचर डिकोरिलेशन क्लब (द "दोहराव न करें" गेम)
कभी-कभी, एक रोबोट बहुत अधिक कुशल होने के लिए सीख जाता है। वह सीख सकता है कि "मूंछें" और "नुकीले कान" हमेशा साथ चलते हैं, इसलिए वह केवल "मूंछें" सीखता है और "कानों" को अनदेखा कर देता है। यह बुरा है क्योंकि यदि वह बिना मूंछों वाली बिल्ली देखता है, तो वह भ्रमित हो जाता है। फीचर डिकोरिलेशन (Feature Decorrelation) तरीके, जैसे कि Barlow Twins, रोबोट को यह सुनिश्चित करने के लिए मजबूर करते हैं कि उसका हर हिस्सा कुछ अलग सीख रहा है। वे एक गणितीय ट्रिक का उपयोग करते हैं यह कहने के लिए कि, "यदि आपके दिमाग का एक हिस्सा रंग के बारे में बात कर रहा है, तो दूसरे हिस्से को भी रंग के बारे में बात नहीं करनी चाहिए।" पेपर सुझाव देता है कि यह रोबोट के दिमाग को विविध और किसी भी चीज़ के लिए तैयार रखता है।
बड़ी तस्वीर: उन्होंने क्या पाया?
लेखकों ने केवल इन तरीकों को सूचीबद्ध नहीं किया है; उन्होंने उन सभी का कड़ा परीक्षण किया है। उन्होंने उनका परीक्षण ImageNet (दृष्टि परीक्षण के लिए उपयोग की जाने वाली 1.2 मिलियन लेबल वाली छवियों की एक विशाल लाइब्रेरी) जैसे मानक बेंचमार्क और चित्र में वस्तुओं को खोजने (डिटेक्शन) या उन्हें काटने (सेगमेंटेशन) जैसे कार्यों पर किया।
यहाँ पेपर क्या सुझाव देता है:
- मुकाबला बहुत कड़ा है: पिछले कुछ वर्षों में, ये खुद से सीखने वाले रोबोट इतने अच्छे हो गए हैं कि वे अब मानक परीक्षणों पर इंसानों द्वारा प्रशिक्षित रोबरों को भी पीछे छोड़ रहे हैं। कुछ तरीके तो ImageNet पर 76.5% सटीकता के सुपरवाइज्ड बेसलाइन को भी पार कर गए हैं।
- कोई एक आकार सबके लिए फिट नहीं है: कोई एक "सर्वश्रेष्ठ" तरीका नहीं है। यदि आप छवियों को वर्गीकृत करना चाहते हैं, तो DINO या MoCo-v2 आपके लिए सबसे अच्छा हो सकता है। लेकिन यदि आप एक अव्यवस्थ दृश्य (जैसे कि एक सेल्फ-ड्राइविंग कार) में विशिष्ट वस्तुओं को खोजना चाहते हैं, तो SoCo या InsCon (जो ऑब्जेक्ट-लेवल विवरणों पर ध्यान केंद्रित करते हैं) जैसे तरीके दौड़ जीत रहे हैं।
- आर्किटेक्चर मायने रखता है: पेपर एक साधारण "ResNet" (एक प्रकार का न्यूरल नेटवर्क) से विज़न ट्रांसफॉर्मर (ViTs) का उपयोग करने की ओर बदलाव को ट्रैक करता है। यह सुझाव देता है कि जबकि ViTs शक्तिशाली हैं, उन्हें बिना लेबल के अच्छी तरह से सीखने के लिए विशेष बदलावों की आवश्यकता होती है।
- समझौते (Trade-offs): लेखक चेतावनी देते हैं कि एक चीज़ में रोबोट को अच्छा बनाने से वह दूसरी चीज़ में खराब हो सकता है। उदाहरण के लिए, एक विधि जिसे छोटी वस्तुओं को खोजने के लिए अनुकूलित किया गया है, वह पूरी तस्वीर को पहचानने की अपनी क्षमता खो सकती है। इसके अलावा, इनमें से कई तरीकों को ठीक से काम करने के लिए बहुत बड़े कंप्यूटर (बड़े बैच साइज) की आवश्यकता होती है, जो उन्हें छोटे लैब के लिए उपयोग करना कठिन बनाता है।
भविष्य: आगे क्या है?
पेपर निष्कर्ष निकालता है कि हालांकि हम बहुत आगे आ गए हैं, फिर भी कुछ बाधाएं हैं। रोबोट हमें दी गई पहेलियों को हल करने में बहुत अच्छे हैं, लेकिन वे कभी-कभी संघर्ष करते हैं जब दुनिया अव्यवस्थित या बदलती है (जैसे कि अलग रोशनी में एक बिल्ली)। लेखक सुझाव देते हैं कि भविष्य के शोध को इन पर ध्यान केंद्रित करना चाहिए:
- इन तरीकों को छोटे, सस्ते कंप्यूटरों पर काम करने के योग्य बनाना ताकि अधिक लोग इनका उपयोग कर सकें।
- यह परीक्षण करने के बेहतर तरीके बनाना कि क्या रोबोट वास्तव में स्मार्ट हैं या केवल टेस्ट को रट रहे हैं।
- विशेष रूप से नए "ट्रांसफॉर्मर" शैली के AI के लिए बेहतर तरीके डिजाइन करना, न कि केवल पुराने तरीकों को नए आकार पर थोपना।
संक्षेप में, यह पेपर एक तेजी से बढ़ते शहर का मानचित्र है। यह हमें दिखाता है कि रोबोट अपनी मर्जी से दुनिया को देखना सीख रहे हैं, और वे इसमें डरावने स्तर तक कुशल होते जा रहे हैं। लेकिन किसी भी छात्र की तरह, उन्हें वास्तव में बुद्धिमान बनने के लिए सही शिक्षकों, सही परीक्षणों और थोड़े से मार्गदर्शन की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।