Cluster Contrast for Unsupervised Visual Representation Learning

कल्पना कीजिए कि आप एक रोबोट को जानवरों को पहचानना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास तस्वीरों का एक पहाड़ है और कोई लेबल नहीं है। आप रोबोट को यह नहीं बता सकते कि "यह एक बिल्ली है" या "यह एक कुत्ता है।" यह अनसुपरवाइज्ड लर्निंग (unsupervised learning) की दुनिया है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ कंप्यूटर बिना किसी शिक्षक के, जो चीजों की ओर इशारा करे, दुनिया के पैटर्न को अपने आप सीखने की कोशिश करता है। इसे करने के लिए, शोधकर्ता दो मुख्य तरकीबों का उपयोग करते हैं। पहली तरकीब है कॉन्ट्रास्टिव लर्निंग (contrastive learning), जो एक बच्चे को अंतर पहचानने सिखाने जैसा है: "यह तस्वीर वह तस्वीर नहीं है।" यह कंप्यूटर को मजबूर करता है कि वह अलग-अलग चीजों को अपने दिमाग में एक-दूसरे से दूर धकेले ताकि वे आपस में न मिल जाएं। दूसरी तरकीब है क्लस्टरिंग (clustering), जो कपड़ों के ढेर को छाँटने जैसा है। कंप्यूटर सभी मोजों और शर्टों को देखता है और समान दिखने वाली चीजों को एक साथ समूह में रखने की कोशिश करता है, भले ही उसे अभी यह न पता हो कि उन्हें क्या कहा जाता है। लंबे समय तक, ये दोनों तरकीबें अलग-अलग कमरों में काम करती थीं, लेकिन वैज्ञानिकों ने सोचा: क्या होगा यदि हम उन्हें एक ही कमरे में मिलकर काम करने के लिए ला सकें ताकि छवियों की एक सुपर-स्मार्ट समझ बनाई जा सके?

यहाँ क्यूको (CueCo - Cluster Contrast) आता है, जो इंपीरियल कॉलेज लंदन के शोधकर्ताओं निकोलाओस जियाकुमोग्लू और तानिया स्टाथाकी द्वारा प्रस्तावित एक नई विधि है। क्यूको को एक भीड़ भरे डांस फ्लोर के मास्टर कोरियोग्राफर के रूप में सोचें। अतीत में, डांस इंस्ट्रक्टर्स (एल्गोरिदम) या तो सबको जितना हो सके दूर फैलने के लिए कहते थे (कॉन्ट्रास्टिव लर्निंग) या सबको घने समूहों में सिमटने के लिए कहते थे (क्लस्टरिंग)। क्यूको यह दोनों काम एक साथ करता है। यह एक "पुश-पुल" (धकेलने और खींचने) वाले डायनेमिक का उपयोग करता है, जो बिल्कुल चुंबकों की तरह है। यह अलग-अलग प्रकार के डांसर्स (जैसे बिल्लियां और कुत्ते) को आपस में टकराने से बचने के लिए एक-दूसरे से दूर धकेलता है, जबकि साथ ही साथ एक ही प्रकार के डांसर्स (सभी बिल्लियों) को एक तंग, आरामदायक घेरे में खींच लेता है।

शोधकर्ताओं ने दो न्यूरल नेटवर्क के साथ एक सिस्टम बनाया: एक "क्वेरी" (query) नेटवर्क जो सीखता है और एक "की" (key) नेटवर्क जो धीरे-धीरे चलता है, जैसे सीखने वाले के पीछे चलने वाली एक परछाई। उन्होंने इसका परीक्षण तीन प्रसिद्ध इमेज डेटासेट्स पर किया: CIFAR-10, CIFAR-100, और ImageNet-100। परिणाम प्रभावशाली थे। जब उन्होंने लर्निंग को रोक दिया और केवल एक साधारण क्लासिफायर से छवियों को छाँटने के लिए कहा, तो क्यूको ने CIFAR-10 पर 91.40% सटीकता, CIFAR-100 पर 68.56%, और ImageNet-100 पर 78.65% सटीकता प्राप्त की। ये आंकड़े इसे वर्तमान में उपलब्ध सर्वश्रेष्ठ तरीकों के बराबर खड़ा करते हैं, जो यह साबित करता है कि कॉन्ट्रास्ट के "धक्के" (push) और क्लस्टरिंग के "खिंचाव" (pull) को मिलाने से दृश्य दुनिया का एक अधिक व्यवस्थित और उपयोगी मानचित्र बनता है।

धक्के और खिंचाव का जादू

यह समझने के लिए कि क्यूको कैसे काम करता है, कल्पना करें कि आप एक विशाल पुस्तकालय को व्यवस्थित कर रहे हैं जहाँ सभी किताबें मिली हुई हैं और आप उनके शीर्षक नहीं जानते। आपके पास दो लक्ष्य हैं: यह सुनिश्चित करना कि कोई भी दो अलग किताबें एक जैसी न दिखें, और यह सुनिश्चित करना कि एक ही किताब की सभी प्रतियां एक साथ करीने से रखी हों।

धक्का (कॉन्ट्रास्टिव लर्निंग)
सबसे पहले, क्यूको एक तस्वीर लेता है और उसके दो थोड़े अलग संस्करण बनाता है, जैसे कि एक बिल्ली की फोटो लेना, फिर उसे क्रॉप करना और थोड़ा घुमा देना। यह कंप्यूटर को बताता है, "ये दो दृश्य एक ही बिल्ली के हैं।" लेकिन यह कुत्तों की तस्वीरों को देखकर भी कहता है, "ये बिल्कुल अलग हैं।" InfoNCE लॉस नामक एक गणितीय नियम का उपयोग करते हुए, सिस्टम एक प्रतिकर्षण बल (repulsive force) की तरह कार्य करता है। यह कंप्यूटर की मेमोरी स्पेस में "बिल्ली" के फीचर्स को "कुत्ते" के फीचर्स से दूर धकेलता है। यह सुनिश्चित करता है कि यदि आप दोबारा बिल्ली देखते हैं, तो कंप्यूटर गलती से उसे कुत्ता न समझ ले। यह विभिन्न वर्गों को फैला देता है, जिससे वे स्पष्ट रूप से अलग दिखाई देते हैं।

खिंचाव (क्लस्टरिंग)
लेकिन चीजों को फैलाना ही काफी नहीं है; आपको समान चीजों को समूह में भी लाना होगा। यहीं से "खिंचाव" आता है। चूंकि कंप्यूटर के पास वास्तविक लेबल नहीं हैं, इसलिए वह पैटर्न देखकर अनुमान लगाता है कि कौन सी तस्वीरें एक साथ आती हैं। यह "क्लस्टर" या समूह बनाता है। क्यूको फिर एक आकर्षक बल (attractive force) की तरह कार्य करता है, जो एक ही प्रकार की सभी तस्वीरों को एक तंग गेंद की तरह करीब खींच लेता है। यह इसके लिए दो विशिष्ट उपकरणों का उपयोग करता है:

1. सेंट्रॉइड कॉन्ट्रास्टिव लॉस (Centroid Contrastive Loss): यह सुनिश्चित करता है कि प्रत्येक तस्वीर अपने समूह के "गुरुत्वाकर्षण केंद्र" के साथ संरेखित हो। यह ऐसा है जैसे यह सुनिश्चित करना कि हर बिल्ली की फोटो अपने काल्पनिक "कैट सेंटर" के ठीक बगल में खड़ी हो।
2. वैरिएंस लॉस (Variance Loss): यह सुनिश्चित करता है कि समूह केवल एक ढीला बादल नहीं, बल्कि एक तंग, सघन गेंद हो। यह तस्वीरों और उनके समूह केंद्र के बीच की दूरी को कम करता है, जिससे यह सुनिश्चित होता है कि "बिल्लियां" बिखरी हुई नहीं, बल्कि एक-दूसरे के बहुत करीब हैं।

डांस फ्लोर डायनेमिक्स
पेपर इसे भौतिकी के बलों के रूप में विज़ुअलाइज़ करता है। कॉन्ट्रास्टिव हिस्सा एक प्रतिकर्षण बल (repulsive force) है (जैसे दो उत्तर ध्रुव जो एक दूसरे को धकेलते हैं), जो सुनिश्चित करता है कि अलग-अलग वर्ग आपस में न मिलें। क्लस्टरिंग वाला हिस्सा एक आकर्षण बल (attractive force) है (जैसे विपरीत ध्रुव जो एक दूसरे को खींचते हैं), जो सुनिश्चित करता है कि एक ही वर्ग सघन बना रहे। लक्ष्य एक आदर्श संतुलन तक पहुँचना है जहाँ "बिल्ली" का समूह "कुत्ते" के समूह से दूर हो, लेकिन हर एक बिल्ली दूसरी बिल्ली का हाथ थामे हुए हो।

उन्होंने यह कैसे किया

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने एक विशिष्ट फ्रेमवर्क बनाया। उन्होंने इमेज रिकग्निशन के लिए एक मानक, विश्वसनीय संरचना, ResNet-18 बैकबोन का उपयोग किया। उन्होंने इसे तीन डेटासेट्स पर प्रशिक्षित किया:

• CIFAR-10: 10 प्रकार की छोटी छवियां।
• CIFAR-100: 100 प्रकार की छोटी छवियां।
• ImageNet-100: एक बहुत बड़े, अधिक जटिल डेटासेट का एक उपसमुच्चय (subset)।

उन्होंने मोमेंटम एनकोडर (momentum encoder) नामक एक चतुर तकनीक का उपयोग किया। कल्पना करें कि "क्वेरी" नेटवर्क एक छात्र है जो तेजी से सीख रहा है, और "की" नेटवर्क एक शिक्षक है जो धीरे-धीरे अपडेट होता है। शिक्षक केवल छात्र का एक सुचारू, धीमा औसत है। यह सिस्टम को अचानक होने वाले बदलावों से भ्रमित होने से रोकता है और यह बनाए रखने में मदद करता है कि "समूह" (clusters) समय के साथ स्थिर रहें।

यह सुनिश्चित करने के लिए कि समूह किसी बुरे पैटर्न में न फंस जाएं (जैसे कि सभी तस्वीरों को एक विशाल ढेर में डाल देना), उन्होंने समूहों के केंद्रों की गणना करने के लिए छवियों की एक "कतार" (queue) का उपयोग किया। उन्होंने चीजों को ताज़ा और संतुलित रखने के लिए हर 1,000 स्टेप्स के बाद इन समूहों को रीसेट भी किया।

परिणाम: क्या यह काम करता है?

टीम ने यह देखने के लिए अपने तरीके का परीक्षण किया कि कंप्यूटर बिना किसी मदद के छवियों को कितनी अच्छी तरह छाँट सकता है। उन्होंने इसकी तुलना MoCo-v2, SimCLR, और BYOL जैसे अन्य शीर्ष तरीकों से की।

• CIFAR-10 पर, क्यूको ने 91.40% सटीकता प्राप्त की। यह शीर्ष प्रदर्शन करने वालों के बहुत करीब है, जो दिखाता है कि यह सरल कार्यों को अच्छी तरह से संभाल सकता है।
• CIFAR-100 पर, इसने 68.56% हासिल किया।
• ImageNet-100 पर, इसने 78.65% प्राप्त किया।

लेकिन असली जादू अनसुपरवाइज्ड इमेज क्लासिफिकेशन में हुआ। आमतौर पर, जब कंप्यूटर बिना लेबल के चीजों को समूहबद्ध करते हैं, तो वे औसत दर्जे का काम करते हैं। हालाँकि, क्यूको ने दिखाया कि वह अन्य तरीकों की तुलना में छवियों को बहुत बेहतर तरीके से समूहबद्ध कर सकता है। CIFAR-10 पर, इसने 75.06% की क्लस्टरिंग सटीकता प्राप्त की, जिसने MoCo-v2 (63.51%) और SimCLR (74.50%) के पुन: कार्यान्वित (re-implemented) संस्करणों को पीछे छोड़ दिया। CIFAR-100 पर, इसने 33.82% का स्कोर किया, जो फिर से प्रतिस्पर्धा से बेहतर था।

शोधकर्ताओं ने एक "एब्लेशन स्टडी" (ablation study) भी चलाई, जो एक मशीन को खोलकर यह देखने जैसा है कि उसका कौन सा हिस्सा क्या करता है। उन्होंने पाया कि:

• केवल "धक्का" (कॉन्ट्रास्टिव लॉस) का उपयोग करने से एक अच्छा बेसलाइन मिला।
• "खिंचाव" (सेंट्रॉइड लॉस) जोड़ने से ग्रुपिंग में सुधार हुआ।
• "तंगपन" (वैरिएंस लॉस) जोड़ने से परिणाम और भी बेहतर हो गए।

इससे साबित हुआ कि उनके "पुश-पुल" सिस्टम के तीनों हिस्से सर्वोत्तम परिणाम प्राप्त करने के लिए आवश्यक हैं।

यह क्यों महत्वपूर्ण है

पेपर सुझाव देता है कि इन दोनों बलों को जोड़कर, हम ऐसी विजुअल रिप्रजेंटेशन बना सकते हैं जो स्पष्ट (पहचानने में आसान) और व्यवस्थित (समूह बनाने में आसान) दोनों हों। यह एक बड़ी बात है क्योंकि इसका मतलब है कि हमें कंप्यूटर को देखने के तरीके सिखाने के लिए बहुत अधिक मानव-लेबल वाले उदाहरणों की आवश्यकता नहीं हो सकती है। यह विधि दावा नहीं करती है कि उसने AI की समस्या को पूरी तरह हल कर दिया है, लेकिन यह एक आशाजनक नया दिशा प्रदान करती है। यह दिखाता है कि थोड़ा सा "धक्का" और थोड़ा सा "खिंचाव" कंप्यूटर को दुनिया को समझने में मदद कर सकता है, जो व्यापक और विस्तृत दोनों हो, और वह भी बिना किसी मानव शिक्षक के यह कहे कि, "वह एक बिल्ली है।"