मशीन के भीतर अदृश्य शिक्षक

कल्पना कीजिए कि आप एक रोबोट को बिल्ली पहचानना सिखाने की कोशिश कर रहे हैं। पुराने दिनों में, आपको उसे हजारों तस्वीरें दिखानी पड़ती थीं और प्रत्येक पर मैन्युअल रूप से "बिल्ली" या "बिल्ली नहीं" का लेबल लगाना पड़ता था। यह हर एक पाठ के लिए एक मानव ट्यूटर को काम पर रखने जैसा है। लेकिन हाल ही में, वैज्ञानिकों ने एक तरीका खोजा है जिससे रोबोट बिना किसी इंसान के स्क्रीन की ओर इशारा किए, अपने आप सीख सकता है। इसे सेल्फ-सुपरवाइज्ड लर्निंग (स्व-पर्यवेक्षित शिक्षण) कहा जाता है। रोबोट एक तस्वीर देखता है, उसके दो थोड़े अलग संस्करण बनाता है (जैसे क्रॉपिंग या कलर-शिफ्टिंग), और यह समझने की कोशिश करता है कि ये दोनों संस्करण वास्तव में एक ही वस्तु हैं। वह "दोस्तों" (समान छवियों) की तुलना "अजनबियों" (अलग छवियों) से करके सीखता है।

हालाँकि, इसमें एक पेंच है। यदि "अजनबी" बहुत स्पष्ट हैं—जैसे बिल्ली के बगल में टोस्टर की तस्वीर दिखाना—तो रोबोट कुछ भी नया नहीं सीख पाता। यह एक ऐसी क्विज़ की तरह है जहाँ उत्तर बहुत आसान हैं; इससे आप स्मार्ट नहीं बनते। गहराई से सीखने के लिए, रोबोट को "कठिन" अजनबियों की आवश्यकता होती है: ऐसी छवियां जो लगभग बिल्ली जैसी दिखती हों लेकिन बिल्ली न हों। यहीं पर विज़न ट्रांसफॉर्मर्स (Vision Transformers) काम आते हैं। ये कंप्यूटर के लिए एक नए प्रकार के मस्तिष्क आर्किटेक्चर हैं जो छवियों में पैटर्न पहचानने में अविश्वसनीय रूप से कुशल हैं, ठीक वैसे ही जैसे हमारी आँखें भीड़ भरे कमरे में विशिष्ट विवरणों पर ध्यान केंद्रित करती हैं। शोधकर्ता बड़ा सवाल यह पूछ रहे हैं: हम इन शक्तिशाली मशीनों को सही तरह का कठिन अभ्यास देकर और भी बेहतर तरीके से कैसे सीख सकते हैं?

---

पेपर का बड़ा विचार: आदर्श "नकली" खलनायक बनाना

यह पेपर, जिसका शीर्षक "Unsupervised Training of Vision Transformers with Synthetic Negatives" है, रोबट का दिमाग बनाने का कोई बिल्कुल नया तरीका नहीं बनाता है। इसके बजाय, लेखकों ने—इंपीरियल कॉलेज लंदन के शोधकर्ताओं ने—सीखने की प्रक्रिया के एक विशिष्ट हिस्से की ओर ध्यान दिया जिसे लगभग सभी ने अनदेखा कर दिया था: "नेगेटिव" उदाहरण।

मशीन लर्निंग की दुनिया में, एक "नेगेटिव" केवल उस चीज़ का उदाहरण है जो लक्ष्य नहीं है। यदि आप मॉडल को कुत्ता पहचानना सिखा रहे हैं, तो बिल्ली की तस्वीर एक नेगेटिव है। आमतौर पर, कंप्यूटर अन्य छवियों के ढेर से रैंडम नेगेटिव उठा लेते हैं। लेकिन लेखकों ने महसूस किया कि ये रैंडम नेगेटिव अक्सर बहुत आसान होते हैं। वे किसी विशिष्ट सेलिब्रिटी की तुलना करने के लिए भीड़ से एक रैंडम व्यक्ति को चुनने जैसा है; यह स्पष्ट है कि वे एक ही व्यक्ति नहीं हैं।

लेखकों ने पूछा: क्या होगा यदि हम "सिंथेटिक हार्ड नेगेटिव्स" बना सकें? ये कैमरे से ली गई वास्तविक तस्वीरें नहीं हैं। इसके बजाय, ये गणितीय रूप से तैयार किए गए "नकली" उदाहरण हैं जो भ्रमित करने की सीमा पर स्थित होते हैं। ये लगभग लक्ष्य की तरह दिखते हैं, जिससे कंप्यूटर को वास्तव में सूक्ष्म अंतरों को समझने के लिए कड़ी मेहनत करनी पड़ती है।

इसे मार्शल आर्ट्स टूर्नामेंट के लिए प्रशिक्षण लेने जैसा समझें। यदि आप केवल उन विरोधियों के खिलाफ अभ्यास करते हैं जो आपसे बहुत कमजोर हैं, तो आप कभी अच्छे नहीं बनेंगे। लेकिन यदि आप एक ऐसे साथी के खिलाफ अभ्यास करते हैं जो आपसे थोड़ा बेहतर है, या जो आपके मूव्स की हुबहू नकल करता है, तो आपको बहुत तेज़ी से सीखना होगा। लेखकों की विधि, जिसे वे SynBY कहते हैं, एक स्मार्ट प्रशिक्षण साथी की तरह कार्य करती है। यह उन "अजनबी" छवियों को लेती है जिन्हें कंप्यूटर पहले से ही देख रहा है, उनमें से सबसे भ्रमित करने वाले ("सबसे कठिन" नेगेटिव) को ढूंढती है, और फिर उन्हें मिलाकर एक नया, अत्यधिक चुनौतीपूर्ण उदाहरण बनाती है। इस नए उदाहरण को फिर सिस्टम में वापस डाला जाता है ताकि सीखने की प्रक्रिया को कठिन और अधिक प्रभावी बनाया जा सके।

उन्होंने इसका परीक्षण कैसे किया और उन्हें क्या मिला

टीम ने इस विचार का परीक्षण विज़न ट्रांसफॉर्मर के दो लोकप्रिय प्रकारों का उपयोग करके किया: DeiT-S और Swin-T। उन्होंने अपने प्रयोग एक विशाल डेटासेट ImageNet पर चलाए, जिसमें लाखों छवियां शामिल हैं। उन्होंने अपने नए तरीके (SynBY) की तुलना मानक तरीके (MoBY) से की।

परिणाम उत्साहजनक थे। जब उन्होंने अपने सिंथेटिक हार्ड नेगेटिव्स का उपयोग किया, तो DeiT-S और Swin-T दोनों मॉडलों की छवियों को पहचानने की क्षमता में थोड़ी वृद्धि हुई। विशेष रूप से, मॉडलों ने मानक पद्धति की तुलना में अपनी सटीकता में 0.2% का सुधार किया। हालांकि यह संख्या छोटी लग सकती है, लेकिन उच्च-स्तरीय AI की दुनिया में, इतनी छोटी बढ़त भी बड़ी बात है क्योंकि इसका मतलब है कि मॉडल अधिक "डिस्क्रिमिनेटिव" (भेद करने वाले) फीचर्स सीख रहे हैं—वे उन सूक्ष्म विवरणों को पहचानने में बेहतर हो रहे हैं जो एक बिल्ली को बिल्ली बनाते हैं और कुत्ते को नहीं।

लेखकों ने यह भी देखा कि मॉडल कैसे सोच रहे थे। उन्होंने मॉडलों के "अटेंशन" (वह हिस्सा जिस पर कंप्यूटर ध्यान केंद्रित कर रहा था) को विज़ुअलाइज़ किया। उन्होंने पाया कि उनके सिंथेटिक नेगेटिव्स के साथ, मॉडल छवि के अधिक विशिष्ट, सार्थक हिस्सों पर ध्यान केंद्रित करने लगे, न कि केवल सामान्य आकार पर। यह ऐसा है जैसे रोबोट एक पूरे धब्बे को देखकर यह कहने के बजाय कि "यह एक जानवर है," मूंछों और कानों को देखकर कह रहा हो कि "यह निश्चित रूप से एक बिल्ली है।"

उन्होंने किसे खारिज किया और क्या अभी भी अज्ञात है

इस पेपर की सबसे दिलचस्प खोजों में से एक वह है जिसे लेखकों को करने की आवश्यकता नहीं पड़ी। पिछले तरीकों में अक्सर सीखने को स्थिर रखने के लिए कई अतिरिक्त "ट्रिक्स" की आवश्यकता होती थी, जैसे कि कंप्यूटर द्वारा डेटा को प्रोसेस करने के तरीके को बदलना या बहुत विशिष्ट सेटिंग्स का उपयोग करना। लेखकों ने पाया कि अपने सिंथेटिक हार्ड नेगेटिव्स का उपयोग करके, वे इन कई अतिरिक्त ट्रिक्स को छोड़ सकते थे। "नकली" कठिन उदाहरण इतने अच्छे थे कि मॉडल को सीखने के लिए बहुत अधिक मदद की आवश्यकता नहीं पड़ी। यह सुझाव देता है कि सिंथेटिक नेगेटिव्स एक शक्तिशाली प्राकृतिक नियामक (regulator) के रूप में कार्य करते हैं, जिससे पूरी प्रक्रिया सरल हो जाती है।

हालाँकि, पेपर परिणामों को बहुत अधिक बढ़ा-चढ़ाकर बताने से बचता है। लेखक स्वीकार करते हैं कि उनके विस्तृत परीक्षण कुछ प्रयोगों के लिए ImageNet-100 नामक छवियों के छोटे उपसमूह पर किए गए थे, और उन्होंने अभी तक वीडियो को समझने या छवियों को टेक्स्ट के साथ जोड़ने जैसे अधिक जटिल कार्यों पर इसका परीक्षण नहीं किया है। वे यह भी नोट करते हैं कि हालांकि मॉडल बेहतर हुए हैं, लेकिन वे अभी भी मानव लेबल (सुपरवाइज्ड लर्निंग) के साथ प्रशिक्षित मॉडलों जितने अच्छे नहीं हैं। पेपर सुझाव देता है कि यह एक ठोस कदम है, लेकिन यह कोई जादुई समाधान नहीं है जो सब कुछ हल कर दे।

निष्कर्ष

संक्षेप में, यह पेपर सुझाव देता है कि यदि आप चाहते हैं कि कोई कंप्यूटर छवियों से बिना मानवीय सहायता के वास्तव में अच्छी तरह सीखे, तो आपको केवल उस पर रैंडम उदाहरण नहीं फेंकने चाहिए। आपको जानबूझकर उसे "कठिन वाले" देने चाहिए। गणितीय रूप से चुनौतीपूर्ण "नकली" उदाहरण बनाकर जो भ्रम की सीमा पर स्थित हैं, लेखकों ने दिखाया कि विज़न ट्रांसफॉर्मर्स दुनिया को अधिक स्पष्ट फोकस के साथ देखना सीख सकते हैं। यह एक सरल लेकिन प्रभावी बदलाव है: अभ्यास को कठिन बनाएं, और छात्र स्मार्ट बनेगा।