कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ सबसे बुद्धिमान कंप्यूटर उन विशाल, ऊंचे पुस्तकालयों की तरह हैं जो हर उस किताब से भरे हुए हैं जो कभी लिखी गई है। वे समस्याओं को हल कर सकते हैं, चेहरों को पहचान सकते हैं और दुनिया को अविश्वसनीय सटीकता के साथ समझ सकते हैं। लेकिन इसमें एक पेंच है: ये पुस्तकालय इतने विशाल और भारी हैं कि वे आपके बैकपैक में नहीं समा सकते, आपके फोन में तो बिल्कुल भी नहीं। उन्हें चालू रहने के लिए भारी मात्रा में बिजली और शक्तिशाली हार्डवेयर की आवश्यकता होती है। यह आधुनिक आर्टिफिशियल इंटेलिजेंस (AI) की चुनौती है: हम इन विशाल "शिक्षक" (teacher) मॉडलों की प्रतिभा को छोटे, हल्के "छात्र" (student) मॉडलों में कैसे समाहित करें जो कहीं भी चल सकें?

इसे करने के लिए, वैज्ञानिक नॉलेज डिस्टिलेशन (Knowledge Distillation) नामक एक तरकीब का उपयोग करते हैं। इसे ऐसे समझें जैसे एक मास्टर शेफ एक युवा प्रशिक्षु (apprentice) को सिखा रहा हो। प्रशिक्षु को केवल अंतिम रेसिपी (उत्तर) देने के बजाय, मास्टर उसे व्यंजन का "अहसास" (feel) दिखाता है। यदि मास्टर कहता है, "इस सूप का स्वाद थोड़ा चिकन जैसा है, लेकिन इसमें जड़ी-बूटियों का भी संकेत है," तो प्रशिक्षु उस बारीकी को सीखता है, न कि केवल यह कि यह "सूप" है। कंप्यूटर की भाषा में, शिक्षक मॉडल केवल यह नहीं कहता कि "यह एक बिल्ली है"; बल्कि वह फुसफुसाता भी है, "यह एक कुत्ते जैसा है, लेकिन एक हवाई जहाज से बहुत अलग है।" यह "फुसफुसाहट" छात्र को चीजों के बीच के सूक्ष्म संबंधों को समझने में मदद करती है। हालाँकि, इन संबंधों को सिखाने के हालिया प्रयास थोड़े अधिक सख्त रहे हैं, जैसे कि एक ऐसा शिक्षक जो चिल्लाकर कहता है, "तुम एक बिल्ली हो, और वह कुत्ता बिल्ली नहीं है, इसलिए उससे दूर रहो!" यह छात्र को यह भूलने के लिए मजबूर करता है कि बिल्लियाँ और कुत्ते वास्तव में दोनों जानवर हैं और उनमें कुछ समानता होनी चाहिए।

यहीं पर इंपीरियल कॉलेज लंदन के शोधकर्ताओं का एक नया पेपर एक नए विचार के साथ आता है जिसे रिलेशनल रिप्रेजेंटेशन डिस्टिलेशन (RRD) कहा जाता है। उन्होंने महसूस किया कि छात्र को हर एक वस्तु के बीच की सटीक दूरी को याद करने के लिए मजबूर करने के बजाय, उन्हें चीजों का सापेक्ष क्रम (relative order) सिखाना बेहतर है। कल्पना कीजिए कि एक कक्षा है जहाँ शिक्षक केवल यह नहीं कहता, "यहाँ बैठो," बल्कि कहता है, "कुत्ते के करीब बैठो लेकिन हवाई जहाज से दूर, पर बिल्ली के जितना करीब नहीं।" शोधकर्ताओं ने पाया कि एक विशेष "तापमान" (temperature) सेटिंग का उपयोग करके, जो छात्र की सीखने की प्रक्रिया को अधिक तीक्ष्ण और केंद्रित बनाता है, वे इन महत्वपूर्ण संबंधों को बिना किसी भ्रम के सुरक्षित रख सकते हैं। उनके प्रयोग दर्शाते हैं कि यह विधि छोटे छात्र मॉडलों को बहुत बेहतर तरीके से सीखने में मदद करती है, और कभी-कभी तो वे विशाल शिक्षक मॉडलों के समान प्रदर्शन भी करते हैं, जबकि उनका "बैकपैक" हल्का और कुशल बना रहता है।

बहुत सख्त होने की समस्या

लंबे समय तक, छात्र मॉडल को सिखाने का सबसे अच्छा तरीका कॉन्ट्रास्टिव लर्निंग (Contrastive Learning) कहलाता था। कल्पना कीजिए कि म्यूजिकल चेयर का एक खेल है जहाँ लक्ष्य अपने दोस्तों को करीब रखना और अजनबियों को दूर धकेलना है। इस खेल में, यदि आपके पास बिल्ली की तस्वीर है, तो कंप्यूटर "बिल्ली" के प्रतिनिधित्व को अन्य "बिल्ली" की तस्वीरों के बहुत करीब और "कुत्ते" या "हवाई जहाज" की तस्वीरों से बहुत दूर रखने की कोशिश करता है।

लेखक बताते हैं कि यह खेल थोड़ा अधिक तीव्र हो सकता है। यह कंप्यूटर को एक बिल्ली और एक कुत्ते को पूरी तरह से अजनबी मानने के लिए मजबूर करता है, भले ही वे दोनों बालों वाले जानवर हों। यह एक ऐसे शिक्षक की तरह है जो छात्र को बताता है, "तुम एक बिल्ली हो, और एक कुत्ता एक पूरी तरह से अलग ब्रह्मांड है, इसलिए कभी भी एक जैसा मत सोचना।" यह "सिमेंटिक रिपल्शन" (semantic repulsion - एक फैंसी तरीका जिसका अर्थ है चीजों को बहुत ज़ोर से दूर धकेलना) मूल्यवान जानकारी को फेंक देता है। छात्र बिल्ली को पहचानना तो सीख जाता है, लेकिन वह यह भूल जाता है कि बिल्लियाँ और कुत्ते एक ही परिवार के सदस्य हैं।

नया दृष्टिकोण: सापेक्ष संबंध

लेखक एक स्मार्ट तरीके का प्रस्ताव देते हैं। पूर्ण दूरियों को थोपने के बजाय, वे सापेक्ष संबंधों (relative relationships) पर ध्यान केंद्रित करते हैं। वे छात्र मॉडल से समानता के क्रम को सीखने के लिए कहते हैं।

यहाँ उपमा दी गई है: कल्पना कीजिए कि आप अपने पसंदीदा फलों को रैंक कर रहे हैं।

• पुराना तरीका (Strict Contrastive): "सेब 100% सेब है। केला 100% केला है। वे दुश्मन हैं। 100 मील दूर रहें।"
• नया तरीका (RRD): "सेब आपका पसंदीदा है। नाशपाती आपकी दूसरी पसंदीदा है (क्योंकि दोनों गोल और मीठे हैं)। केला तीसरे स्थान पर है। पत्थर आखिरी है।"

छात्र को यह जानने की आवश्यकता नहीं है कि सेब और नाशपाती के बीच की सटीक दूरी मील में कितनी है; उसे बस यह जानने की आवश्यकता है कि नाशपाती, केले की तुलना में सेब के अधिक करीब है। यह दुनिया की संरचना को सुरक्षित रखता है: सेब और नाशपाती संबंधित हैं, केले भी कुछ हद तक संबंधित हैं, और पत्थर नहीं हैं।

उन्होंने यह कैसे किया: तापमान का जादू

इस काम को सफल बनाने के लिए, शोधकर्ताओं ने तापमान (temperature) से जुड़ी एक चतुर तकनीक पेश की। AI की दुनिया में, "तापमान" गर्मी के बारे में नहीं है; यह इस बारे में है कि मॉडल के अनुमान कितने "नरम" (soft) या "तीक्ष्ण" (sharp) हैं।

• उच्च तापमान (High Temperature): मॉडल अनिश्चित होता है और अपने अनुमानों को फैला देता है (जैसे एक धुंधला दिन जहाँ सब कुछ धुंधला दिखता है)।
• कम तापमान (Low Temperature): मॉडल बहुत आत्मविश्वासी होता है और अपना ध्यान केंद्रित करता है (जैसे एक लेजर बीम)।

शोधकर्ताओं ने शिक्षक को एक विशिष्ट तापमान दिया और छात्र को एक अलग, अधिक तीक्ष्ण तापमान दिया। उन्होंने छात्र का तापमान शिक्षक के तापमान से कम (तीक्ष्ण) रखा। इसका अर्थ है कि छात्र को सबसे महत्वपूर्ण संबंधों (जैसे बिल्ली बनाम हवाई जहाज) पर तीव्रता से ध्यान केंद्रित करने के लिए मजबूर किया गया, जबकि माध्यमिक संबंधों (जैसे बिल्ली बनाम कुत्ता) की एक नरम, धुंधली स्मृति बनाए रखी गई।

उन्होंने एक "मेमोरी बैंक" का भी उपयोग किया—विशेषताओं की एक विशाल सूची जिसे शिक्षक पहले देख चुका है। छात्र अपने वर्तमान चित्र की तुलना इस मेमोरी बैंक से करता है ताकि यह देख सके कि वह व्यापक परिदृश्य में कहाँ फिट बैठता है। छात्र के "सापेक्ष रैंकिंग" को शिक्षक के साथ संरेखित करके, वह दुनिया की संरचना को सीखता है, बिना पुराने तरीकों के सख्त नियमों से भ्रमित हुए।

उन्हें क्या मिला

टीम ने CIFAR-100 (जिसमें 100 विभिन्न प्रकार की वस्तुएं हैं) और ImageNet (एक मिलियन से अधिक छवियों का विशाल संग्रह) सहित कई प्रसिद्ध इमेज डेटासेट्स पर इस विचार का परीक्षण किया। उन्होंने अपने नए तरीके को क्षेत्र के वर्तमान दिग्गजों के खिलाफ खड़ा किया।

परिणाम प्रभावशाली थे। जब उन्होंने अपने नए तरीके का अकेले उपयोग किया, तो इसने मानक "कॉन्ट्रास्टिव" तरीकों से बेहतर प्रदर्शन किया। लेकिन असली जादू तब हुआ जब उन्होंने इसे पारंपरिक नॉलेज डिस्टिलेशन तकनीक के साथ जोड़ा।

• CIFAR-100 डेटासेट पर, उनके तरीके ने मानक नॉलेज डिस्टिलेशन विधियों की तुलना में 75.50% का सापेक्ष सुधार दिखाया।
• जब उन्होंने इसे क्लासिक पद्धति के साथ जोड़ा, तो सुधार बढ़कर 80.03% हो गया।

सरल शब्दों में, छात्र मॉडल बहुत तेज़ी से सीखे और बहुत अधिक बुद्धिमान बन गए। कुछ मामलों में, इस नए तरीके से प्रशिक्षित छोटा छात्र मॉडल वास्तव में उस विशाल शिक्षक मॉडल से भी बेहतर प्रदर्शन करने लगा जिसकी नकल करने की वह कोशिश कर रहा था!

उन्होंने t-SNE नामक तकनीक का उपयोग करके मॉडलों के "मस्तिष्क" को भी देखा, जो जटिल डेटा को 2D मैप में बदल देता है। इन मानचित्रों में, आप देख सकते हैं कि कंप्यूटर चीजों को कैसे समूहबद्ध करता है। पुराने तरीकों के साथ, समूह अव्यवस्थित या बहुत दूर थे। नए 'रिलेशनल रिप्रेजेंटेशन डिस्टिलेशन' के साथ, समूह शिक्षक के समूहों के लगभग समान दिखे। छात्र ने सफलतापूर्वक शिक्षक के "विश्व दृष्टिकोण" को सीख लिया था, बिल्लियों को कुत्तों के पास और हवाई जहाजों से दूर रखते हुए, जैसा कि शिक्षक चाहता था।

यह क्यों मायने रखता है

यह केवल चार्ट पर नंबरों को अच्छा दिखाने के बारे में नहीं है। यह AI को व्यावहारिक बनाने के बारे में है। यदि हम छोटे, कुशल मॉडलों को दुनिया को समझने के लिए विशाल मॉडलों जितना सक्षम बना सकते हैं, तो हम अपने फोन, अपनी कारों और अपनी घड़ियों में स्मार्ट AI डाल सकते हैं, बिना इसके कि हमें ट्रंक में एक सुपरकंप्यूटर की आवश्यकता हो। छात्र को केवल नियमों के बजाय संबंधों को समझने की शिक्षा देकर, लेखकों ने विशाल मॉडलों की प्रतिभा को आपकी जेब में समाने वाले पैकेज में बदलने का एक तरीका खोज निकाला है।

यह पेपर सुझाव देता है कि इन सापेक्ष संबंधों पर ध्यान केंद्रित करना स्मार्ट उपकरणों की अगली पीढ़ी को शक्तिशाली और पोर्टेबल बनाने का एक आशाजनक मार्ग है। यह दावा नहीं करता कि इसने AI की हर समस्या को हल कर दिया है, लेकिन यह एक स्पष्ट, प्रभावी उपकरण प्रदान करता है जिससे भविष्य के स्मार्ट डिवाइस अधिक शक्तिशाली और सुवाह्य (portable) बन सकें।