Dyna-DINO: Efficient ViT Distillation Via Adaptive Representation Anchoring

आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटरों ने आश्चर्यजनक स्पष्टता के साथ दुनिया को देखना सीख लिया है। लाखों छवियों का अध्ययन करके, ये सिस्टम वस्तुओं की पहचान कर सकते हैं, एक जंगल की सीमाओं का मानचित्र बना सकते हैं, या एक विशाल शहर में एक विशिष्ट इमारत को ढूंढ सकते हैं। इस दृष्टि के पीछे के इंजन 'विजन ट्रांसफॉर्मर' नामक विशाल डिजिटल संरचनाएं हैं। इन्हें ज्ञान के विशाल, जटिल पुस्तकालयों के रूप में सोचें, जो परत दर परत बनाए गए हैं, जहाँ प्रत्येक परत इस बात की गहरी समझ जोड़ती है कि एक छवि में क्या निहित है। इनमें से सबसे बड़े पुस्तकालय इतने शक्तिशाली होते हैं कि वे जटिल समस्याओं को हल कर सकते हैं, लेकिन वे इतने भारी और धीमे भी होते हैं कि वे उन छोटे, बैटरी से चलने वाले उपकरणों पर नहीं चल सकते जिन्हें हम अपनी जेबों में रखते हैं या क्षेत्र में उपयोग करते हैं। इस तकनीक को वास्तविक दुनिया में उपयोगी बनाने के लिए, वैज्ञानिकों को इन विशाल मॉडलों को बिना उनकी देखने की क्षमता खोए, छोटे और तेज़ संस्करणों में सिकोड़ना पड़ता है। इस प्रक्रिया को 'डिस्टिलेशन' (आसवन) कहा जाता है, जहाँ एक छोटा 'छात्र मॉडल' एक बड़े 'शिक्षक मॉडल' से सीखता है। हालाँकि, एक महत्वपूर्ण बाधा लंबे समय से राह में खड़ी रही है: छात्र अक्सर शिक्षक के सबसे उन्नत पाठों को समझने के लिए बहुत छोटा होता है, जिससे ज्ञान का एक अनाड़ी हस्तांतरण होता है जहाँ छात्र तालमेल बिठाने में संघर्ष करता है।

ब्राउन यूनिवर्सिटी और राइस यूनिवर्सिटी के शोधकर्ताओं ने इस अंतर को पाटने का एक नया तरीका प्रस्तावित किया है, जो सीखने की प्रक्रिया को एक अचानक छलांग के बजाय एक सावधानीपूर्वक नियंत्रित यात्रा में बदल देता है। अपने कार्य में, उन्होंने देखा कि जब एक छोटा छात्र मॉडल प्रशिक्षण के पहले क्षण से ही एक विशाल शिक्षक की नकल करने की कोशिश करता है, तो यह एक बच्चे को वर्णमाला सीखने से पहले एक जटिल दर्शन की पुस्तक पढ़ने के लिए कहने जैसा है। छात्र अभिभूत हो जाता है, और प्रशिक्षण अस्थिर हो जाता है या सुधार करने में विफल रहता है। टीम ने पाया कि शिक्षक का ज्ञान एक एकल, अखंड ब्लॉक नहीं है बल्कि चरणों का एक क्रम है। शिक्षक मॉडल की शुरुआती परतें आकृतियों और किनारों के बारे었던 सरल, बुनियादी जानकारी रखती हैं, जबकि गहरी परतें जटिल, अमूर्त अवधारणाओं को धारण करती हैं। यह विश्लेषण करके कि छात्र की वर्तमान समझ शिक्षक की विभिन्न परतों के प्रति कितनी समान है, शोधकर्ताओं ने पाया कि छात्र स्वाभाविक रूप से सरल, प्रारंभिक परतों को पहले समझता है। जैसे-जैसे छात्र सीखता और बढ़ता है, उसकी समझ शिक्षक की अधिक जटिल, गहरी परतों के अनुरूप बदल जाती है।

इस अंतर्दृष्टि पर आधारित होकर, टीम ने 'डायना-डीनो' (Dyna-DINO) नामक एक प्रशिक्षण पद्धति विकसित की। छात्र को शुरू से ही शिक्षक के अंतिम, सबसे कठिन उत्तर की नकल करने के लिए मजबूर करने के बजाय, यह विधि एक गतिशील मार्गदर्शक के रूप में कार्य करती है। यह छात्र को शिक्षक की सबसे सरल, प्रारंभिक परतों की नकल करने से शुरू करती है। सिस्टम लगातार छात्र की प्रगति की जाँच करता है। एक बार जब छात्र उस स्तर की सरलता में महारत हासिल कर लेता है, तो गाइड स्वचालित रूप से लक्ष्य को शिक्षक की अगली, थोड़ी अधिक जटिल परत पर स्थानांतरित कर देता है। यह प्रक्रिया, परत दर परत जारी रहती है, जिससे छात्र उन्नत अमूर्तताओं से निपटने से पहले बुनियादी दृश्य कौशल का एक ठोस आधार बना सकता है। इन लक्ष्यों के बीच संक्रमण यादृच्छिक या पूर्व-निर्धारित नहीं है; यह इस बात से संचालित होता है कि छात्र कितना अच्छा प्रदर्शन कर रहा है। यदि छात्र संघर्ष कर रहा है, तो वह वर्तमान, आसान लक्ष्य पर ही रहता है। यदि वह तेज़ी से सीख रहा है, तो वह आगे बढ़ जाता है। यह अनुकूल दृष्टिकोण सुनिश्चित करता है कि छात्र हमेशा अपनी क्षमता के किनारे पर काम कर रहा है, कभी भी बहुत ऊब नहीं जाता और कभी भी बहुत अभिभूत नहीं होता।

इसके परिणाम चौंकाने वाले हैं। सौ छवि श्रेणियों के एक मानक सेट पर परीक्षण किए जाने पर, इस विधि से प्रशिक्षित छात्र मॉडल ने 90.1 प्रतिशत की सटीकता प्राप्त की, जो पुराने, स्थिर तरीकों से प्रशिक्षित मॉडलों की तुलना में एक महत्वपूर्ण उछाल है। यह सुधार उन कार्यों में और भी नाटकीय था जिनमें किसी दृश्य के भीतर विशिष्ट वस्तुओं को खोजने या छवि के विभिन्न भागों की सटीक सीमाओं को समझने की आवश्यकता होती है। उदाहरण के लिए, यह देखने के लिए डिज़ाइन किए गए परीक्षणों में कि मॉडल एक डेटाबेस से विशिष्ट छवियों को कितनी अच्छी तरह प्राप्त कर सकता है, इस नई विधि ने एक प्रमुख डेटासेट पर प्रदर्शन में लगभग छह प्रतिशत अंकों का सुधार किया। केवल स्मार्ट होने के अलावा, यह विधि अधिक कुशल भी है। क्योंकि छात्र को तब तक शिक्षक की सबसे गहरी, सबसे जटिल परतों को समझने में समय बर्बाद करने की आवश्यकता नहीं होती जब तक कि वह इसके लिए तैयार न हो जाए, इसलिए प्रशिक्षण प्रक्रिया बहुत तेज़ी से पूरी हो जाती है। शोधकर्ताओं ने पाया कि इस दृष्टिकोण ने कंप्यूटिंग शक्ति के एक चौथाई से अधिक और मॉडलों को प्रशिक्षित करने के लिए आवश्यक कुल समय के लगभग पांचवें हिस्से की बचत की।

यह सफलता इस लंबे समय से चली आ रही धारणा को चुनौती देती है कि छात्र को सिखाने का सबसे अच्छा तरीका उसे तुरंत अंतिम उत्तर दिखाना है। अध्ययन बताता है कि सीखने का मार्ग केवल मंजिल के बारे में नहीं है, बल्कि इस बारे में है कि चरणों को किस क्रम में लिया जाता है। छात्र को शिक्षक के ज्ञान की जटिलता में ढलने देने के बजाय, उसे उसमें फिट होने के लिए मजबूर करके, शोधकर्ताओं ने एक अधिक मजबूत और बहुमुखी मॉडल बनाया है। आसवित (distilled) मॉडल न केवल प्रशिक्षित होने में तेज़ हैं; वे दृश्य दुनिया की एक समृद्ध समझ रखते हैं, जो भीड़भाड़ वाली सड़क में वस्तुओं की पहचान करने या मेडिकल स्कैन को खंडित करने जैसे नए कार्यों के अनुकूल होने में सक्षम हैं। हालांकि इस पद्धति के लिए वर्तमान में शिक्षक मॉडल की आंतरिक कार्यप्रणाली तक पहुंच की आवश्यकता होती है, लेकिन ये निष्कर्ष कृत्रिम बुद्धिमत्ता को अधिक प्रभावी ढंग से सिखाने के लिए एक स्पष्ट ब्लूप्रिंट प्रदान करते हैं। यह एक अनुस्मारक है कि मशीन इंटेलिजेंस की खोज में, सबसे शक्तिशाली उपकरण शायद केवल वह धैर्य हो सकता है जो शिक्षार्थी को तभी अगला कदम उठाने दे जब वह वास्तव में तैयार हो।