SelFusion: Self-distillation for Diffusion Language Models
यह शोध पत्र SelFusion का प्रस्ताव करता है, जो डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक नवीन सेल्फ-डिस्टिलेशन फ्रेमवर्क है, जो टोकन-स्तरीय त्रुटियों को गतिशील रूप से सुधारने के लिए हार्ड और ईज़ी मास्किंग मोड के बीच द्विदिश ज्ञान आसवन (bidirectional knowledge distillation) का उपयोग करता है, जिससे जनरेशन की गुणवत्ता में महत्वपूर्ण सुधार होता है और यह अक्सर बाहरी टीचर मॉडल्स से भी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, गति और गुणवत्ता के बीच एक निरंतर तनाव बना रहता है। वर्षों से, सबसे शक्तिशाली भाषा मॉडल 'ऑटोरिग्रेसिव' (autoregression) नामक एक पद्धति पर निर्भर रहे हैं, जहाँ कंप्यूटर एक बार में एक शब्द उत्पन्न करता है, अगला शब्द तय करने के लिए अपने पिछले आउटपुट को पढ़ता है। यह क्रमिक प्रक्रिया एक व्यक्ति द्वारा वाक्य लिखने के समान है जो अगला शब्द जोड़ने से पहले अपने द्वारा लिखे गए हर शब्द को पीछे मुड़कर देखता है; यह विश्वसनीय है और उच्च गुणवत्ता वाले परिणाम देता है, लेकिन स्वाभाविक रूप से धीमी है। मॉडलों की एक नई पीढ़ी, जिसे 'डिफ्यूजन लैंग्वेज मॉडल्स' (diffusion language models) के रूप में जाना जाता है, कई शब्दों को एक साथ उत्पन्न करके इस बाधा को हल करने का प्रयास करती है। एक वाक्य को शुरू से अंत तक लिखने के बजाय, ये मॉडल बिखरे हुए, छिपे हुए शब्दों के एक ब्लॉक से शुरुआत करते हैं और धीरे-धीरे उन्हें एक सुसंगत प्रतिक्रिया में परिष्कृत करते हैं, ठीक वैसे ही जैसे एक मूर्तिकार पत्थर के एक खंड से मूर्ति को प्रकट करता है। जबकि यह समानांतर दृष्टिकोण लगभग तात्कालिक प्रतिक्रियाओं का वादा करता है, ये मॉडल ऐतिहासिक रूप से अपने धीमे, क्रमिक समकक्षों की स्पष्टता और सटीकता का मुकाबला करने में संघर्ष करते रहे हैं।
शोधकर्ताओं ने इस अंतर को पाटने के लिए लंबे समय से 'नॉलेज डिस्टिलेशन' (knowledge distillation) नामक एक तकनीक का उपयोग करने का प्रयास किया है, जहाँ एक छोटा, तेज़ मॉडल एक बड़े, अधिक सटीक 'शिक्षक' के व्यवहार की नकल करके सीखता है। हालाँकि, जब वैज्ञानिकों ने इस मानक पद्धति को नए डिफ्यूजन मॉडलों पर लागू किया, तो परिणाम निराशाजनक रहे। तेज़, समानांतर मॉडल को धीमे, क्रमिक मॉडल की नकल करने के लिए मजबूर करने का प्रयास अक्सर विफल रहा, जिससे आउटपुट न तो बेहतर हुआ, और कभी-कभी तो उस से भी बदतर निकला जो तब होता यदि मॉडल ने अपने आप सीखा होता। मौलिक समस्या यह थी कि दोनों प्रकार के मॉडल शब्दों के बारे में कैसे "सोचते" थे, इसमें विसंगति थी। धीमे मॉडल अपने विकल्पों के बारे में बहुत निश्चित थे, जबकि तेज़ मॉडल अनिश्चित थे और अपना आत्मविश्वास कई संभावनाओं में फैला देते थे। अनिश्चित मॉडल को निश्चित मॉडल की नकल करने के लिए मजबूर करना एक ऐसे छात्र को एक अलग भाषा बोलने वाले शिक्षक की नकल करने के लिए कहने जैसा था; छात्र अंतर्निहित तर्क को नहीं समझ सका, केवल सतही शोर को समझ पाया।
इस बाधा को दूर करने के लिए, चुंग-आंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने 'सेलफ्यूजन' (SelFusion) नामक एक नया दृष्टिकोण प्रस्तावित किया, जो पूरी तरह से एक बाहरी शिक्षक के विचार को त्याग देता है। मॉडल के बाहर मार्गदर्शन खोजने के बजाय, यह प्रणाली एक ही कार्य के दो अलग-अलग संस्करणों को एक साथ चलाकर स्वयं को सिखाती है। कल्पना कीजिए कि एक छात्र एक परीक्षा दे रहा है जहाँ परीक्षा के कई प्रश्न छिपे हुए हैं, जो छात्र को सीमित संकेतों के आधार पर अनुमान लगाने के लिए मजबूर करते हैं, जबकि उसी परीक्षा का दूसरा संस्करण जिसमें कम प्रश्न छिपे हुए हैं, अधिक संदर्भ प्रदान करता है। शोधकर्ताओं ने एक ही मॉडल के भीतर इन दो "मोड्स" (modes) को बनाया: एक "हार्ड मोड" जो कई छिपे हुए शब्दों के साथ काम करता है और एक "ईज़ी मोड" जो कम शब्दों के साथ काम करता है। ईज़ी मोड, अधिक जानकारी होने के कारण, आम तौर पर बेहतर भविष्यवाणियाँ करता है, लेकिन वह पूर्ण नहीं है। यह कभी-कभी अति-आत्मविश्वासी हो सकता है, और केवल इसलिए कि उसके पास अधिक संदर्भ था, वह गलत उत्तर पर भी दृढ़ता से अड़ा रह सकता है।
नवाचार इस बात में निहित है कि सिस्टम इन दोनों मोड्स को कैसे संभालता है। केवल ईज़ी मोड को हार्ड मोड को सिखाने के बजाय, शोधकर्ताओं ने एक गतिशील, द्वि-मार्गी विनिमय (two-way exchange) को डिजाइन किया। सिस्टम लगातार जाँच करता है कि प्रत्येक विशिष्ट शब्द के लिए कौन सा मोड वास्तव में सही है। यदि ईज़ी मोड सही है, तो वह हार्ड मोड का मार्गदर्शन करता है। यदि हार्ड मोड संयोग से सही होता है जबकि ईज़ी मोड आत्मविश्वास के साथ गलत होता है, तो हार्ड मोड नेतृत्व लेता है। यह द्वि-दिशीय प्रवाह सुनिश्चित करता है कि मॉडल किसी भी दिए गए क्षण में उपलब्ध सबसे विश्वसनीय संकेत से सीखता है। ईज़ी मोड को उसकी गलतियों के बारे में बहुत जिद्दी होने से रोकने के लिए, शोधकर्ताओं ने एक छोटा 'कैलिब्रेशन' (calibration) चरण जोड़ा जो गलत होने पर इसके आत्मविश्वास को धीरे से कम कर देता है, यह सुनिश्चित करता है कि यह सीखने की प्रक्रिया को गुमराह न करे। यह पूरी प्रक्रिया एक ही मॉडल के भीतर होती है, जिसमें किसी बाहरी शिक्षक की आवश्यकता नहीं होती और मॉडल के आकार में केवल मामूली वृद्धि होती है।
विभिन्न निर्देश-अनुसरण कार्यों (instruction-following tasks) पर परीक्षण किए जाने पर, यह स्व-शिक्षण पद्धति उल्लेखनीय रूप से प्रभावी साबित हुई। सेलफ्यूजन के साथ प्रशिक्षित मॉडल ने अन्य विधियों को लगातार पछाड़ दिया जो बाहरी शिक्षकों पर निर्भर थीं, चाहे वे शिक्षक धीमे, उच्च-गुणवत्ता वाले मॉडल हों या अन्य डिफ्यूजन मॉडल। कई मामलों में, स्व-शिक्षित मॉडल ने उस बहुत बड़े, धीमे मॉडल को भी पीछे छोड़ दिया जिसका उसे अनुकरण करना था। उदाहरण के लिए, विशिष्ट बेंचमार्क पर, इस नई पद्धति ने उपलब्ध सर्वश्रेष्ठ बाहरी शिक्षक की तुलना में काफी अधिक स्कोर प्राप्त किया, जो यह दर्शाता है कि एक मॉडल अपने स्वयं के प्रारंभिक सामर्थ्य से बेहतर होने के लिए अपने आंतरिक तर्क को परिष्कृत करके सीख सकता है। शोधकर्ताओं ने पाया कि इस दृष्टिकोण ने न केवल उत्पन्न पाठ की गुणवत्ता में सुधार किया बल्कि डिफ्यूजन पद्धति के गति लाभ को भी बनाए रखा, जो तेज़, उच्च-गुणवत्ता वाले भाषा उपकरण बनाने के लिए एक व्यावहारिक मार्ग प्रदान करता है।
अध्ययन ने यह भी रेखांकित किया कि इन तकनीकों को मिलाने के पिछले प्रयास क्यों विफल रहे। मॉडलों की आंतरिक कार्यप्रणाली का विश्लेषण करके, टीम ने पुष्टि की कि विश्वास (confidence) को वितरित करने के तरीके में अंतर ही प्राथमिक बाधा थी। धीमे मॉडल बहुत कठोर थे, और तेज़ मॉडल बहुत बिखरे हुए थे, जिससे सीधा प्रतिरूपण (copy) करना असंभव हो गया। स्व-डिस्टिलेशन पद्धति सफल रही क्योंकि इसने सीधे कॉपी करने की कोशिश नहीं की; इसके बजाय, इसने मॉडल को अपने अनिश्चित अनुमानों और अपने अधिक सूचित भविष्यवाणियों के बीच सही संतुलन खोजने की अनुमति दी। यह दृष्टिकोण बताता है कि तेज़ भाषा उत्पादन का भविष्य एक बड़े, बेहतर शिक्षक को खोजने पर नहीं, बल्कि मॉडल को अपने सर्वोत्तम सहज ज्ञान पर भरोसा करने और अपनी गलतियों को सुधारने के लिए विनम्र रहने के लिए सिखाने पर निर्भर है। परिणाम संकेत देते हैं कि सही आंतरिक ढांचे के साथ, समानांतर पीढ़ी की गति और क्रमिक तर्क की गुणवत्ता अंततः सह-अस्तित्व में रह सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।