Masked Distillation: Internalizing the Chain-of-Thought in Language Models
यह शोध पत्र "मास्क्ड डिस्टिलेशन" (masked distillation) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो बड़े रीजनिंग मॉडल्स की तर्क करने की क्षमताओं को एक स्टूडेंट मॉडल के मापदंडों (parameters) में आंतरिक रूप से समाहित करता है, इसके लिए इसे केवल समाधान टोकन (solution tokens) की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है जबकि इसे टीचर के चेन-ऑफ-थॉट (Chain-of-Thought) पर आधारित फीडबैक प्राप्त होता है, जिससे सटीकता से समझौता किए बिना सीधे उत्तर जनरेशन और इन्फरेंस लेटेंसी (inference latency) को कम करने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ आपका पसंदीदा AI सहायक एक प्रतिभाशाली लेकिन बातूनी छात्र की तरह है। जब आप उससे कोई कठिन सवाल पूछते हैं, तो वह केवल उत्तर नहीं बताता; वह नोट्स के पन्ने लिखता है, आरेख (diagrams) बनाता है, और समाधान लिखने से पहले अपने सोचने के हर एक चरण को विस्तार से बताता है। "सोच-विचार के साथ बोलना" की यह प्रक्रिया, जिसे तकनीकी दुनिया में "चेन ऑफ थॉट" (Chain of Thought) कहा जाता है, AI मॉडल्स को गणित और तर्क संबंधी पहेलियों में अविश्वसनीय रूप से स्मार्ट बना देती है। हालाँकि, इसमें एक पेच है: उन नोट्स के पन्नों को बनाने में बहुत समय और ऊर्जा लगती है। यह एक टैक्सी ड्राइवर को आपको किराने की दुकान तक छोड़ने के लिए भुगतान करने जैसा है, लेकिन साथ ही उसे पूरे शहर के चक्कर लगाने के लिए भी भुगतान करना है, सिर्फ यह "सोचने" के लिए कि आपको कौन सी गली की जरूरत है। वैज्ञानिकों ने लंबे समय से सोचा है: क्या हम AI को वह सब कुछ अपने "दिमाग के अंदर" सोचने के लिए सिखा सकते हैं? यदि हम ऐसा कर पाते, तो AI बिना लंबे, बातूनी नोट्स लिखे सीधे आपको उत्तर दे देता, जिससे भारी मात्रा में समय और कंप्यूटर शक्ति की बचत होती।
"मास्क्ड डिस्टिलेशन" (Masked Distillation) शीर्षक वाला यह शोध पत्र सीधे इसी सवाल में उतरता है। शोधकर्ताओं ने, लार्ज रीजनिंग मॉडल्स (LRMs) के साथ काम करते हुए, यह पूछा कि क्या वे एक स्मार्ट "टीचर" मॉडल जो विस्तार से सोचना पसंद करता है, उसे एक छोटे "स्टूडेंट" मॉडल को वह सोचने की प्रक्रिया आत्मसात करने के लिए प्रशिक्षित कर सकते हैं। वे यह देखना चाहते थे कि क्या स्टूडेंट मॉडल बिना नोट्स लिखे सीधे अंतिम उत्तर देने में सक्षम हो सकता है, और फिर भी उतना ही स्मार्ट रह सकता है। उन्होंने इसे "मास्क्ड डिस्टिलेशन" नामक एक चतुर तकनीक का उपयोग करके परखा। कल्पना कीजिए कि टीचर एक पहेली सुलझा रहा है जबकि स्टूडेंट उसे देख रहा है। टीचर पूरा सवाल और अपनी विस्तृत विचार प्रक्रिया देखता है, लेकिन स्टूडेंट को केवल सवाल दिखाया जाता है। लक्ष्य यह था कि क्या स्टूडेंट टीचर के गुप्त तर्क को सीख सकता है और बिना कभी भी चरणों को लिखे पहेली को हल कर सकता है, भले ही सीखने की प्रक्रिया के दौरान टीचर के पास मार्गदर्शन के लिए सभी नोट्स मौजूद थे।
टीम ने दो मुख्य प्रयोग स्थापित किए। पहले में, उन्होंने उसी AI मॉडल का उपयोग टीचर और स्टूडेंट दोनों के रूप में किया, बस उसे अलग तरह से सोचने के लिए कहा। दूसरे में, उन्होंने एक बड़े, स्मार्ट मॉडल को टीचर के रूप में और एक छोटे, सरल मॉडल को स्टूडेंट के रूप में उपयोग किया। उन्होंने एक "स्कैफोल्ड" (scaffold) की अवधारणा भी पेश की। इसे एक साइकिल के ट्रेनिंग व्हील्स (training wheels) की तरह समझें। कभी-कभी, स्टूडेंट को सही उत्तर पाने के लिए टीचर के नोट्स का थोड़ा सा हिस्सा देखने की आवश्यकता हो सकती है, बजाय इसके कि वह सब कुछ शून्य से शुरू करे। उन्होंने यह परीक्षण किया कि स्टूडेंट को बेहतर परिणाम प्राप्त करने के लिए टीचर की कितनी सोच देखने की आवश्यकता थी।
परिणाम "वाह" और "इतनी जल्दी नहीं" का मिश्रण थे। ग्रेड-स्कूल गणित की समस्याओं के एक डेटासेट (GSM8K) पर, स्टूडेंट मॉडल्स अद्भुत थे। वे टीचर की सोच को आत्मसात करने में सफल रहे। पूरी तरह से "मास्क्ड" स्टूडेंट (एक जो कभी नोट्स नहीं लिखता था) ने 76.0% उत्तर सही दिए, जो उसकी शुरुआती क्षमता से एक बड़ी छलांग थी, और उसने औसतन केवल 369.6 टोकन (शब्दों की इकाइयाँ) का उपयोग किया, जबकि टीचर ने 2,398.1 टोकन का उपयोग किया था। यह प्रयास में 6.5 गुना की भारी कमी है!
हालाँकि, एक कठिन संख्या पहेली "काउंटडाउन" (Countdown) पर, कहानी बदल गई। यहाँ, उस स्टूडेंट ने जो सब कुछ अपने दिमाग में करने की कोशिश कर रहा था (पूरी तरह से मास्क्ड), उसकी सटीकता वास्तव में गिरकर 41.7% हो गई। यह पता चला कि इस विशिष्ट प्रकार की पहेली के लिए, स्टूडेंट को सफल होने के लिए टीचर के नोट्स का कुछ हिस्सा देखने की आवश्यकता थी। लेकिन यहाँ दिलचस्प बात यह है कि शोधकर्ताओं ने एक "स्वीट स्पॉट" (सही संतुलन) खोज निकाला। स्टूडेंट को टीचर की सोच का बहुत छोटा हिस्सा (लग 30%, या एक "अल्फा" 0.3) देखने देकर, उसकी सटीकता आसमान छूकर 86.2% हो गई। यह टीचर (87.3%) के लगभग बराबर था, लेकिन फिर भी इसने टीचर की तुलना में लगभग 1.3 गुना कम टोकन का उपयोग किया। यह ऐसा था जैसे स्टूडेंट को संतुलन बनाने के लिए बस पर्याप्त ट्रेनिंग व्हील्स दिए गए हों, बिना पूरी साइकिल की आवश्यकता के।
शोध पत्र ने यह भी देखा कि ये स्टूडेंट्स नए, अनदेखे पहेलियों (आउट-ऑफ-डिस्ट्रीब्यूशन टास्क) को कितनी अच्छी तरह संभालते हैं। गणित के मामले में, स्टूडेंट्स ने अच्छा प्रदर्शन किया, लेकिन काउंटडाउन पहेलियों पर परिणाम थोड़े मिले-जुले रहे। दिलचस्प बात यह है कि कुछ मामलों में, स्कैफोल्डिंग के साथ प्रशिक्षित स्टूडेंट्स ने तब बेहतर प्रदर्शन किया जब पहेलियाँ कठिन हुईं या थोड़ी बदल गईं, जो कि खुद टीचर से भी बेहतर था।
एक प्रमुख निष्कर्ष यह था कि सिखाने का तरीका मायने रखता था। जब उन्होंने स्टूडेंट को केवल टीचर के नोट्स दिखाकर और उनसे नकल करने के लिए कहकर (एक विधि जिसे सुपरवाइज्ड फाइन-ट्यूनिंग कहा जाता है) सिखाने की कोशिश की, तो यह उतना प्रभावी नहीं रहा। "मास्क्ड डिस्टिलेशन" विधि, जो स्टूडेंट के अनुमानों की तुलना टीचर के वास्तविक विचारों से करने का एक अधिक जटिल तरीका उपयोग करती है, "सोचने" के कौशल को स्थानांतरित करने में बहुत अधिक प्रभावी थी।
अंत में, यह शोध पत्र सुझाव देता है कि हम हर समस्या के लिए सोचने के चरणों को जादुई रूप से हटा नहीं सकते। कोई AI "मौन रूप से सोच" सकता है या नहीं, यह काफी हद तक समस्या के प्रकार और स्टूडेंट मॉडल उस विषय के बारे में पहले से कितना जानता है, इस पर निर्भर करता है। बुनियादी गणित जैसे परिचित कार्यों के लिए, AI मौन रूप से सोच सकता है और बहुत सारा समय बचा सकता है। कठिन, अपरिचित पहेलियों के लिए, उसे अभी भी थोड़े से सहयोग—नोट्स के एक छोटे स्कैफोल्ड—की आवश्यकता हो सकती है। शोधकर्ता निष्कर्ष निकालते हैं कि यह "स्कैफोल्ड" एक शक्तिशाली उपकरण है जिसे आप ट्यून कर सकते हैं, जिससे आप AI की बुद्धिमत्ता और उसके उत्तर देने की गति के बीच सही संतुलन बना सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।