One Student, Many Teachers: Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context
यह शोध पत्र 'मल्टी-टास्क ऑन-पॉलिसी डिस्टिलेशन वाया सॉफ्ट-प्रॉम्ट प्रिविलेज्ड कॉन्टेक्स्ट' (Multi-Task On-Policy Distillation via Soft-Prompt Privileged Context) प्रस्तुत करता है, जो एक ऐसी विधि है जो फ्रोजन बैकबोन मॉडल्स के साथ कार्य-विशिष्ट सीखने योग्य सॉफ्ट प्रॉम्ट्स को शिक्षकों के रूप में उपयोग करती है ताकि एक एकल स्टूडेंट मॉडल बिना कैटास्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) से ग्रस्त हुए या पूर्ण वेट फाइन-ट्यूनिंग की आवश्यकता के बिना समानांतर में कई कार्यों से कुशलतापूर्वक ज्ञान आत्मसात कर सके।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े अनाड़ी छात्र को जटिल पहेलियाँ सुलझाना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह छात्र एक "लार्ज लैंग्वेज मॉडल" (LLM) है—एक कंप्यूटर प्रोग्राम जिसने इंटरनेट पर लगभग सब कुछ पढ़ लिया है और वह कहानियाँ लिख सकता है, सवालों के जवाब दे सकता है और गणित की समस्याओं को हल कर सकता है। लेकिन कभी-कभी, ये सुपर-स्मार्ट मॉडल भी अटक जाते हैं या मूर्खतापूर्ण गलतियाँ कर देते हैं। उन्हें ठीक करने के लिए, वैज्ञानिक "डिस्टिलेशन" (distillation) नामक एक तकनीक का उपयोग करते हैं। इसे एक मास्टर शेफ (शिक्षक) द्वारा एक जूनियर कुक (छात्र) को रेसिपी के माध्यम से मार्गदर्शन करने के रूप में समझें। छात्र केवल अंतिम व्यंजन की नकल नहीं करता; वह काटने, चलाने और चखने की हर प्रक्रिया को देखता है, जिससे वह केवल परिणाम को नहीं, बल्कि खाना बनाने की प्रक्रिया को सीखता है।
लंबे समय तक, इन AI छात्रों को सिखाने का सबसे अच्छा तरीका यह था कि शिक्षक एक आदर्श उत्तर लिखता और छात्र को दिखाता। लेकिन इसमें एक छिपा हुआ जाल था: शिक्षक कभी-कभी पहले उत्तर का अनुमान लगा लेता था और फिर उसे सही ठहराने के लिए एक कहानी बना देता था, बजाय इसके कि वह वास्तव में चरण-दर-चरण विचार करे। छात्र भी यह बुरी आदत सीख लेता था। एक अन्य विधि में शिक्षक के पूरे मस्तिष्क (इसके आंतरिक वेट्स/weights) को बदलना शामिल था ताकि इसे स्मार्ट बनाया जा सके, लेकिन इससे अक्सर शिक्षक अन्य चीजें, जैसे कविता लिखना या चैट करना, भूल जाता था जबकि वह नए कार्य पर ध्यान केंद्रित करता था। बड़ा सवाल जो वैज्ञानिक पूछ रहे थे वह यह है: हम एक ऐसा शिक्षक कैसे बनाएं जो सही रास्ता दिखाने के लिए पर्याप्त स्मार्ट हो, लेकिन इतना स्थिर भी हो कि वह अपने पुराने कौशल न भूल जाए या उत्तर कुंजी (answer key) देखकर नकल न करे?
यह शोध पत्र एक चतुर नया समाधान पेश करता है जिसे PROMPTSD (प्रॉम्प्ट-आधारित ऑन-पॉलिसी सॉफ्ट-डिस्टिलेशन) कहा जाता है। लेखक, जो अमेरिका और सिंगापुर के विश्वविद्यालयों की एक टीम है, एक ऐसा शिक्षक बनाने का प्रस्ताव देते हैं जो छात्र के लगभग समान है, सिवाय इसके कि इसके निर्देशों के आगे एक छोटा सा, अदृश्य "जादुई नोट" लगा हुआ है।
यह कैसे काम करता है, इसे एक सरल उपमा का उपयोग करके समझते हैं: कल्पना कीजिए कि छात्र और शिक्षक जुड़वां हैं जो बिल्कुल एक ही मस्तिष्क और व्यक्तित्व साझा करते हैं। आमतौर पर, छात्र को नया कौशल सिखाने के लिए, आप शिक्षक को पूरी तरह से नए चश्मे (इसका मस्तिष्क बदलना) दे सकते हैं या उत्तरों के साथ एक चीट शीट (इसे उत्तर कुंजी देना) दे सकते हैं। दोनों विधियों में समस्याएं हैं: नए चश्मे के कारण शिक्षक अन्य चीजों को देखना भूल जाता है, और चीट शीट के कारण शिक्षक आलसी हो जाता है, जो समस्या को हल करने के बजाय उत्तर को सही ठहराने लगता है।
PROMPTSD कुछ अलग करता है। यह शिक्षक को एक सॉफ्ट प्रॉम्प्ट देता है। इसे एक छोटे, अदृश्य स्टिकी नोट के रूप में सोचें जो कहता है, "याद रखें, इस विशिष्ट गणित की समस्या के लिए, पहले भिन्नों (fractions) के बारे में सोचें।" यह नोट संख्याओं से बना है, शब्दों से नहीं, और यही एकमात्र चीज़ है जो शिक्षक और छात्र के बीच बदलती है। शिक्षक का मस्तिष्क जमे हुए (frozen) और बिल्कुल वैसा ही रहता है जैसा छात्र का है। क्योंकि शिक्षक उत्तर कुंजी नहीं देख रहा है, इसलिए उसे सही रास्ता बनाने के लिए वास्तव में समस्या के बारे में सोचना पड़ता है। क्योंकि इसके मस्तिष्क को फिर से लिखा नहीं गया है, इसलिए यह अन्य चीजें करना नहीं भूलता है।
शोधकर्ताओं ने इस विचार का परीक्षण Qwen3-1.7B-Base और एक अन्य मॉडल Phi-4-mini-instruct पर किया। उन्होंने इन मॉडलों को चार अलग-अलग कौशल सिखाए: विज्ञान, उपकरणों का उपयोग करना (जैसे कैलकुलेटर या सर्च इंजन), जीव विज्ञान, और गणित। उन्होंने पाया कि उनका "जादुई नोट" वाला शिक्षक अविश्वसनीय रूप से प्रभावी था। एकल कार्यों (single tasks) में, छात्र उतना ही अच्छी तरह से सीख गया जितना कि यदि शिक्षक को पूरी तरह से रिट्रेन किया गया होता, लेकिन छात्र बहुत तेज़ी से सीख गया क्योंकि उसे अपने मस्तिष्क के केवल एक बहुत छोटे हिस्से (कुल मस्तिष्क के लगभग 0.05%, पूर्ण रिट्रेनिंग के 100% की तुलना में) को समायोजित करना पड़ा।
इससे भी अधिक प्रभावशाली बात यह है कि उन्होंने छात्र को एक साथ चार अलग-अलग कौशल सिखाने का प्रयास किया। आमतौर पर, जब आप एक साथ बहुत सारी चीजें सीखने की कोशिश करते हैं, तो आप पुरानी चीजों को भूल जाते हैं (एक समस्या जिसे "कैटास्ट्रोफिक फॉरगेटिंग" कहा जाता है)। लेकिन क्योंकि PROMPTSD शिक्षक केवल इन छोटे, कार्य-विशिष्ट नोट्स का उपयोग करता था, छात्र बिना भ्रमित हुए या अपनी सामान्य बुद्धिमत्ता को खोए बिना सभी चार शिक्षकों से ज्ञान को आत्मसात कर सका। वास्तव में, Qwen3-1.7B-Base मॉडल पर, इस मल्टी-टास्क दृष्टिकोण ने 56.2 का औसत स्कोर प्राप्त किया, जो अन्य सभी विधियों से बेहतर था।
यह शोध पत्र स्पष्ट रूप से कुछ सामान्य विचारों को खारिज करता है। यह दिखाता है कि केवल शिक्षक को उत्तर देने से (जैसे कि एक "गोल्ड आंसर" शिक्षक) वास्तव में छात्र को नुकसान पहुँचता है क्योंकि शिक्षक उत्तर को निकालने के बजाय केवल उसे सही ठहराता है। यह यह भी सुझाव देता है कि शिक्षक को बहुत बड़ा बनाने (जैसे कि 4B या 8B पैरामीटर वाला मॉडल) से हमेशा मदद नहीं मिलती है; कभी-कभी एक शिक्षक जो छात्र के आकार का ही है लेकिन सही "सोचने के पैटर्न" का उपयोग करता है, वह बेहतर होता है। इसके अलावा, उन्होंने पाया कि रीइन्फोर्समेंट लर्निंग (एक विधि जहाँ शिक्षक अनुभव और त्रुटि से सीखता है) उन कौशलों को तेज करने के लिए अच्छा है जो छात्र के पास पहले से मौजूद हैं, लेकिन यह शून्य से बिल्कुल नया ज्ञान सिखाने के लिए बहुत अच्छा नहीं है।
लेखक इन परिणामों के बारे में काफी आश्वस्त हैं क्योंकि उन्होंने अपने प्रयोग कई बार चलाए और संख्याओं की सावधानीपूर्वक जांच की। उन्होंने ठीक से मापा कि छात्र की सोच शिक्षक के साथ कितनी ओवरलैप करती है और पाया कि उनकी विधि ने सटीक मात्रा में ओवरलैप बनाया: सीखने के लिए पर्याप्त, लेकिन इतना नहीं कि नया खोजने के लिए कुछ भी शेष न रहे। उन्होंने यह भी सिद्ध किया कि उनकी विधि "SFT ट्रैप" से बचती है, जहाँ मॉडल को रिट्रेन करने से उसकी सामान्य क्षमताएं कम हो जाती हैं।
अंत में, PROMPTSD सुझाव देता है कि AI को सिखाने का रहस्य आवश्यक रूप से शिक्षक को बड़ा बनाना या उसे उत्तर देना नहीं है। इसके बजाय, यह शिक्षक को एक छोटा, लचीला संकेत (नज) देना है—एक सॉफ्ट प्रॉम्प्ट—जो उसकी पहचान बदले बिना उसके सोचने के तरीके को निर्देशित करता है। यह एक ही छात्र को एक साथ कई अलग-अलग शिक्षकों से सीखने की अनुमति देता है, जिससे वह अपनी पहचान खोए बिना कई कौशलों का मास्टर बन जाता है। यह एक व्यक्तिगत ट्यूटर होने जैसा है जो हर विषय के लिए आपकी कान में सही रणनीति फुसफुसाता है, बिना आपके मस्तिष्क को दोबारा लिखे या आपको परीक्षा के उत्तर देखने देने के।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।