Distilling Black-Box Machine Learning into a Small, Self-Explaining Language Model for Learning Analytics
यह शोध पत्र एक दो-चरणीय फाइन-ट्यूनिंग पाइपलाइन का प्रस्ताव करता है जो ब्लैक-बॉक्स मशीन लर्निंग मॉडलों और उनकी व्याख्याओं को एक छोटे, ओपन-वेट लैंग्वेज मॉडल में संकलित (distill) करता है, जो लर्निंग एनालिटिक्स के लिए सटीक, ऑडिटेड और गोपनीयता-संरक्षित व्यक्तिगत-स्तरीय भविष्यवाणियां और प्राकृतिक भाषा स्पष्टीकरण उत्पन्न करने में सक्षम है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
शिक्षा की दुनिया में, स्कूल और परामर्शदाता अक्सर यह समझने के लिए कि छात्र कैसे सीखते हैं और कौन से पाठ्यक्रम उन्हें सफल होने में मदद कर सकते हैं, जटिल कंप्यूटर प्रोग्रामों पर भरोसा करते हैं। ये प्रोग्राम शक्तिशाली हैं; वे हजारों छात्र रिकॉर्ड में उन पैटर्न को पहचान सकते हैं जिन्हें मानवीय आँखें नहीं देख पातीं। हालाँकि, ये प्रोग्राम अक्सर एक 'ब्लैक बॉक्स' की तरह काम करते हैं: वे डेटा लेते हैं और एक भविष्यवाणी देते हैं, लेकिन वे यह नहीं बता पाते कि उन्होंने उस निष्कर्ष तक पहुँचने के लिए क्यों ऐसा किया। उनका तर्क लाखों सूक्ष्म गणनाओं के भीतर दबा होता है, जिससे माता-पिता, शिक्षक और छात्र एक ऐसे नंबर के साथ रह जाते हैं जिस पर वे भरोसा या समझ नहीं पाते। इसके अलावा, इन परिष्कृत प्रोग्रामों को चलाने के लिए आमतौर पर महंगे कंप्यूटर और विशेषज्ञ विशेषज्ञों की आवश्यकता होती है, जो उन्हें एक सामान्य कक्षा या परिवार के बैठक कक्ष के उपयोग के लिए अप्राप्य बना देता है।
इसे हल करने के लिए, शोधकर्ता इन उपकरणों को पारदर्शी और सुलभ बनाने का एक नया तरीका खोज रहे हैं। वे आर्टिफिशियल इंटेलिजेंस के एक प्रकार, जिसे 'लार्ज लैंग्वेज मॉडल' (large language model) कहा जाता है, की ओर देख रहे हैं—वही तकनीक जो निबंध लिखने या स्वाभाविक भाषा में उत्तर देने में सक्षम चैटबॉट्स को शक्ति देती है। विचार यह है कि इस तकनीक के एक छोटे, कुशल संस्करण को न केवल भविष्यवाणी करना, बल्कि इसे सरल अंग्रेजी में समझाने के लिए भी प्रशिक्षित किया जाए। यदि यह सफल होता है, तो यह एक स्कूल काउंसलर को कंप्यूटर से पूछने की अनुमति देगा, "क्या इस छात्र को उन्नत गणित से लाभ होगा?" और उसे एक स्पष्ट, ईमानदार उत्तर मिलेगा जो निर्णय को प्रभावित करने वाले विशिष्ट कारकों की सूची देगा, और यह सब छात्र के निजी डेटा को स्थानीय लैपटॉप पर सुरक्षित रखते हुए किया जाएगा।
टीचर्स कॉलेज, कोलंबिया यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस विजन को वास्तविकता बनाने के लिए एक विधि विकसित की है। उन्होंने एक दो-चरणीय प्रक्रिया बनाई है जो एक शक्तिशाली, जटिल मशीन लर्निंग मॉडल को एक छोटे, सरल मॉडल को उसकी सोच और उसके स्पष्टीकरणों की नकल करना सिखाती है। अपने पहले चरण में, उन्होंने एक "मेंटर" (mentor) सिस्टम को प्रशिक्षित किया। यह सिस्टम एक लचीले मशीन लर्निंग एल्गोरिदम का उपयोग करके छात्र की भविष्य की सफलता की भविष्यवाणी करता है और फिर उस भविष्यवाणी को उसके घटकों में विभाजित करता है। यह एक आधारभूत औसत (baseline average) की गणना करता है, यह पहचानता है कि कौन सी विशिष्ट छात्र विशेषताएं भविष्यवाणी को ऊपर या नीचे ले जाती हैं, और यहाँ तक कि यह भी देखता है कि कैसे कुछ लक्षण मिलकर परिणाम को बदल सकते हैं। यह सिस्टम उन नंबरों को एक संरचित, तथ्यात्मक रिपोर्ट में अनुवादित करता है, यह सुनिश्चित करते हुए कि स्पष्टीकरण का हर नंबर अंतिम भविष्यवाणी में पूरी तरह से जुड़ता हो।
दूसरे चरण में, शोधकर्ताओं ने "डिस्टिलेशन" (distillation) नामक एक तकनीक का उपयोग किया ताकि एक छोटे भाषा मॉडल को, जिसे वे "मेंटी" (mentee) कहते हैं, इन रिपोर्टों को पढ़ना और उनसे सीखना सिखाया जा सके। केवल अंतिम उत्तर को याद करने के बजाय, मेंटी पूरी विचार प्रक्रिया को सीखता है: भविष्यवाणी के पीछे का गणित, परिणाम के पीछे के विशिष्ट कारण, और अंतिम सिफारिश का तर्क। शोधकर्ताओं ने इस छोटे मॉडल को हजारों ऐसे उदाहरणों पर प्रशिक्षित किया जब तक कि वह शून्य से अपनी स्वयं की भविष्यवाणियाँ और स्पष्टीकरण उत्पन्न करने में सक्षम नहीं हो गया। परिणाम एक एकल, संक्षिप्त कंप्यूटर प्रोग्राम है जो बिना इंटरनेट कनेक्शन या सुपरकंप्यूटर की आवश्यकता के एक मानक लैपटॉप पर चल सकता है। यह एक छात्र की प्रोफाइल ले सकता है, उसके संभावित परिणाम की भविष्यवाणी कर सकता है, और ठीक से समझाते हुए एक पैराग्राफ लिख सकता है कि निर्णय को प्रेरित करने वाले विशिष्ट कारक जैसे कि पिछला गणित स्कोर या पारिवारिक आय क्या थे।
यह परीक्षण करने के लिए कि क्या यह नया सिस्टम वास्तव में काम करता है, शोधकर्ताओं ने पहले एक सिमुलेशन चलाया जहाँ वे पहले से ही सटीक उत्तर जानते थे। उन्होंने एक नकली डेटासेट बनाया जिसमें ज्ञात नियम थे और सिस्टम को उन्हें सीखने के लिए कहा। जब सिस्टम को सटीक, त्रुटिहीन डेटा दिया गया, तो छोटे भाषा मॉडल ने नियमों को लगभग पूरी तरह से सीख लिया। इसने महत्वपूर्ण कारकों को सही ढंग से रैंक किया, फर्जी कारण नहीं बनाए, और इसके स्पष्टीकरण 90 प्रतिशत से अधिक के सहसंबंध (correlation) के साथ सत्य से मेल खाते थे। इसने सिद्ध किया कि छोटा मॉडल सटीकता खोए बिना जटिल तर्क को सीखने में सक्षम था। हालाँकि, जब शोधकर्ताओं ने एक अधिक वास्तविक परिदृश्य में स्विच किया जहाँ प्रारंभिक डेटा में त्रुटियाँ और शोर (noise) था, तो सिस्टम का प्रदर्शन गिर गया, लेकिन इसलिए नहीं कि छोटा मॉडल विफल हुआ। इसके बजाय, त्रुटियाँ स्वयं प्रारंभिक डेटा से आई थीं। छोटे मॉडल ने बड़े सिस्टम की गलतियों को भी पूरी निष्ठा से दोहराया, जिससे पता चला कि यह केवल उतनी ही अच्छी है जितना कि इसे दी गई जानकारी।
शोधकर्ताओं ने अपनी विधि को हजारों अमेरिकी हाई स्कूल छात्रों को ट्रैक करने वाले एक वास्तविक दुनिया के डेटासेट पर लागू किया। उन्होंने सिस्टम से यह अनुमान लगाने के लिए कहा कि उन्नत गणित पाठ्यक्रम लेने से एक छात्र के चार साल के कॉलेज में नामांकन करने की संभावनाओं पर क्या प्रभाव पड़ेगा। सिस्टम ने शिक्षा अनुसंधान के एक स्थापित तथ्य की पुष्टि की: उन्नत गणित पाठ्यक्रम उन छात्रों को सबसे अधिक लाभ पहुँचाते हैं जिनके कॉलेज जाने की संभावना सबसे कम होती है। इसने पहचाना कि कम पिछले गणित स्कोर और कम पारिवारिक आय वाले छात्रों को इन पाठ्यक्रमों से सबसे अधिक लाभ मिलता है। महत्वपूर्ण रूप से, सिस्टम ने इन अंतर्दृष्टि को उच्च स्तर की विश्वसनीयता के साथ प्रदान किया। वास्तविक दुनिया के परीक्षण में, छोटे मॉडल द्वारा उत्पन्न लगभग 99 प्रतिशत स्पष्टीकरण एक सख्त ऑडिट से पास हुए, जिसका अर्थ था कि उद्धृत प्रत्येक संख्या सटीक थी, दिया गया प्रत्येक कारण डेटा द्वारा समर्थित था, और कोई भी गलत आंकड़े नहीं बनाए गए थे।
अध्ययन ने इस तकनीक की सीमाओं के बारे में एक महत्वपूर्ण सबक भी उजागर किया। जबकि छोटा मॉडल यह समझाने में उत्कृष्ट था कि उसने एक निर्णय क्यों लिया, उसे सही निर्णय लेने में कभी-कभी संघर्ष करना पड़ा जब डेटा एक परिणाम की ओर अत्यधिक झुका हुआ था। उन मामलों में जहाँ लगभग सभी छात्रों के सफल होने की भविष्यवाणी की गई थी, मॉडल ने सभी के लिए सफलता की सिफारिश करने की प्रवृत्ति दिखाई, भले ही डेटा सुझाव दे रहा था कि कुछ छात्रों को इससे नुकसान हो सकता है। ऐसा इसलिए हुआ क्योंकि मॉडल ने डेटा में बहुमत के पैटर्न का पालन करना सीख लिया था। शोधकर्ताओं ने पाया कि जबकि मॉडल के स्पष्टीकरण प्रवाहपूर्ण और आत्मविश्वासी थे, प्रवाह (fluency) शुद्धता की गारंटी नहीं देता है। यदि अंतर्निहित डेटा दोषपूर्ण या असंतुलित है, तो मॉडल एक गलत निष्कर्ष को भी उतनी ही आत्मविश्वास से समझाएगा जितना कि एक सही निष्कर्ष को।
अंततः, यह शोध प्रदर्शित करता है कि जटिल मशीन लर्निंग की शक्ति को एक छोटे, स्वयं-स्पष्ट उपकरण में बदलना संभव है जो सामान्य हार्डवेयर पर चलता है। परिणामी सिस्टम शिक्षकों को संवेदनशील छात्र डेटा को क्लाउड पर भेजे बिना या डेटा वैज्ञानिकों को नियुक्त किए बिना परिष्कृत अंतर्दृष्टि तक पहुँचने की अनुमति देता है। छोटा मॉडल एक काउंसलर के लैपटॉप पर बैठ सकता है, जो किसी भी छात्र के लिए सेकंडों में व्यक्तिगत, ऑडिट किया गया स्पष्टीकरण प्रदान करने के लिए तैयार है। हालाँकि यह तकनीक पूर्ण नहीं है और यह काफी हद तक प्रारंभिक डेटा की गुणवत्ता पर निर्भर करती है, यह शिक्षा में आर्टिफिशियल इंटेलिजेंस को पारदर्शी, विश्वसनीय और सुलभ बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।