Policy-TD: Teacher-Distilled Runtime Control for Frozen Small Language Models
पॉलिसी-टीडी (Policy-TD), शिक्षक-निरीक्षित ट्रेस अवस्थाओं (teacher-audited trace states) को एक रनटाइम कंट्रोलर में आसवित (distill) करके फ्रोजन स्मॉल लैंग्वेज मॉडल्स की विश्वसनीयता को बढ़ाता है, जो उत्तर-प्रतिबद्धता विफलताओं (answer-commitment failures) को ठीक करने के लिए हस्तक्षेप करता है, जिससे प्रदर्शन में गिरावट लाए बिना या नई क्षमताएं बनाए बिना आंतरिक और स्ट्रेस-टेस्ट सटीकता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, विशाल, शक्तिशाली प्रणालियों जिन्हें चलाने के लिए बड़े डेटा केंद्रों की आवश्यकता होती है, और छोटी, अधिक कुशल मॉडलों जो एक लैपटॉप या यहाँ तक कि स्मार्टफोन पर भी चल सकते हैं, के बीच एक बढ़ता हुआ अंतर है। छोटे मॉडलों को उनकी गति, कम लागत और निजी डेटा को स्थानीय रखने की क्षमता के लिए सराहा जाता है, लेकिन उनके साथ एक महत्वपूर्ण कमजोरी भी आती है: उनमें अक्सर अपने बड़े संस्करणों की तरह गहरी तर्क क्षमता (reasoning skills) का अभाव होता है। एक कठिन प्रश्न का सामना करने पर, एक छोटा मॉडल आत्मविश्वास के साथ गलत उत्तर दे सकता है क्योंकि उसे यह पता नहीं होता कि उसके पास आवश्यक जानकारी की कमी है। वह पर्याप्त साक्ष्य जुटाने से पहले ही एक प्रतिक्रिया के प्रति प्रतिबद्ध हो जाता है, जो ज्ञान की कमी नहीं बल्कि निर्णय लेने की विफलता है। शोधकर्ताओं के लिए केंद्रीय प्रश्न यह है कि क्या इस विशिष्ट प्रकार की त्रुटि को पूरे मॉडल को फिर से प्रशिक्षित किए बिना ठीक करना संभव है, जो एक महंगी प्रक्रिया है और अक्सर गोपनीयता-संवेदनशील अनुप्रयोगों के लिए असंभव होती है।
शोधकर्ताओं की एक टीम ने एक समाधान प्रस्तावित किया है जो इन 'फ्रोजन' (frozen) मॉडलों के लिए एक सुरक्षा स्विच के रूप में कार्य करता है। छोटे मॉडल को नए तथ्य सिखाने या उसके आंतरिक मस्तिष्क को बदलने के बजाय, उन्होंने एक अलग, हल्का नियंत्रक (controller) बनाया है जो वास्तविक समय में मॉडल के काम करने के तरीके पर नज़र रखता है। 'पॉलिसी-टीडी' (Policy-TD) नामक यह नियंत्रक स्वयं उत्तर उत्पन्न नहीं करता है। इसके बजाय, यह मॉडल की विचार प्रक्रिया का अवलोकन करता है और यह निर्णय लेता है कि क्या मॉडल अंतिम उत्तर देने के लिए तैयार है या उसे रुकना चाहिए, अधिक जानकारी मांगनी चाहिए, या कोई अलग दृष्टिकोण अपनाना चाहिए। यह प्रणाली मॉडल की वर्तमान स्थिति की तुलना एक बहुत ही शक्तिशाली, "शिक्षक" (teacher) बुद्धिमत्ता से सीखे गए नियमों के सेट से करके काम करती है। यदि शिक्षक ने किसी गलती को चिह्नित किया होता, तो नियंत्रक छोटे मॉडल को समय से पहले प्रतिबद्ध होने से रोकने के लिए हस्तक्षेप करता है।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण तीन अलग-अलग छोटे भाषा मॉडलों पर किया जिन्हें पूरी तरह से अपरिवर्तित या "फ्रोजन" छोड़ दिया गया था, जिसका अर्थ है कि उनके आंतरिक सेटिंग्स में कोई बदलाव नहीं किया गया था। उन्होंने एक विशेष परीक्षण क्षेत्र बनाया जो उन प्रश्नों से भरा था जो इन मॉडलों को तब उत्तर देने के लिए उकसाते थे जब उन्हें वास्तव में यह स्वीकार कर लेना चाहिए था कि वे नहीं जानते। इस नियंत्रित वातावरण में, बिना किसी सहायता के चलने वाले बेसलाइन मॉडल केवल लगभग 31% बार सही उत्तर दे पाए। जब नया नियंत्रक चालू किया गया, तो सटीकता बढ़कर लगभग 47% हो गई। महत्वपूर्ण रूप से, यह सुधार पूरी तरह से नियंत्रक द्वारा मॉडलों को गलत अनुमान लगाने से रोकने से आया। सैकड़ों परीक्षण मामलों में से, सिस्टम ने 145 त्रुटियों को सुधारा और एक भी सही उत्तर को गलती से खराब नहीं किया। जब शोधकर्ताओं ने मॉडल के व्यवहार को बदलने की नियंत्रक की क्षमता को बंद कर दिया, तो प्रदर्शन तुरंत वापस मूल 31% पर आ गया, जिससे यह सिद्ध हुआ कि सुधार निर्णय लेने वाली परत (decision-making layer) से आया था, न कि मॉडल से।
अध्ययन ने यह भी देखा कि जब प्रश्न प्रशिक्षण के दौरान उपयोग किए गए प्रश्नों से भिन्न होते हैं, तो यह विधि कितनी अच्छी तरह काम करती है, जिसे नए डोमेन में स्थानांतरण (transferring to new domains) कहा जाता है। परिणाम अधिक मिश्रित लेकिन फिर भी वर्णनात्मक रहे। प्रशिक्षण डेटा के समान तनाव परीक्षणों (stress tests) पर, सिस्टम ने बिना किसी नुकसान के सटीकता को 33.56% से बढ़ाकर 37.63% कर दिया। हालांकि, विज्ञान, गणित और सामान्य ज्ञान को कवर करने वाले एक व्यापक, सार्वजनिक प्रश्नों के संग्रह पर परीक्षण करने पर, लाभ बहुत कम थे, जो केवल 18.67% से बढ़कर 19.22% हो गया। इससे भी महत्वपूर्ण बात यह है कि इस व्यापक सेटिंग में, सिस्टम ने कभी-कभी गलतियाँ कीं, जिससे सही उत्तर गलत में बदल गए। ऐसा इसलिए हुआ क्योंकि नियंत्रक ने कभी-कभी उन समस्याओं को ठीक करने की कोशिश की जिन्हें हल करने के लिए छोटे मॉडल के पास अंतर्निहित क्षमता ही नहीं थी। शोधकर्ताओं ने पाया कि नियंत्रक तब सबसे अच्छा काम करता है जब मॉडल के पास सही उत्तर देने की क्षमता होती है लेकिन उसे बस रुकने या फिर से सोचने की आवश्यकता होती है; यह वह नया ज्ञान या गणितीय कौशल पैदा नहीं कर सकता जो मॉडल के पास पहले से मौजूद नहीं है।
इसकी सफलता काफी हद तक प्रश्न के प्रकार और उपयोग किए जा रहे विशिष्ट मॉडल पर निर्भर थी। नियंत्रक उन प्रश्नों को संभालने में सबसे प्रभावी था जहाँ जानकारी गायब थी या उत्तर अज्ञात था, जैसे कि पाठ में प्रदान की गई किसी तथ्य के बारे में पूछना। इन मामलों में, नियंत्रक ने सफलतापूर्वक मॉडल को अनुमान लगाने से रोका और उसे अनिश्चितता स्वीकार करने के लिए मजबूर किया। हालांकि, जटिल गणितीय समस्याओं या गहरे तार्किक तर्क की आवश्यकता वाले कार्यों के लिए, नियंत्रक कौशल की कमी की भरपाई नहीं कर सका। शोधकर्ताओं ने यह भी नोट किया कि विभिन्न छोटे मॉडल अलग-अलग प्रतिक्रिया देते थे; एक मॉडल में महत्वपूर्ण सुधार हुआ, दूसरे में मामूली वृद्धि हुई, और तीसरे का प्रदर्शन नियंत्रक सक्रिय होने पर वास्तव में खराब हो गया। यह सुझाव देता है कि नियंत्रक कोई सार्वभौमिक समाधान नहीं है बल्कि एक उपकरण है जिसे मॉडल के मार्गदर्शन करने वाली विशिष्ट क्षमताओं के साथ सावधानीपूर्वक मिलाया जाना चाहिए।
अंततः, यह शोध प्रदर्शित करता है कि आर्टिफिशियल इंटेलिजेंस में विश्वसनीयता में सुधार केवल मॉडल को स्मार्ट बनाकर ही नहीं, बल्कि यह प्रबंधित करके भी किया जा सकता है कि मॉडल कब बोलता है। निर्णय लेने वाली एक परत जोड़कर जो "रुकें" या "फिर से प्रयास करें" कह सकती है, उन कई त्रुटियों को सुधारा जा सकता है जो मॉडल के अत्यधिक आत्मविश्वासी होने पर होती हैं। हालांकि, इस दृष्टिकोण की स्पष्ट सीमाएं हैं। यह उस मॉडल को ठीक नहीं कर सकता जिसमें समस्या को हल करने की मौलिक क्षमता की कमी है, और यदि इसे इसके प्रशिक्षण के बाहर के कार्यों पर बहुत आक्रामक रूप से लागू किया जाता है, तो यह नई त्रुटियां भी उत्पन्न कर सकता है। अध्ययन निष्कर्ष निकालता है कि छोटे, फ्रोजन मॉडलों को वास्तविक दुनिया के अनुप्रयोगों में वास्तव में उपयोगी होने के लिए, उन्हें एक ऐसे गार्डरेल (guardrail) की आवश्यकता है जो जानता हो कि उन्हें कब आगे बढ़ने देना है और कब उन्हें रोकना है, लेकिन उस गार्डरेल को हर विशिष्ट कार्य और मॉडल संयोजन के लिए सत्यापित किया जाना चाहिए ताकि यह सुनिश्चित हो सके कि यह फायदे से अधिक नुकसान न पहुँचाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।