DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance
यह शोध पत्र DUET का प्रस्ताव करता है, जो एक टोकन-चयनात्मक ऑन-पॉलिसी डिस्टिलेशन विधि है जो दो समान-भार वाले शिक्षकों (एक निषेध संदर्भ के साथ और एक बिना निषेध संदर्भ के) के बीच प्रति-टोकन असहमति का लाभ उठाता है ताकि मॉडलों को सामान्य उपयोगिता बनाए रखते हुए गतिशील, अनुरोध-विशिष्ट निषेधों का अनुपालन करने के लिए प्रशिक्षित करने हेतु एक स्वच्छ पर्यवेक्षण संकेत उत्पन्न किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) कई आधुनिक डिजिटल सहायकों के पीछे के इंजन हैं, जो मानव-तुल्य टेक्स्ट उत्पन्न करने, समस्याओं को हल करने और प्रश्नों के उत्तर देने में सक्षम हैं। हालाँकि, वास्तविक दुनिया में, ये मॉडल अक्सर सख्त, बदलते नियमों के तहत काम करते हैं जो उनके मस्तिष्क में हार्ड-कोडेड नहीं होते हैं, बल्कि उनके उपयोग के समय उनके निर्देशों में इंजेक्ट किए जाते हैं। एक कंपनी मॉडल को अपने आंतरिक टूल्स का खुलासा न करने के लिए कह सकती है, जबकि एक अस्पताल यह मांग कर सकता है कि वह कभी भी मरीजों के नाम का उल्लेख न करे। ये नियम इस बात पर निर्भर करते हैं कि कौन पूछ रहा है और स्थिति क्या है। डेवलपर्स के लिए चुनौती मॉडल को इन विशिष्ट, अस्थायी निषेधों का पालन करना सिखाने की है, बिना उसे इतना सतर्क बनाए कि वह हानिरहित प्रश्नों के उत्तर देने से मना कर दे, या इतना आत्मविश्वासी बनाए कि वह अनजाने में नियमों को तोड़ दे। यदि कोई मॉडल इन निर्देशों का पालन करने में विफल रहता है, तो इससे डेटा लीक या ब्रांड सुरक्षा संबंधी घटनाएं हो सकती हैं; यदि वह बोलने से बहुत डर जाता है, तो वह बेकार हो जाता है।
टेन्सेंट (Tencent) के शोधकर्ताओं ने रनटाइम नियमों का पालन करने के लिए मॉडल्स को सिखाने की इस विशिष्ट समस्या को हल करने के लिए DUET नामक एक नई विधि विकसित की है। मॉडल को शुरू से फिर से प्रशिक्षित करने या केवल अच्छे और बुरे उत्तरों के उदाहरण दिखाने के बजाय, उन्होंने एक ऐसी प्रणाली बनाई है जो जुड़वा बच्चों की एक जोड़ी की तरह कार्य करती है। एक जुड़वा को अपने निर्देशों में वर्जित नियम दिखाई देता है, जबकि दूसरे जुड़वा को, जिसके पास बिल्कुल समान ज्ञान और क्षमताएं हैं, वह नियम दिखाई नहीं देता है। क्योंकि ये दोनों "शिक्षक" अन्यथा समान हैं, इसलिए उनके द्वारा कही गई किसी भी भिन्नता का कारण केवल उस विशिष्ट नियम की उपस्थिति या अनुपसर होना ही होना चाहिए। शोधकर्ता इस असहमति का उपयोग ठीक उसी स्थान को पहचानने के लिए करते हैं जहाँ मॉडल के गलती करने की संभावना होती है।
यह प्रक्रिया इस प्रकार काम करती है कि छात्र मॉडल (student model) एक प्रतिक्रिया उत्पन्न करता है जबकि दोनों शिक्षक जुड़वा उसे देखते हैं। जब दोनों शिक्षक इस बात पर सहमत होते हैं कि अगला शब्द क्या होना चाहिए, तो सिस्टम बातचीत के उस हिस्से को अनदेखा कर देता है, यह मानते हुए कि वह सुरक्षित और महत्वहीन है। हालाँकि, जब शिक्षक असहमत होते हैं—एक शब्द का सुझाव देता है जो किसी रहस्य को उजागर करता है और दूसरा एक सुरक्षित विकल्प का सुझाव देता है—तो सिस्टम उस विशिष्ट क्षण को एक महत्वपूर्ण सीखने के अवसर के रूप में चिह्नित करता है। यह छात्र मॉडल को अपना ध्यान केवल उन कुछ शब्दों पर केंद्रित करने की अनुमति देता है जहाँ नियम वास्तव में मायने रखता है, बजाय इसके कि वह उन हजारों शब्दों पर प्रयास बर्बाद करे जो पूरी तरह से ठीक हैं। इसके बाद छात्र को उस शिक्षक से धीरे से दूर धकेला जाता है जो नियम को अनदेखा करता है और उस शिक्षक की ओर खींचा जाता है जो नियम का सम्मान करता है, जिससे वह प्रभावी रूप से सहायकता और अनुपालन के बीच के अंतर को समझना सीख जाता है।
यह दृष्टिकोण पुराने तरीकों के एक दोष को संबोधित करता है जहाँ मॉडल्स को पूरी बातचीत पर प्रशिक्षित किया जाता था। उन पुराने सिस्टम में, यदि मॉडल एक लंबे उत्तर में एक भी गलती करता था, तो अक्सर पूरे उत्तर को बुरा माना जाता था, जिससे मॉडल इस बारे में भ्रमित हो जाता था कि विशिष्ट शब्द क्या थे। उस उल्लंघन के सटीक टोकन, या शब्द इकाई, तक असहमति को अलग करके, यह नई विधि बहुत अधिक स्पष्ट संकेत प्रदान करती है। शोधकर्ताओं ने इसे व्यक्तिगत जानकारी की सुरक्षा, सुरक्षा दिशानिर्देशों का पालन करने और व्यावसायिक टूल परिभाषाओं का पालन करने सहित विभिन्न कार्यों पर परखा। उन्होंने पाया कि इस दोहरे-शिक्षक पद्धति से प्रशिक्षित मॉडल्स नियमों को तोड़ने से इनकार करने में काफी बेहतर थे, जबकि वे वैध प्रश्नों के लिए उपयोगी बने रहे।
परिणामों ने दिखाया कि नई विधि ने 1.5 बिलियन पैरामीटर्स वाले छोटे मॉडल्स से लेकर 8 बिलियन वाले बड़े मॉडल्स तक, विभिन्न आकारों के मॉडल्स में मौजूदा तकनीकों को पछाड़ दिया। अपने परीक्षणों में, मॉडल्स ने उल्लंघनकारी अनुरोधों पर 72% से 85% से अधिक की अनुपालन दर हासिल की, जिसका अर्थ है कि उन्होंने सफलतापूर्वक नियमों को तोड़ने से इनकार किया, जबकि सामान्य प्रश्नों के लिए उच्च स्तर की उपयोगिता बनाए रखते हुए, उनकी सही उत्तर देने की क्षमता में 88% से 93% तक को संरक्षित रखा। महत्वपूर्ण रूप से, मॉडल्स ने अपनी सामान्य बुद्धिमत्ता नहीं खोई; वे गणित और तर्क पहेलियों के लिए पहले की तरह ही अच्छे रहे। अध्ययन बताता है कि दो समान मॉडल्स का उपयोग करके यह खोजने से कि नियम कहाँ मायने रखता है, डेवलपर्स ऐसे AI असिस्टेंट बना सकते हैं जो सुरक्षित और उपयोगी दोनों हों, जो भारी मात्रा में नए डेटा या अपनी मूल क्षमताओं को खोए बिना जटिल, बदलते निर्देशों को नेविगेट कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।