Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning
यह शोध पत्र मल्टी-ऑब्जेक्टिव इन-कॉन्टेक्स्ट नॉलेज एडिटिंग (MO-IKE) का प्रस्ताव करता है, जो एक मल्टी-ऑब्जेक्टिव रीइन्फोर्समेंट लर्निंग एल्गोरिदम है जो प्रॉम्प्ट निर्माण को एक कंस्ट्रेंड मार्कोव डिसीजन प्रोसेस के रूप में स्वरूपित करता है ताकि विश्वसनीयता, सामान्यता और विशिष्टता को एक साथ अनुकूलित किया जा सके, जिससे पूर्व विधियों की तुलना में LLM ज्ञान को अपडेट करने में बेहतर प्रदर्शन प्राप्त किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) कृत्रिम बुद्धिमत्ता की एक नई पीढ़ी के पीछे के इंजन हैं, जो कहानियाँ लिखने, समस्याओं को हल करने और मानवीय विचारों की नकल करते हुए प्रवाह के साथ प्रश्नों के उत्तर देने में सक्षम हैं। हालाँकि, इन प्रणालियों की एक मौलिक सीमा है: उनका ज्ञान समय में स्थिर है। एक बार जब कोई मॉडल अपना प्रारंभिक प्रशिक्षण पूरा कर लेता है, तो उसके पास मौजूद तथ्य स्थिर हो जाते हैं। यदि किसी मॉडल को 2026 के शीतकालीन ओलंपिक से पहले प्रशिक्षित किया गया था, तो वह पदक गणना के अंतिम परिणामों को नहीं जान पाएगा, चाहे आप कितनी भी बार पूछें। इस ज्ञान को अपडेट करने के लिए आमतौर पर एक विशाल, महंगी पुन: प्रशिक्षण (retraining) प्रक्रिया की आवश्यकता होती है जो अधिकांश उपयोगकर्ताओं के लिए अव्यवहारिक है। इसे हल करने के लिए, शोधकर्ताओं ने 'इन-कॉन्टेक्स्ट नॉलेज एडिटिंग' नामक एक तकनीक विकसित की है। मॉडल के आंतरिक कोड को बदलने के बजाय, यह विधि बातचीत के प्रॉम्प्ट में मॉडल को उदाहरणों का एक सेट प्रदान करती है, जो प्रभावी रूप से उस विशिष्ट संवाद की अवधि के लिए उसे एक नया तथ्य सिखाती है। चुनौती उदाहरणों का एक आदर्श सेट बनाने में निहित है: इसे इतना मजबूत होना चाहिए कि मॉडल नए तथ्य को स्वीकार करने के लिए मजबूर हो जाए, इतना लचीला होना चाहिए कि प्रश्न को अलग तरह से पूछने पर भी काम कर सके, और इतना सटीक होना चाहिए कि यह सुनिश्चित हो सके कि मॉडल अनजाने में उन असंबंधित तथ्यों को न भूल जाए या बदल दे जिन्हें वह पहले से जानता है।
शोधकर्ताओं ने अब MO-IKE नामक एक नई प्रणाली पेश की है जो यह काफी सुधार करती है कि इन प्रॉम्प्ट्स को कैसे बनाया जाता है। इस प्रक्रिया को स्वचालित करने के पिछले प्रयासों ने सुदृढीकरण शिक्षण (reinforcement learning) पर भरोसा किया, जो एक ऐसी विधि है जहाँ एक कंप्यूटर प्रोग्राम प्रयास और त्रुटि (trial and error) के माध्यम से सीखता है। जबकि ये पिछली प्रणालियाँ मॉडल को नया तथ्य सिखाने में सफल हो सकती थीं, वे अक्सर उच्च लागत पर ऐसा करती थीं। नए तथ्य को स्वीकार किए जाने के लिए सुनिश्चित करने की अपनी जल्दबाजी में, ये प्रणालियाँ उन उदाहरणों को हटा देती थीं जो मॉडल के मौजूदा ज्ञान की रक्षा के लिए आवश्यक थे। इसने एक नाजुक संतुलन पैदा किया जहाँ एक त्रुटि को ठीक करने से अन्य त्रुटियाँ दिखाई देने लगती थीं। नया दृष्टिकोण प्रॉम्प्ट के निर्माण को वस्तुओं की एक साधारण सूची के रूप में नहीं, बल्कि एक क्रमिक निर्णय लेने वाली प्रक्रिया के रूप में मानता है। यह प्रणाली एक-एक करके यह चुनने के लिए सीखती है कि क्या एक ऐसा उदाहरण जोड़ना है जो नया तथ्य बताता है, एक ऐसा उदाहरण जो प्रश्न को फिर से लिखता है, या एक ऐसा उदाहरण जो उस तथ्य को पुख्ता करता है जिसे अपरिवर्तित रहना चाहिए। यह उदाहरण जोड़ना तभी रोकता है जब यह निर्धारित करता है कि प्रॉम्प्ट पूर्ण है।
शोधकर्ताओं ने इस प्रणाली को एक बहु-उद्देश्यीय पुरस्कार संरचना (multi-objective reward structure) का उपयोग करके प्रशिक्षित किया, जिसका अर्थ है कि कंप्यूटर को तीन क्षेत्रों में एक साथ सफलता के लिए पुरस्कृत किया गया था: नए तथ्य को सही ढंग से प्राप्त करना, प्रश्न पूछने के विभिन्न तरीकों को संभालना, और असंबंधित तथ्यों को सुरक्षित रखना। इन प्रतिस्पर्धी लक्ष्यों को संतुलित करके, यह नई विधि प्रणाली को बहुत अधिक आक्रामक होने से रोकती है। तथ्यों के एक मानक सेट पर परीक्षण किए जाने पर, नई प्रणाली ने संपादन की सफलता दर को 87.1 प्रतिशत से बढ़ाकर 91.1 प्रतिशत कर दिया। इससे भी महत्वपूर्ण बात यह है कि इसने असंबंधित ज्ञान के संरक्षण में नाटकीय रूप से सुधार किया, जिससे प्रतिधारण दर (retention rate) 41.0 प्रतिशत से बढ़कर 63.4 प्रतिशत हो गई। इसका अर्थ है कि मॉडल अब नए तथ्यों को सीखते समय उन तथ्यों को "भूलने" की संभावना बहुत कम रखता है जिन्हें बदलने की आवश्यकता नहीं थी। यह प्रणाली अत्यधिक अनुकूलन योग्य भी सिद्ध हुई; एक विशिष्ट भाषा मॉडल पर प्रशिक्षित संस्करण बिना किसी अतिरिक्त प्रशिक्षण के पूरी तरह से अलग मॉडल पर लागू होने पर भी उतना ही अच्छा काम करता है।
यह अध्ययन दर्शाता है कि उदाहरणों को कैसे व्यवस्थित किया जाता है, यह उदाहरणों के स्वयं के होने जितना ही महत्वपूर्ण है। पहले के तरीकों ने अक्सर एक निश्चित टेम्पलेट का उपयोग किया या केवल एक प्रकार के उदाहरण पर ध्यान केंद्रित किया, जिससे असंतुलित प्रॉम्प्ट बने। नई प्रणाली विभिन्न प्रकार के उदाहरणों को गतिशील रूप से मिश्रित करती है, जिससे एक मजबूत और विशिष्ट संदर्भ बनता है। पाँच अलग-अलग फ्रीज़्ड लैंग्वेज मॉडल्स और चार अलग-अलग डेटासेट्स (जिसमें 3,00,000 से अधिक उदाहरणों वाला एक विशाल बेंचमार्क शामिल है) पर परीक्षणों में, इस पद्धति ने लगातार पिछली तकनीकों को पछाड़ दिया। शोधकर्ताओं ने पाया कि नए जानकारी सिखाने और पुरानी जानकारी की रक्षा करने के बीच के संतुलन को सावधानीपूर्वक प्रबंधित करके, वे विश्वसनीयता और विशिष्टता का एक ऐसा स्तर प्राप्त कर सकते हैं जो पहले पहुंच से बाहर था। यह कार्य सुझाव देता है कि कृत्रिम बुद्धिमत्ता को अपडेट करने का भविष्य बड़े पैमाने पर पुन: प्रशिक्षण में नहीं, बल्कि बातचीत के माध्यम से मॉडल को निर्देशित करने के स्मार्ट और अधिक संतुलित तरीकों में निहित है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।