Forgotten in Weights, Recovered by Tools: Agentic Tool Unlearning for LLM Agents
यह शोध पत्र एजेंटिक टूल अनलर्निंगिंग (ATU) को प्रस्तुत करता है, जो एक दो-चरणीय ढांचा है जो पैरामीट्रिक ज्ञान दमन (parametric knowledge suppression) को ट्रेजेक्टरी-स्तरीय सुदृढीकरण लर्निंग (trajectory-level reinforcement learning) के साथ जोड़ता है ताकि बड़े भाषा मॉडल एजेंटों को रिटेन किए गए ज्ञान के लिए उनकी उपयोगिता बनाए रखते हुए बाहरी उपकरणों के माध्यम से विस्मृत जानकारी को पुनः प्राप्त करने से रोका जा सके।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) कई आधुनिक डिजिटल सहायकों के पीछे के इंजन हैं, जो टेक्स्ट जेनरेट करने, सवालों के जवाब देने और बातचीत करने में सक्षम हैं। वर्षों से, शोधकर्ता इन मॉडल्स को विशिष्ट जानकारी, जैसे कि निजी डेटा या कॉपीराइट वाली कहानियों को "भूलने" के लिए सिखाने पर ध्यान केंद्रित कर रहे हैं, जो ज्ञान को संग्रहीत करने वाली आंतरिक सेटिंग्स को बदलकर किया जाता है। यह प्रक्रिया, जिसे 'मशीन अनलर्निंग' (machine unlearning) कहा जाता है, इसका उद्देश्य कुछ तथ्यों के प्रभाव को हटाना है ताकि मॉडल उन्हें फिर से याद न कर सके। हालाँकि, जैसे-जैसे ये मॉडल्स साधारण टेक्स्ट जनरेटर से सक्रिय एजेंटों में विकसित हो रहे हैं, एक नई जटिलता उभर कर आई है। ये एजेंट केवल अपनी आंतरिक स्मृति पर निर्भर नहीं रहते; वे बाहरी दुनिया तक पहुँच सकते हैं, वास्तविक समय में उत्तर खोजने के लिए वेब सर्च इंजन या डेटाबेस जैसे उपकरणों (tools) का उपयोग कर सकते हैं। यह बदलाव एक खामी पैदा करता है: भले ही एक मॉडल ने आंतरिक रूप से किसी तथ्य को सफलतापूर्वक भुला दिया हो, वह फिर भी उसी तथ्य को इंटरनेट से प्राप्त कर सकता है और उसे अपने उत्तर के रूप में प्रस्तुत कर सकता है, जिससे भूलने की प्रक्रिया प्रभावी रूप से बाईपास हो जाती है।
शोधकर्ताओं की एक टीम ने इस विशिष्ट विफलता मोड की पहचान की है, जिसे वे "टूल-मीडिएटेड रिकवरी" (tool-mediatedated recovery) कहते हैं, और इस अंतर को पाटने के लिए एक नई विधि विकसित की है। अपने अध्ययन में, उन्होंने प्रदर्शित किया कि जब मॉडल को बाहरी उपकरणों तक पहुँच वाले एक एजेंट के रूप में तैनात किया जाता है, तो अनलर्निंग की मानक तकनीकें अपर्याप्त होती हैं। उन्होंने पाया कि जबकि एक मॉडल को अलग-थलग परीक्षण करने पर वह जानकारी भूलता हुआ प्रतीत हो सकता है, लेकिन एक बार वेब खोजने या डेटाबेस में जानकारी खोजने की अनुमति मिलने पर वह आसानी से उस जानकारी को पुनः प्राप्त कर सकता है। इसे हल करने के लिए, शोधकर्ताओं ने एक दो-चरणीय प्रशिक्षण ढांचे (two-stage training framework) का प्रस्ताव दिया। पहला चरण अवांछित जानकारी की आंतरिक स्मृति को दबाने का पारंपरिक कार्य करता है। दूसरा चरण अधिक जटिल है; यह मॉडल को एक सिम्युलेटेड वातावरण में प्रशिक्षित करता है जहाँ वह एक एजेंट के रूप में कार्य करता है, यह सीखने के लिए कि कब एक खोज या टूल कॉल उसे वर्जित जानकारी की ओर ले जाएगा और इसके बजाय रुकने या एक सुरक्षित, गैर-प्रकट करने वाला उत्तर देने का निर्णय लेना है।
शोधकर्ताओं ने प्रसिद्ध व्यक्तियों और कॉपीराइट वाली पुस्तकों से जुड़े वास्तविक दुनिया के परिदृश्यों पर इस दृष्टिकोण का परीक्षण किया। प्रयोगों के एक सेट में, उन्होंने मापा कि एक अनलर्न किया गया मॉडल कितनी बार गलती से भुला दी गई जानकारी को प्रकट करेगा। जब मॉडल को बिना टूल्स के एक मानक टेक्स्ट जनरेटर के रूप में उपयोग किया गया, तो उसने जानकारी से सफलतापूर्वक परहेज किया। हालाँकि, एक बार जब उसी मॉडल को सर्च टूल्स तक पहुँच दी गई, तो जानकारी छिपाने की उसकी क्षमता ढह गई, और वह भुला दिए गए तथ्यों को बहुत उच्च दर पर प्रकट करने लगा। उदाहरण के लिए, सार्वजनिक हस्तियों से संबंधित एक परीक्षण में, टूल्स सक्षम होने पर आइसोलेशन (isolation) की तुलना में आकस्मिक प्रकटीकरण की दर काफी बढ़ गई। इसने पुष्टि की कि टूल्स स्वयं एक रिकवरी चैनल के रूप में कार्य कर रहे थे, जिससे मॉडल को वह ज्ञान पुनर्गठित करने की अनुमति मिली जिसे उसे हटा देना चाहिए था।
इस समस्या को संबोधित करने के लिए, शोधकर्ताओं ने अपनी दो-चरणीय विधि लागू की। प्रारंभिक आंतरिक अनलर्निंग के बाद, उन्होंने मॉडल को दूसरे चरण के प्रशिक्षण के अधीन किया, जहाँ उसने एक नियंत्रित सेटिंग में टूल्स के साथ बातचीत करने का अभ्यास किया। इस चरण के दौरान, मॉडल को वर्जित जानकारी से बचने के लिए पुरस्कृत किया गया, भले ही टूल्स ने वह जानकारी प्रदान की हो, और उस विशिष्ट डेटा को खोजने के लिए टूल्स का उपयोग करने के प्रयास के लिए दंडित किया गया। परिणामों ने दिखाया कि इस अतिरिक्त प्रशिक्षण ने टूल्स के माध्यम से भुलाई गई जानकारी को पुनः प्राप्त करने की मॉडल की क्षमता को काफी कम कर दिया। सार्वजनिक हस्तियों के परीक्षणों में, इस विधि ने पहले चरण के अनलर्निंग वाले मॉडलों की तुलना में आकस्मिक प्रकटीकरण की दर को एक बड़े अंतर से कम कर दिया। इसी तरह, कॉपीराइट वाली पुस्तक सामग्री से जुड़े परीक्षणों में, विधि ने मॉडल को छिपे हुए टेक्स्ट को प्राप्त करने के लिए स्थानीय डेटाबेस का उपयोग करने से रोका।
महत्वपूर्ण रूप से, शोधकर्ताओं ने यह सुनिश्चित किया कि यह नई विधि मॉडल की सामान्य रूप से कार्य करने की क्षमता को बाधित न करे। उन्होंने सत्यापित किया कि मॉडल अभी भी सामान्य तथ्यों को खोजने या गणना करने जैसे कार्यों के लिए टूल्स का प्रभावी ढंग से उपयोग कर सकता है। प्रशिक्षण ने मॉडल को सभी टूल उपयोग को अस्वीकार करने या अनुपयोगी बनने के लिए मजबूर नहीं किया; इसने केवल मॉडल को एक रेखा खींचना सिखाया, यह जानकर कि विशिष्ट संवेदनशील डेटा की रक्षा के लिए कब खोजना बंद करना है। अध्ययन सुझाव देता है कि आधुनिक बुद्धिमान एजेंटों के युग में अनलर्निंग को वास्तव में प्रभावी होने के लिए, इसे इस बात का ध्यान रखना चाहिए कि ये एजेंट दुनिया के साथ कैसे परस्पर क्रिया करते हैं, न कि केवल यह कि वे डेटा को आंतरिक रूप से कैसे संग्रहीत करते हैं। मॉडल को हटाए गए ज्ञान को पुनः प्राप्त करने के लिए टूल्स का उपयोग करने के प्रलोभन का विरोध करने के लिए प्रशिक्षित करके, शोधकर्ताओं ने यह सुनिश्चित करने का एक अधिक मजबूत तरीका बनाया है कि भुला दी गई जानकारी वास्तव में भुला दी जाए, यहाँ तक कि एक जुड़े हुए डिजिटल वातावरण में भी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।