Graph-Aware Reinforcement Learning for Reusable Prompt Compression in Black-Box LLMs
यह शोध पत्र एक कार्य-जागरूक ग्राफ सुदृढीकरण शिक्षण (ग्राफ रिइन्फोर्समेंट लर्निंग) ढांचे का प्रस्ताव करता है जो ब्लैक-बॉक्स एलएलएम (LLM) में पुन: प्रयोज्य तर्क संदर्भों को संकुचित करता है, जिसमें ग्राफ-संरचित तर्क इकाइयों पर निष्कर्षण संबंधी 'रखें-या-छोड़ें' (keep-or-drop) के निर्णय लेने के लिए एक हल्के नीति (लाइटवेट पॉलिसी) को प्रशिक्षित किया जाता है, जिससे तर्क सटीकता को बनाए रखते हुए इनपुट लागत में महत्वपूर्ण बचत प्राप्त होती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान लेकिन बहुत महंगे रोबोट को जटिल पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं। आप उसे केवल एक सवाल नहीं देते; आपको पहले उसे एक मोटा निर्देश मैनुअल (instruction manual) देना पड़ता है। इस मैनुअल में खेल के नियम, इसी तरह की पहेलियों को हल करने के कुछ उदाहरण और अंतिम उत्तर लिखने के सख्त निर्देश शामिल हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "रोबोट्स" को लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है, और यह "मैनुअल" एक प्रॉम्प्ट (prompt) है। समस्या यह है कि ये मैनुअल बहुत बड़े होते जा रहे हैं। हर बार जब आप रोबोट से कोई नया सवाल पूछते हैं, तो आपको पूरा मैनुअल फिर से भेजना पड़ता है। यह धीमा है, इसमें बहुत पैसा खर्च होता है (क्योंकि रोबोट शब्दों के हिसाब से शुल्क लेता है), और यह रोबोट की अल्पकालिक स्मृति (short-term memory) को भर देता है।
वैज्ञानिक इन मैनुअल्स को महत्वपूर्ण हिस्सों को खोए बिना छोटा करने की कोशिश कर रहे हैं। कुछ लोगों ने टेक्स्ट के अंत को बस काट देने की कोशिश की, जबकि अन्य ने पूरे हिस्से को कुछ वाक्यों में सारांशित करने की कोशिश की। लेकिन यहाँ एक पेच है: यदि आपने गलत वाक्य काट दिया, तो रोबोट भ्रमित हो सकता है और गलत उत्तर दे सकता है, भले ही बाकी का टेक्स्ट ठीक लग रहा हो। लक्ष्य मैनुअल को इतना छोटा रखने का है कि वह सस्ता और तेज़ हो, लेकिन इतना विस्तृत भी रहे कि रोबोट स्मार्ट बना रहे। यह शोध पत्र ठीक इसी समस्या पर काम करता है, विशेष रूप से उन स्थितियों के लिए जहाँ आप एक ही मैनुअल का उपयोग कई अलग-अलग सवालों के लिए बार-बार करते हैं, जैसे एक शिक्षक पूरी कक्षा के लिए एक ही पाठ योजना का उपयोग करता है।
शोध पत्र का बड़ा विचार: "स्मार्ट लाइब्रेरियन" रोबोट
इस शोध पत्र के लेखक, जो ईरान यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी से हैं, इन पुन: प्रयोज्य (reusable) मैनुअल्स को छोटा करने का एक नया तरीका प्रस्तावित करते हैं। वे अपने इस तरीके को ग्राफ-अवेयर रीइन्फोर्समेंट लर्निंग (Graph-Aware Reinforcement Learning) कहते हैं। यह सुनने में थोड़ा कठिन लग सकता है, तो आइए इसे एक कहानी से समझते हैं।
कल्पना कीजिए कि आपका पुन: प्रयोज्य मैनुअल स्टिकी नोट्स (sticky notes) का एक विशाल, अस्त-व्यस्त पुस्तकालय है। कुछ नोट्स केवल सामान्य सलाह हैं, कुछ विशिष्ट उदाहरण हैं, कुछ गणित के सूत्र हैं, और कुछ उत्तर को फॉर्मेट करने के सख्त नियम हैं। अतीत में, लोगों ने केवल पहले कुछ नोट्स लेकर या सवाल से मिलते-जते नोट्स चुनकर लाइब्रेरी को छोटा करने की कोशिश की थी। लेकिन यह एक सूटकेस पैक करने जैसा है जहाँ आप केवल सामने दिखने वाली पहली कुछ चीजें उठाते हैं; आप अपना टूथब्रश पीछे छोड़ सकते हैं!
लेखक एक स्मार्ट दृष्टिकोण का सुझाव देते हैं। सबसे पहले, वे लाइब्रेरी के स्टिकी नोट्स को एक साधारण सूची के रूप में नहीं, बल्कि एक मकड़ी के जाल (या ग्राफ) के रूप में देखते हैं। इस जाल में, प्रत्येक नोट एक 'नोड' (node) है, और उन्हें जोड़ने वाले धागे यह दिखाते हैं कि नोट्स एक-दूसरे से कैसे संबंधित हैं। एक फॉर्मूला वाला नोट उस उदाहरण वाले नोट से जुड़ा हो सकता है जो उसका उपयोग करता है। "नकारात्मक संख्याओं का उपयोग न करें" वाला नियम किसी विशिष्ट गणितीय समस्या से जुड़ा हो सकता है। यह "मकड़ी का जाल" सिस्टम को यह समझने में मदद करता है कि कुछ नोट्स "पक्के दोस्त" हैं और उन्हें साथ रहना चाहिए, जबकि अन्य केवल जान-पहचान वाले हैं।
इसके बाद, वे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक तकनीक का उपयोग करके एक स्मार्ट लाइब्रेरियन को प्रशिक्षित करते हैं। इसे एक वीडियो गेम की तरह समझें जहाँ लाइब्रेरियन का काम यह चुनना है कि कौन से स्टिकी नोट्स रखने हैं और किन्हें फेंक देना है। लाइब्रेरियन को रोबोट के दिमाग के अंदर की पहेलियों का उत्तर नहीं पता होता (क्योंकि रोबोट एक "ब्लैक बॉक्स" है—हम उसके आंतरिक पुर्जों को नहीं देख सकते)। इसके बजाय, लाइब्रेरियन 'ट्रायल एंड एरर' (प्रयास और त्रुटि) से सीखता है। वह नोट्स का एक सेट चुनता है, उन्हें रोबोट को भेजता है, और देखता है कि क्या रोबोट सही उत्तर देता है।
- यदि रोबोट सही उत्तर देता है और मैनुअल छोटा है, तो लाइब्रेरियन को उच्च स्कोर मिलता है।
- यदि रोबोट गलत उत्तर देता है, तो लाइब्रेरियन को दंड (penalty) मिलता है।
- यदि लाइब्रेरियन एक ऐसा नोट फेंक देता है जो वास्तव में महत्वपूर्ण था (जैसे कि कोई छिपा हुआ नियम), तो उसे बड़ा दंड मिलता है।
समय के साथ, लाइब्रेरियन सीख जाता है कि रोबोट की सफलता के लिए कौन से नोट्स अनिवार्य हैं और कौन से केवल फालतू की बातें हैं। वह सीख जाता है कि तर्क के "मकड़ी के जाल" को बरकरार रखते हुए भी बहुत से नोट्सों को कैसे हटाया जाए।
उन्होंने क्या पाया: छोटे मैनुअल, वही स्मार्ट रोबोट
शोधकर्ताओं ने इस "स्मार्ट लाइब्रेरियन" का परीक्षण दो बहुत कठिन प्रकार के कार्यों पर किया: गणित की समस्याएं (जैसे GSM8K और MATH डेटासेट में पाई जाती हैं) और कंप्यूटर कोड लिखना (MBPP और HumanEval डेटासेट का उपयोग करके)। उन्होंने अपने तरीके की तुलना मैनुअल को छोटा करने के अन्य तरीकों से की, जैसे कि टेक्स्ट को आधा काट देना या समानता के आधार पर नोट्स चुनना।
परिणाम काफी प्रभावशाली थे। लेखकों ने पाया कि उनका तरीका पुन: प्रयोज्य मैनुअल को 52.6% तक छोटा कर सकता है—इसका मतलब है कि उन्होंने आधे से अधिक टेक्स्ट हटा दिया! इतना सब कुछ हटाने के बावजूद, समस्याओं को हल करने की रोबोट की क्षमता में केवल 1.0 प्रतिशत अंक की गिरावट आई। इसे समझने के लिए, अन्य तरीके जो टेक्स्ट को बेतरतीब ढंग से या समानता के आधार पर काटते हैं, उनसे रोबोट की सटीकता बहुत अधिक गिर जाती है (कभी-कभी 8 प्रतिशत अंक से भी अधिक)।
चूंकि उन्होंने बहुत सारे शब्द हटा दिए, इसलिए उन्होंने काफी पैसा और समय भी बचाया। उन्होंने अनुमान लगाया कि उनके संकुचित (compressed) मैनुअल का उपयोग करने से इनपुट लागत में लगभग 40.3% की बचत होगी। वास्तविक दुनिया में, इसका अर्थ है कि रोबोट जवाब देने में तेज़ होगा और इसे चलाना सस्ता होगा, खासकर यदि आप एक ही पाठ योजना का उपयोग करके हजारों सवाल पूछ रहे हैं।
यह क्यों महत्वपूर्ण है (और यह क्या नहीं करता)
यह शोध पत्र सुझाव देता है कि यह तरीका एक बड़ी प्रगति है क्योंकि यह मैनुअल को नए शब्दों में फिर से लिखने या उसे सारांशित करने की कोशिश नहीं करता है। इसके बजाय, यह केवल सर्वोत्तम मौजूदा टुकड़ों को चुनता है। यह महत्वपूर्ण है क्योंकि यह निर्देशों को स्पष्ट रखता है और रोबोट को मनगढ़ंत सारांशों से भ्रमित होने से बचाता है।
हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह हर स्थिति के लिए जादू की छड़ी नहीं है। उनका तरीका तब सबसे अच्छा काम करता है जब आपके पास एक पुन: प्रयोज्य (reusable) मैनुअल हो जिसका उपयोग आप कई अलग-अलग सवालों के लिए करते हैं। यदि आप एक अनोखे संदर्भ के साथ एक बार का सवाल पूछ रहे हैं, तो "स्मार्ट लाइब्रेरियन" को प्रशिक्षित करने में लगने वाला समय बचत के लायक नहीं हो सकता है। इसके अलावा, यह तरीका इस बात पर निर्भर करता है कि मैनुअल को पहले स्पष्ट "स्टिकी नोट्स" (तर्क इकाइयों) में तोड़ा गया हो; यदि नोट्स शुरू से ही अस्त-व्यस्त हैं, तो लाइब्रेरियन को संघर्ष करना पड़ सकता है।
अंत में, यह शोध पत्र सुझाव देता है कि AI का भविष्य केवल मॉडल्स को बड़ा या तेज़ बनाने के बारे में नहीं है, बल्कि इस बारे में है कि हम उन्हें क्या खिलाते हैं उसके प्रति कितने स्मार्ट बनें। विचारों को एक साधारण सूची के बजाय एक जुड़े हुए वेब (जाल) के रूप में मानकर, हम अपने AI सहायकों को उनकी कार्यक्षमता खोए बिना तेज़, किफायती और सटीक बनाए रख सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।