Harnessing LLM Agents with Skill Programs
यह शोध पत्र HASP को प्रस्तुत करता है, जो एक मॉड्यूलर फ्रेमवर्क है जो सलाहकार टेक्स्टुअल स्किल्स (advisory textual skills) को निष्पादनीय प्रोग्राम फंक्शन्स (Program Functions - PFs) में परिवर्तित करता है ताकि इन्फरेंस-टाइम गाइडेंस (inference-time guidance), पोस्ट-ट्रेनिंग सुपरविजन (post-training supervision), या सेल्फ-इम्प्रूवमेंट (self-improvement) के माध्यम से LLM एजेंट लूप्स में सक्रिय रूप से हस्तक्षेप किया जा सके, जिससे वेब सर्च, गणितीय तर्क और कोडिंग जैसे जटिल कार्यों पर प्रदर्शन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन कभी-कभी अनाड़ी रोबोट सहायक है। आप उसे एक जटिल पहेली हल करने के लिए कहते हैं, जैसे इंटरनेट पर कोई विशिष्ट तथ्य खोजना या कोड का एक हिस्सा लिखना। रोबोट अपनी पूरी कोशिश करता है, लेकिन वह बार-बार एक ही तरह की गलतियाँ करता रहता है: वह बहुत जल्दी हार मान लेता है, गलत चीज़ों की खोज करता है, या मिलते-जुलते नामों के कारण भ्रमित हो जाता है।
आमतौर पर, जब हम इसे ठीक करने की कोशिश करते हैं, तो हम रोबोट को लिखित निर्देशों की एक सूची (जैसे एक मैनुअल) देते हैं, जैसे "अपना काम दोबारा जाँचें!" या "अंदाज़ा न लगाएँ!" लेकिन रोबोट अक्सर इन नोट्स को अनदेखा कर देता है क्योंकि वे केवल निष्क्रिय टेक्स्ट (passive text) हैं। उसे यह नहीं पता होता कि ठीक कब रुकना है और सुनना है, या उसे अपने कार्य को कैसे बदलना है।
HASP (Harnessing LLM Agents with Skill Programs) एक नया फ्रेमवर्क है जो खेल बदल देता है। रोबोट को एक निष्क्रिय मैनुअल देने के बजाय, शोधकर्ता उसे निष्पादन योग्य (executable) "स्किल प्रोग्राम्स" (PFs) देते हैं। इसे एक किताब के रूप में नहीं, बल्कि एक स्मार्ट सेफ्टी हार्नेस (सुरक्षा कवच) या एक को-पायलट के रूप में सोचें जो रोबोट के मस्तिष्क के ठीक बगल में बैठा है।
यह कैसे काम करता है, यहाँ सरल उपमाओं (analogies) का उपयोग किया गया है:
1. "निष्क्रिय सलाह" से "सक्रिय गार्डरेल्स" तक
- पुराना तरीका (टेक्स्टुअल स्किल्स): कल्पना कीजिए कि एक ड्राइविंग इंस्ट्रक्टर पिछली सीट पर बैठकर चिल्ला रहा है, "आपको धीमा होना चाहिए!" ड्राइवर इसे सुन सकता है, इसे अनदेखा कर सकता है, या शायद उसे यह भी समझ नहीं आता कि ठीक कब ब्रेक मारना है। यह केवल एक सलाह है।
- HASP का तरीका (प्रोग्राम फंक्शन्स): अब, कल्पना कीजिए कि कार में एक स्मार्ट सेफ्टी हार्नेस है। यदि कार किसी खाई की ओर बढ़ने लगती है (एक "विफलता-प्रवण अवस्था" या failure-prone state), तो हार्नेस केवल सलाह नहीं देता। यह भौतिक रूप से हस्तक्षेप करता है। यह या तो स्टीयरिंग व्हील को वापस केंद्र की ओर मोड़ सकता है या ड्राइवर के दृश्य में सीधे एक चेतावनी संकेत डाल सकता है।
- पेपर में: ये "स्किल प्रोग्राम्स" कोड के छोटे टुकड़े हैं जो रोबोट की हर हरकत पर नज़र रखते हैं। यदि रोबोट गलती करने वाला है (जैसे सबूत पढ़े बिना उत्तर को अंतिम रूप देना), तो स्किल प्रोग्राम हस्तक्षेप करता है। यह या तो रोबोट के कार्य को फिर से लिख (rewrite) सकता है (एक खराब खोज क्वेरी को एक अच्छी खोज क्वेरी में बदलना) या एक संकेत दे सकता है (रोबोट को बताना, "रुको, आपने अभी तक दस्तावेज़ नहीं पढ़ा है!")।
2. हार्नेस का उपयोग करने के तीन तरीके
पेपर दिखाता है कि इस "हार्नेस" का उपयोग तीन अलग-अलग तरीकों से किया जा सकता है, जैसे एक छात्र को प्रशिक्षित करना:
मोड A: तत्काल सुधार (इन्फरेंस-टाइम इंटरवेंशन)
- उपमा: आप काम करते समय रोबोट पर हार्नेस लगाते हैं। हार्नेस वास्तविक समय में गलतियों को पकड़ता है और उन्हें तुरंत ठीक करता है। रोबोट को कुछ भी नया सीखने की आवश्यकता नहीं है; हार्नेस बस सारा भारी काम कर देता है।
- परिणाम: रोबोट बिना किसी अतिरिक्त प्रशिक्षण के, तुरंत बहुत बेहतर समस्याओं को हल करता है।
मोड B: अध्ययन मार्गदर्शिका (पोस्ट-ट्रेनिंग)
- उपमा: हार्नेस द्वारा रोबोट की गलतियों को ठीक करने के बाद, शोधकर्ता "सुधारित" पथ का एक वीडियो लेते हैं और उसे रोबोट को एक सबक के रूप में दिखाते हैं। रोबोट इन उदाहरणों का अध्ययन करता है और अगली बार अपने आप सही चुनाव करना सीख जाता है।
- परिणाम: रोबोट कौशल को आत्मसात कर लेता है। वह ऐसा व्यवहार करने लगता है जैसे हार्नेस उसके अपने मस्तिष्क का हिस्सा हो, जिससे समय के साथ कम मदद की आवश्यकता होती है।
मोड C: स्व-सुधार लाइब्रेरी (इवोल्यूशन)
- उपमा: यदि रोबोट को एक नए प्रकार की गलती का सामना करना पड़ता है जिसे हार्नेस ने पहले नहीं देखा है, तो सिस्टम रुक जाता है। यह एक "टीचर" (एक बहुत ही बुद्धिमान AI) से उस गलती के लिए विशेष रूप से एक नया स्किल प्रोग्राम लिखने के लिए कहता है। टूलबॉक्स में इस नए कौशल को जोड़ने से पहले, टीचर यह जाँचता है कि क्या यह सुरक्षित और उपयोगी है।
- परिणाम: रोबोट का कौशल टूलबॉक्स समय के साथ स्मार्ट होता जाता है, वह बिना किसी इंसान द्वारा हर नियम लिखे, अपनी विफलताओं से खुद सीखता है।
3. यह इतना अच्छा क्यों काम करता है
पेपर ने इसे तीन कठिन कार्यों पर परखा:
- वेब सर्च: ऐसे उत्तर ढूंढना जिनके लिए जानकारी के कई टुकड़ों को जोड़ने की आवश्यकता होती है (जैसे एक जासूस द्वारा रहस्य सुलझाना)।
- गणित: जटिल समीकरणों को हल करना।
- कोडिंग: कंप्यूटर प्रोग्राम लिखना।
परिणाम:
- "हार्नेस" दृष्टिकोण ने लगभग हर उस पद्धति को हरा दिया जिसकी तुलना शोधकर्ताओं ने की थी।
- वेब सर्च के लिए, केवल हार्नेस का उपयोग करने से (बिना रोबोट को प्रशिक्षित किए) मानक तरीकों की तुलना में प्रदर्शन में 25% का सुधार हुआ।
- जब उन्होंने रोबोट को हार्नेस से सीखने दिया (पोस्ट-ट्रेनिंग), तो वह और भी बेहतर हो गया।
- महत्वपूर्ण रूप से, यह सिस्टम मॉड्यूलर है। यह एक स्विस आर्मी नाइफ की तरह है; आप केवल उपकरणों का उपयोग कर सकते हैं, या आप उपकरणों का उपयोग करके रोबोट को सिखा सकते हैं, या आप रोबोट को नए उपकरण बनाने दे सकते हैं।
मुख्य बात (The Bottom Line)
HASP "पुन: प्रयोज्य अनुभव" (reusable experience) को एक अस्पष्ट विचार से बदलकर एक ठोस, निष्पादन योग्य उपकरण में बदल देता है। इस उम्मीद में कि रोबोट एक नियम याद रखेगा, इसके बजाय HASP रोबोट को स्वचालित सुरक्षा जांच का एक सेट देता है जो गलतियों को होते ही पकड़ लेती है, उन्हें ठीक करती है, और रोबोट को भविष्य में उन्हें टालने के लिए सीखने में मदद करती है। यह एक छात्र को पाठ्यपुस्तक देने और उन्हें एक ट्यूटर देने के बीच का अंतर है जो उनके काम के बगल में बैठता है और काम करते समय उनके काम को सुधारता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।