Towards Robust Tool Use in Agents via Experience-Driven Adaptive Guidance
यह शोध पत्र ExpG को प्रस्तुत करता है, जो एक अनुभव-संचालित अनुकूलन मार्गदर्शन तंत्र (experience-driven adaptive guidance mechanism) है जो ऐतिहासिक निष्पादनों से संरचित अनुभवों को प्राप्त करके, उन्हें संकुचित (distill) करके और पुन: उपयोग करके टूल के उपयोग में एजेंट की मजबूती को बढ़ाता है, जिससे छोटे मॉडल विविध कार्यों में बड़े मॉडलों से बेहतर प्रदर्शन करने में सक्षम होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक सुपर-स्मार्ट रोबोट असिस्टेंट बनाया है, जो बातें कर सकता है, कहानियाँ लिख सकता है, और यहाँ तक कि गणित की समस्याएँ भी हल कर सकता है। आपने इसे एक विशाल लैंग्वेज मॉडल से बना 'दिमाग' दिया है, और यह बातचीत करने में काफी माहिर है। लेकिन यहाँ एक पेंच है: वास्तविक दुनिया में काम करने के लिए—जैसे मौसम की जाँच करना, फ्लाइट बुक करना, या कोड में बग ठीक करना—इसे "टूल्स" (औजारों) का उपयोग करने की आवश्यकता होगी। इन टूल्स को एक स्विस आर्मी नाइफ या डिजिटल टूलबॉक्स की तरह समझें। रोबोट को यह जानना होगा कि कौन सा टूल उठाना है, उसे कैसे पकड़ना है, और कब उसका उपयोग करना है।
समस्या यह है कि वास्तविक दुनिया अव्यवस्थित है। कभी-कभी एक टूल पूरी तरह से काम करता है, लेकिन अन्य समय में यह अजीब व्यवहार करता है, कोई त्रुटि (error) देता है, या बिना कारण बताए बस कह देता है कि "मैं यह नहीं कर सकता।" यदि रोबोट किसी टूल का गलत तरीके से उपयोग करने की कोशिश करता है, तो वह भ्रम के चक्रव्यूह में फंस सकता है, बार-बार वही गलत चीज़ करने की कोशिश करता रह सकता है। लंबे समय तक, वैज्ञानिकों ने सोचा कि मुख्य समस्या केवल रोबोट के दिमाग को स्मार्ट बनाने की है। लेकिन यह पेपर सुझाव देता है कि असली बाधा (bottleneck) दिमाग नहीं है; बल्कि रोबोट की टूल्स के अनिश्चित और अप्रत्याशित स्वभाव को बिना घबराए संभालने की क्षमता है।
यहीं पर यह पेपर आता है। कैन वांग और उनके सहयोगियों के नेतृत्व में शोधकर्ताओं ने देखा कि रोबट अक्सर इसलिए विफल नहीं होते क्योंकि वे "मूर्ख" हैं, बल्कि इसलिए क्योंकि उनमें अनुभव (experience) की कमी होती है। वे हर बार टूल उठाते समय ऐसे व्यवहार करते हैं जैसे कि वह उनका पहला अनुभव हो, और पिछले अनुभव को पूरी तरह अनदेखा कर देते हैं। इसे ठीक करने के लिए, उन्होंने ExpG (एक्सपीरियंस-ड्रिवन एडेप्टिव गाइडेंस) नामक एक प्रणाली बनाई।
ExpG को रोबोट के लिए एक पर्सनल कोच (व्यक्तिगत प्रशिक्षक) के रूप में सोचें। केवल अनुमान लगाने देने के बजाय, यह कोच रोबोट को टूल का उपयोग करने की कोशिश करते हुए देखता है, हर सफलता और विफलता से सीखता है, और फिर अगली बार उपयोग के लिए रोबोट के लिए एक "रेफरेंस शीट" (संदर्भ पत्र) लिखता है।
यहाँ कोच तीन सरल चरणों में काम करता है:
निगरानी करने वाली आँख (अनुभव प्राप्ति - Experience Acquisition): कोच रोबोट को टूल का उपयोग करने की कोशिश करते हुए देखता है। क्या इसने सही टूल चुना? क्या इसने निर्देश सही ढंग से टाइप किए? क्या टूल ने वास्तव में काम किया, या यह क्रैश हो गया? कोच इसे एक चेकलिस्ट में तोड़ देता है। यदि रोबोट ने बोल्ट को कसने के लिए "रिंच" (wrench) का उपयोग किया लेकिन बोल्ट गलत आकार का था, तो कोच नोट करेगा: "हे, रिंच ने काम किया, लेकिन समस्या बोल्ट की थी।" यह इन अव्यवस्थित क्षणों को स्पष्ट, संरचित पाठों में बदल देता है।
फ़िल्टर और सारांशकर्ता (अनुभव निष्कर्षण - Experience Distillation): कोच केवल हर एक नोट को सुरक्षित नहीं रखता; अन्यथा बहुत अधिक भीड़ हो जाएगी। यह खराब नोट्स (जैसे जब रोबोट ने कुछ ऐसा आज़माया जो स्पष्ट रूप से एक बुरा विचार था) को फ़िल्टर करता है और अच्छे नोट्स को समूहबद्ध करता है। यह पैटर्न की तलाश करता है। उदाहरण के लिए, यह देख सकता है कि "हथौड़ा" (Hammer) टूल हमेशा टूट जाता है यदि आप इसे नरम आटे पर इस्तेमाल करने की कोशिश करते हैं। कोच फिर एक सरल मार्गदर्शिका लिखता है: "हथौड़ा: कीलों के लिए अच्छा है। आटे के लिए बुरा है। हमेशा हैंडल की पहले जाँच करें।" यह सैकड़ों अव्यवस्थित प्रयासों को एक साफ, पढ़ने में आसान नियम पुस्तिका में बदल देता है।
रेफरेंस शीट (अनुभव पुनरुपयोग - Experience Reuse): अगली बार जब रोबोट को हथौड़े की आवश्यकता होती है, तो कोच उसे मार्गदर्शिका थमा देता है। रोबोट को अनुमान लगाने या 10 बार कोशिश करने की ज़रूरत नहीं होती। वह बस मार्गदर्शिका पढ़ता है: "आह, सही कहा, हैंडल की जाँच करो!" और पहली बार में ही टूल का सही उपयोग करता है।
पेपर ने इस विचार का परीक्षण विभिन्न प्रकार के रोबोट ब्रेन्स (छोटे से लेकर बहुत बड़े तक) पर किया और पाया कि इस कोच को जोड़ने से बहुत बड़ा अंतर आया। कोच के साथ एक छोटा, कम शक्तिशाली रोबोट भी बिना कोच वाले एक बहुत बड़े, स्मार्ट रोबोट को हरा सकता था। वास्तव में, कुछ कठिन स्थितियों में जहाँ टूल्स टूटे हुए या भ्रमित करने वाले थे, कोच वाले रोबोट यह समझने में बहुत बेहतर थे कि क्या करना है।
शोधकर्ताओं ने पाया कि यह प्रणाली रोबोटों को छह विशिष्ट तरीकों से मदद करती है:
- वे इस बात के प्रति अधिक जागरूक होते हैं कि कब टूल का उपयोग करना है।
- वे दो समान दिखने वाले टूल्स के बीच अंतर कर सकते हैं।
- वे टूल के लिए निर्देशों को टाइप करने का बिल्कुल सही तरीका सीख जाते हैं।
- वे अपनी गलतियों को खुद सुधार सकते हैं यदि वे गलत चीज़ का प्रयास करते हैं।
- वे समझते हैं कि क्या एक टूल को काम करने के लिए पहले दूसरे टूल की आवश्यकता है।
- वे यह सीख जाते हैं कि किसी टूल पर भरोसा करना है (या नहीं करना है) यदि वह अविश्वसनीय माना जाता है।
पेपर सुझाव देता है कि रोबोटों को उनके अपने इतिहास से सीखने का तरीका देकर—जैसे कि एक छात्र अगली परीक्षा के लिए अध्ययन करने के लिए अपने पुराने टेस्ट पेपर्स की समीक्षा करता है—हम उन्हें बहुत अधिक विश्वसनीय बना सकते हैं। यह रोबोट का दिमाग बड़ा करने के बारे में नहीं है; यह उसे यह याद रखने का बेहतर तरीका देने के बारे में है कि क्या काम करता है और क्या नहीं। परिणाम दिखाते हैं कि यह दृष्टिकोण एजेंटों को बनाने की दिशा में एक आशाजनक मार्ग है जो उन्हें बिना निराश हुए, अव्यवस्थित और अप्रत्याशित वास्तविक दुनिया को संभालने में सक्षम बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।