Improving Language Agents through BREW: Bootstrapping expeRientially-learned Environmental knoWledge
यह शोध पत्र BREW को प्रस्तुत करता है, जो एक ऐसा ढांचा है जो एक नवीन एक्सपैंड-एंड-गैदर मोंटे कार्लो ट्री सर्च एल्गोरिदम और हिंडसाइट रीलेबलिंग का उपयोग करके पिछले इंटरेक्शन ट्रेजेक्टरीज को प्राकृतिक भाषा की रेसिपी के एक संरचित, रिट्रीवेबल नॉलेज बेस में संकलित (distill) करके LLM-आधारित एजेंटों को उन्नत करता है, जिसके परिणामस्वरूप कई बेंचमार्क में कार्य सफलता दर और निष्पादन दक्षता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जो बटन क्लिक कर सकता है, फाइलें खोल सकता है और आपसे बात कर सकता है। यह अविश्वसनीय रूप से प्रतिभाशाली है, लेकिन इसमें एक अजीब सी मेमोरी ग्लिच (याददाश्त की खराबी) है: हर बार जब आप इसे कुछ ऐसा करने के लिए कहते हैं जो इसने पहले किया है, तो यह ऐसे व्यवहार करता है जैसे कि यह पहली बार हो। यह भूल जाता है कि "File > Export as PDF" वह जादुई मंत्र है जिससे दस्तावेज़ को सेव किया जाता है, या कि आपको रिटर्न प्रोसेस करने से पहले यूजर की आईडी चेक करने की आवश्यकता होती है। यह शून्य से समाधान को फिर से खोजने लगता है, और अक्सर वही गलतियाँ दोहराता है जो इसने कल की थीं।
इस शोध पत्र के पीछे के शोधकर्ताओं ने BREW के माध्यम से इसे ठीक करने का निर्णय लिया, उन्हें केवल एक मस्तिष्क देने के बजाय एक "रेसिपी बुक" (नुस्खा पुस्तिका) देकर।
समस्या: भूलने वाली याददाश्त वाला रोबोट
एक इंसान के खाना पकाने सीखने के बारे में सोचें। स्कैम्बल्ड एग्स (फेंटे हुए अंडे) बनाने के कुछ प्रयासों के बाद, आप खाना पकाने की प्रक्रिया के हर एक सेकंड को याद नहीं रखते। इसके बजाय, आप एक रेसिपी को आत्मसात कर लेते हैं: "अंडे फेंटें, पैन गरम करें, मक्खन डालें, धीरे से चलाएं।" आप जानते हैं कि इस रेसिपी का उपयोग कब करना है (नाश्ते के समय), क्या करना है, और किन बातों का ध्यान रखना है (मक्खन जलाएं नहीं)।
वर्तमान रोबोट एजेंट उन शेफ की तरह हैं जो हर भोजन के बाद रेसिपी भूल जाते हैं। उन्हें हर बार पहिए का पुन: आविष्कार करना पड़ता है। कुछ वैज्ञानिकों ने रोबोट के मस्तिष्क को "ट्रेन" करके (इसके आंतरिक वेट्स बदलकर) इसे ठीक करने की कोशिश की, लेकिन यह आटे में परमाणुओं को पुनर्गठित करके केक बनाने जैसा है—यह रोबोट के व्यवहार को एक 'ब्लैक बॉक्स' बना देता है जिसे कोई देख या ठीक नहीं कर सकता। अन्य लोगों ने रोबोट को कच्चे नोट्स (यादों) का एक विशाल ढेर देने की कोशिश की, लेकिन वे नोट्स या तो बहुत अव्यवतर थे (केवल क्लिक्स की एक सूची) या बहुत अस्पष्ट ("सावधान रहें")।
समाधान: BREW (Bootstrapping expeRientially-learned Environmental knoWledge)
लेखक BREW नामक एक प्रणाली प्रस्तावित करते हैं जो रोबोट के पिछले अनुभवों को एक संरचित, आसानी से पढ़ी जाने वाली रेसिपी बुक में बदल देती है।
यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:
- अनुभव (The Experience): रोबोट कार्य करने की कोशिश करता है (जैसे फाइलें व्यवस्थित करना या उड़ान बुक करना)। कभी वह सफल होता है; कभी विफल।
- चिंतन (The Reflection): एक विशेष "रिफ्लेक्टर" एजेंट इन प्रयासों का विश्लेषण करता है। यदि रोबोट विफल रहा, तो रिफ्लेक्टर पूछता है, "क्या गलत हुआ?" यदि वह सफल रहा, तो वह पूछता है, "सफलता का रहस्य क्या था?"
- "हाइंडसाइट" (Hindsight) ट्रिक: यह सबसे चतुर हिस्सा है। कभी-कभी रोबोट इसलिए विफल होता है क्योंकि वह गलत कार्य करने की कोशिश कर रहा था। सिस्टम Hindsight Relabeling नामक एक तकनीक का उपयोग करता है। यह एक विफल प्रयास को देखता है और कहता है, "रुको, अगर लक्ष्य वास्तव में यह होता न कि वह, तो रोबोट के कार्य एकदम सही थे!" यह विफलता को एक थोड़े अलग लक्ष्य के लिए सफलता के रूप में पुन: लेबल करता है। यह "गलतियों" को "नई रेसिपी" में बदल देता है, जिससे रोबोट उपयोगी ज्ञान की कितनी अधिक मात्रा सीख सकता है, यह दोगुना हो जाता है।
- रेसिपी बुक (Knowledge Base): सिस्टम इन अंतर्दृष्टि को प्राकृतिक भाषा की स्पष्ट रेसिपी लाइब्रेरी में व्यवस्थित करता है। प्रत्येक रेसिपी का एक शीर्षक होता है (जैसे, "Compress and Extract Files"), एक "उपयोग कब करें" अनुभाग, और बुलेट पॉइंट्स के साथ एक "कैसे करें" अनुभाग होता है। यह कोड नहीं है; यह साधारण अंग्रेजी निर्देश हैं जिन्हें कोई भी पढ़ सकता है।
- खोज (The Search - EG-MCTS): एक परफेक्ट रेसिपी बुक लिखना कठिन है। यदि आप ऐसी रेसिपी लिखते हैं जो बहुत विशिष्ट है, तो वह नए कार्यों में मदद नहीं करेगी। यदि यह बहुत अस्पष्ट है, तो रोबट भ्रमित हो जाएगा। लेखकों ने एक स्मार्ट सर्च एल्गोरिदम बनाया है जिसे Expand-and-Gather Monte Carlo Tree Search (EG-MCTS) कहा जाता है। कल्पना कीजिए कि एक जासूस हजारों विविधताओं का समानांतर परीक्षण करके सबसे अच्छे संस्करण को खोजने की कोशिश कर रहा है, जो सबसे अच्छा काम करते हैं उन्हें रखता है और बाकी को हटा देता है। यह सुनिश्चित करता है कि अंतिम पुस्तक सटीक भी हो और खोजने में आसान भी।
परिणाम: क्या रेसिपी बुक काम करती है?
शोधकर्ताओं ने तीन वास्तविक दुनिया की चुनौतियों पर BREW का परीक्षण किया:
- OSWORLD: एक परीक्षण जहाँ रोबोट को कंप्यूटर को नियंत्रित करना होता है (मेन्यू पर क्लिक करना, फाइलें हिलाना)।
- τ2-Bench: एक परीक्षण जहाँ रोबोट टेलीकॉम, रिटेल और एयरलाइंस के लिए ग्राहक सेवा एजेंट के रूप में कार्य करता है।
- SpreadsheetBench: एक परीक्षण जहाँ रोबोट को जटिल एक्सेल शीट्स को मैनिपुलेट करना होता है।
परिणाम उत्साहजनक थे। BREW का उपयोग करने पर, रोबोटों ने:
- बिना रेसिपी बुक वाले रोबोटों की तुलना में 10-20% अधिक कार्य सफलतापूर्वक हल किए।
- काम पूरा करने के लिए 10-15% कम कदम लिए।
- अन्य मेमोरी सिस्टम से बेहतर प्रदर्शन किया, जो कभी-कभी रोबोट को गलत जानकारी देकर उन्हें और भी खराब बना देते थे।
उदाहरण के लिए, कंप्यूटर नियंत्रण परीक्षण पर, BREW के साथ रोबोट की सफलता दर 53.30% से बढ़कर 61.70% हो गई। स्प्रेडशीट परीक्षण पर, यह 44.30% से बढ़कर 48.50% हो गई।
यह पेपर किन बातों को खारिज करता है
लेखक बहुत स्पष्ट हैं कि क्या काम नहीं करता है। वे इस बात के विरुद्ध तर्क देते हैं कि रोबोट के पिछले कार्यों के कच्चे, अव्यवस्थित लॉग को उसकी मेमोरी में डाल दिया जाए। उन्होंने पाया कि जो सिस्टम केवल "ट्रांजिएंट ट्राजेक्टरी फ्रैगमेंट" (कलिक-दर-क्लिक कच्चे लॉग) संग्रहीत करते हैं, वे अक्सर रोबोट को भ्रमित कर देते हैं, जिससे प्रदर्शन उस स्थिति से भी बदतर हो जाता है जब रोबमा के पास कोई मेमोरी ही न हो। वे यह भी सुझाव देते हैं कि केवल रोबोट के मस्तिष्क को "फाइन-ट्यूनिंग" (उसके आंतरिक वेट्स बदलना) करना एक "ब्लैक बॉक्स" बनाता है जिसे निरीक्षण या अपडेट करना कठिन है, जबकि BREW की रेसिपी बुक पारदर्शी और संपादन योग्य है।
हम कितने आश्वस्त हैं?
पेपर इन विशिष्ट बेंचमार्क पर एजेंटों को चलाने के मापे गए परिणामों के आधार पर ये निष्कर्ष प्रस्तुत करता है। सुधार (जैसे 10-20% की वृद्धि) प्रयोगों से प्राप्त मापे गए आंकड़े हैं, न कि केवल अनुमान। लेखक सुझाव देते हैं कि यह दृष्टिकोण फाइन-ट्यूनिंग का एक मजबूत विकल्प है, लेकिन वे यह भी नोट करते हैं कि सिस्टम की सफलता प्रशिक्षण डेटा की गुणवत्ता पर निर्भर करती है। वे यह दावा नहीं करते कि यह हर समस्या को सभी रोबोटों के लिए हर जगह हल कर देता है, लेकिन वे दिखाते हैं कि इन विशिष्ट, जटिल कार्यों के लिए, एक संरचित, मानव-पठनीय रेसिपी बुक बनाना एक महत्वपूर्ण, मापने योग्य अंतर पैदा करता है।
संक्षेप में, BREW रोबोटों को पहिए का पुन: आविष्कार करना बंद करने और एक अच्छी तरह से व्यवस्थित, मानव-अनुकूल निर्देश पुस्तिका का उपयोग करना सिखाता है जिसे वे वास्तव में पढ़ और समझ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।