Bayesian Partner Modelling enables Adaptive Replanning for LLM Coordination
यह शोध पत्र BayesBeliefAgent को प्रस्तुत करता है, जो एक पदानुक्रमित (hierarchical) LLM प्रणाली है जो टीम के साथियों की रणनीति में बदलाव के साथ कुशलतापूर्वक अनुकूल होने के लिए बेयसियन पार्टनर ट्रैकिंग (Bayesian partner tracking) को विरोधाभास-शर्तित पुनर्रचना (contradiction-conditioned replanning) के साथ जोड़ती है, जो मौजूदा विधियों की तुलना में अनावश्यक पुनर्रचनाओं और विश्वास-क्रिया अंतराल (belief-action gap) को महत्वपूर्ण रूप से कम करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक प्रमुख सीमा कंप्यूटरों को मिलकर काम करना सिखाना है। कल्पना कीजिए कि दो लोग एक मेज बनाने की कोशिश कर रहे हैं; यदि एक व्यक्ति अचानक लकड़ी को घिसने (सैंड करने) का निर्णय लेता है जबकि दूसरा अभी भी आरी चला रहा है, तो परियोजना रुक जाती है। दशकों से, शोधकर्ताओं ने कंप्यूटर प्रोग्रामों को समन्वय करने के लिए प्रेरित करने की कोशिश की है, लेकिन एक विशिष्ट प्रकार की विफलता बनी हुई है। लार्ज लैंग्वेज मॉडल्स, जो शक्तिशाली एआई सिस्टम हैं और कहानियाँ लिख सकते हैं या पहेलियाँ सुलझा सकते हैं, अक्सर यह समझने में उत्कृष्ट होते हैं कि एक साथी का इरादा क्या है। वे अपने साथी के कार्यों को देख सकते हैं और सही ढंग से अनुमान लगा सकते हैं, "आह, वे सब्जियां काट रहे हैं।" हालांकि, यह जानना कि साथी क्या कर रहा है, इसका मतलब यह नहीं है कि एआई को यह भी पता चल जाए कि उसे अपना वर्तमान कार्य कब रोकना है। एक एआई सही ढंग से यह महसूस कर सकता है कि उसके साथी ने अपनी योजना बदल ली है, फिर भी वह दस मिनट तक सब्जियां काटता रह सकता है क्योंकि वह अपने स्वयं के मार्ग को बदलने के लिए बहुत कठोर है। साथी को समझने और वास्तव में अपने स्वयं के व्यवहार को बदलने के बीच का यह अंतर वह केंद्रीय समस्या है जिसे शोधकर्ता हल करने की कोशिश कर रहे हैं।
टेक्सास विश्वविद्यालय de ऑस्टिन और होंडा रिसर्च इंस्टीट्यूट के शोधकर्ताओं की एक टीम ने इस विच्छेद को ठीक करने के लिए एक नया दृष्टिकोण पेश किया है। उन्होंने 'बेयसबेलिफ एजेंट' (BayesBeliefAgent) नामक एक एआई एजेंट बनाया, जिसे एक सिम्युलेटेड किचन वातावरण में काम करने के लिए डिज़ाइन किया गया है जहाँ दो रसोइये मिलकर भोजन तैयार करते हैं। इन परिदृश्यों में, एआई और उसका अदृश्य साथी प्याज काटने, चावल पकाने या भोजन परोसने जैसे कार्यों में समन्वय करते हैं। चुनौती यह है कि कार्य के बीच में ही साथी की रणनीति बदल सकती है। शोधकर्ताओं ने पाया कि केवल एआई को अपने साथी की बेहतर समझ देना पर्याप्त नहीं था। इसके बजाय, उन्होंने एआई को एक विशिष्ट तंत्र दिया जिससे यह तय किया जा सके कि उसे अपना वर्तमान कार्य कब रोकना है और फिर से शुरू करना है। सिस्टम लगातार साथी की गतिविधियों पर नज़र रखता है और अपने साथी की योजना के वर्तमान अनुमान के आधार पर होने वाली अपेक्षाओं के साथ उनकी तुलना करता है। जब साथी कुछ ऐसा करता है जो उसके अनुमान का स्पष्ट रूप से खंडन करता है, तो एआई तुरंत अपने काम को रोकता है और एक नई योजना की गणना करता है।
मुख्य नवाचार यह है कि यह व्यवधान केवल तभी होता है जब आवश्यक हो। कई मौजूदा तरीके या तो एक बार शुरू होने के बाद अपनी योजनाएं कभी नहीं बदलते, या वे बहुत बार बदलते हैं, जिससे समय और ऊर्जा बर्बाद होती है। नया सिस्टम एक सांख्यिकीय पद्धति का उपयोग करता है जो साथी के संभावित कौशल को ट्रैक करती है। यह तब तक प्रतीक्षा करता है जब तक कि साक्ष्य मजबूत और सुसंगत न हो जाएं। यदि साथी एक अजीब चाल चलता है जो एक गलती हो सकती है, तो एआई उसे अनदेखा कर देता है। लेकिन यदि साथी के कार्य लगातार यह दिखाते हैं कि वे अपेक्षित चीज़ से बिल्कुल अलग कुछ कर रहे हैं, तो एआई अपना काम रोकता है और एक नई योजना मांगता है। यह दृष्टिकोण एआई को यह जानते हुए भी गलत काम करने के चक्र में फंसने से बचाता है कि वह गलत कर रहा है।
शोधकर्ताओं ने विभिन्न किचन लेआउट में इस सिस्टम का परीक्षण किया, जिसमें खुले स्थान और गोलाकार व्यवस्था शामिल थे, जिसमें उन्होंने अपने एआई को अलग-अलग खाना पकाने की प्राथमिकताओं वाले विभिन्न प्रकार के साथियों के साथ जोड़ा। उन्होंने अपने नए एजेंट की तुलना अन्य तरीकों से की, जो या तो निश्चित समय अंतराल पर पुन: योजना बनाते थे, या किसी विशिष्ट घटना के होने पर पुन: योजना बनाते थे, या योजना बदलने का निर्णय लेने के लिए एक अलग एआई जज पर निर्भर करते थे। परिणामों ने दिखाया कि नए एजेंट ने सफलतापूर्वक वितरित किए गए भोजन के मामले में समान या बेहतर स्कोर प्राप्त किया, लेकिन इसने बहुत कम व्यवधानों के साथ ऐसा किया। जहाँ अन्य तरीकों को एक गेम में दर्जनों या सैकड़ों बार रुकना और फिर से शुरू करना पड़ता था, वहीं नए एजेंट को आमतौर पर केवल कुछ ही बार पुन: योजना बनाने की आवश्यकता पड़ी। यह दक्षता शोर (noise) और रणनीति में वास्तविक परिवर्तन के बीच अंतर करने की इसकी क्षमता से आई।
महत्वपूर्ण रूप से, अध्ययन ने खुलासा किया कि साथी की भूमिका के बारे में सही अनुमान लगाना, अच्छी तरह से समन्वय करने के समान नहीं है। परीक्षणों के एक सेट में, नए एजेंट और एक मानक एजेंट दोनों ने साथी के कौशल का लगभग समान सटीकता के साथ अनुमान लगाया। फिर भी, मानक एजेंट ने साथी द्वारा योजना बदलने के लंबे समय बाद भी पुरानी योजनाओं को निष्पादित करना जारी रखा, जिससे दोहरा प्रयास होने की उच्च दर देखी गई जहाँ दोनों एजेंट एक ही कार्य करने का प्रयास कर रहे थे। इसके विपरीत, नए एजेंट ने अपने सही अनुमान का उपयोग सही क्षण पर व्यवहार बदलने के लिए किया। इसने "विश्वास-क्रिया अंतराल" (belief-action gap) को कम किया, जो इस बात का माप है कि कितनी बार एक एजेंट सत्य को जानता है लेकिन उस पर कार्य करने में विफल रहता है। अध्ययन बताता है कि एआई के वास्तव में सहयोग करने के लिए, उसे केवल अपने साथी का मॉडल ही नहीं चाहिए; उसे एक विश्वसनीय संकेत चाहिए कि उसका मॉडल कब पुराना हो गया है और उसे कब अपनी दिशा बदलनी है।
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या सिस्टम बेहतर काम करता है यदि साथी की जानकारी को केवल बैकग्राउंड संदर्भ के रूप में नियोजन प्रक्रिया में फीड किया जाता है, या यदि इसे सीधे रोकने और फिर से शुरू करने के ट्रिगर के रूप में उपयोग किया जाता है। उन्होंने पाया कि जानकारी को ट्रिगर के रूप में उपयोग करना कहीं अधिक प्रभावी था। केवल एआई को यह बताना कि "आपका साथी X कर रहा है" यह गारंटी नहीं देता कि वह अपनी योजना बदलेगा। सिस्टम में सुधार तभी हुआ जब जानकारी का उपयोग सक्रिय रूप से वर्तमान क्रिया को बाधित करने के लिए किया गया। यह अंतर रेखांकित करता है कि साथी को समझने का मूल्य उसकी समझ को तुरंत कार्य में बदलने की क्षमता में निहित है, न कि केवल उसे स्मृति में रखने में।
इन सफलताओं के बावजूद, शोधकर्ता सीमाओं को स्वीकार करते हैं। सिस्टम वर्तमान में पूर्व-निर्धारित कौशलों की एक निश्चित सूची पर निर्भर करता है, जैसे कि "काटना" या "पकाना", न कि चलते समय नए कौशल सीखने पर। बहुत अधिक जुड़े हुए वातावरणों में जहाँ दोनों एजेंटों को पूर्ण तालमेल में चलना होता है, सिस्टम कम प्रभावी था, जो यह सुझाव देता है कि एआई के अंतर्निहित नियोजन मस्तिष्क में अभी भी सुधार की आवश्यकता है। टीम का कहना है कि भविष्य के कार्य में यह देखना होगा कि इन कौशलों को स्वचालित रूप से कैसे सीखा जाए और उन साथियों को कैसे संभाला जाए जिनकी रणनीतियाँ और भी तेज़ी से बदलती हैं। फिलहाल, हालांकि, यह कार्य एक स्पष्ट रास्ता दिखाता है: साथी की समझ को सीधे रुकने और फिर से शुरू करने के निर्णय से जोड़कर, एआई एजेंट केवल अपने साथियों का अवलोकन करने से लेकर वास्तव में उनके साथ काम करने तक बढ़ सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।