Evaluating Theory of Mind and Internal Beliefs in LLM-Based Multi-Agent Systems

यहाँ कोस्तका और चुडियाक के शोध पत्र "Evaluating Theory of Mind and Internal Beliefs in LLM-Based Multi-Agent Systems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने प्राकृतिक भाषा संवाद और योजना बनाने की क्षमता प्रदान करके मल्टी-एजेंट सिस्टम (MAS) में क्रांति ला दी है, फिर भी वे गतिशील, सहयोगात्मक वातावरण में महत्वपूर्ण चुनौतियों का सामना करते हैं:

• असंगति (Inconsistency): LLMs अक्सर असंगत तर्क या मतिभ्रम (hallucinations) उत्पन्न करते हैं, जिससे समन्वय उप-इष्टतम (suboptimal) हो जाता है।
• संज्ञानात्मक संरचना का अभाव (Lack of Cognitive Structure): केवल LLMs को जोड़ने से प्रभावी सहयोग की गारंटी नहीं मिलती। मौजूदा MAS फ्रेमवर्क अक्सर कठोर नियमों पर निर्भर करते हैं या उनमें एक-दूसरे के इरादों (Theory of Mind) को समझने या सुसंगत आंतरिक अवस्था प्रतिनिधित्व (Belief-Desire-Intention) बनाए रखने के तंत्रों का अभाव होता है।
• अंतराल (The Gap): Theory of Mind (ToM), Internal Belief (IB) तंत्रों (BDI मॉडल पर आधारित), और Symbolic Logic Verification का सहक्रियात्मक एकीकरण अभी भी कम खोजा गया है। यह स्पष्ट नहीं है कि ये संज्ञानात्मक मॉड्यूल विभिन्न LLM आर्किटेक्चर के साथ कैसे परस्पर क्रिया करते हैं और सामूहिक निर्णय लेने तथा सिस्टम की सटीकता को कैसे प्रभावित करते हैं।

2. कार्यप्रणाली (Methodology)

A. कार्य वातावरण (Task Environment)

लेखकों ने एक वर्चुअल शहर में एक गतिशील संसाधन आवंटन सिमुलेशन तैयार किया जिसमें चार जिले ($d_1$ से $d_4$) हैं।

• उद्देश्य: तीन एजेंटों ($FOOD\_AGENT$, $MEDICAL\_AGENT$, $SECURITY\_AGENT$) को स्वास्थ्य में गिरावट को रोकने के लिए जिलों को संसाधन आपूर्ति करने के लिए समन्वय करना चाहिए।
• मैकेनिक्स: जिले समय के साथ संसाधनों का उपभोग करते हैं। यदि संसाधन थ्रेशोल्ड से नीचे गिर जाते हैं, तो जिले का स्वास्थ्य कम हो जाता है। एजेंट आसन्न जिलों में MOVE कर सकते हैं या SUPPLY_RESOURCE कर सकते हैं।
• मेट्रिक्स: सिस्टम प्रदर्शन को गैर-आपूर्ति वाले जिलों के औसत अंतिम स्वास्थ्य द्वारा मापा जाता है।

B. प्रस्तावित आर्किटेक्चर (Proposed Architecture)

यह प्रणाली तीन मुख्य संज्ञानात्मक घटकों को एकीकृत करने वाला एक नवीन एजेंट आर्किटेक्चर पेश करती है:

1. Theory of Mind (ToM): एजेंट एक "Beliefs on Others" मॉड्यूल बनाए रखते हैं। वे साझा स्मृति और अवलोकन योग्य व्यवहार के आधार पर साथी एजेंटों की भूमिकाओं, इरादों और संभावित कार्यों का अनुमान लगाते हैं।
2. Internal Beliefs (IB): एजेंट एक निजी "Internal Beliefs" मॉड्यूल बनाए रखते हैं जो लॉजिक-फ्रेंडली प्रारूप में खेल की स्थिति (अवलोकन, योजनाएं, आवश्यकताएं) की उनकी समझ का प्रतिनिधित्व करता है।
3. Logical Verification (Symbolic Solver): एजेंट के प्राकृतिक भाषा वाले आंतरिक विश्वासों को Clingo solver का उपयोग करके Answer Set Programming (ASP) में अनुवादित किया जाता है।
   • प्रक्रिया: सॉल्वर तार्किक संगति (जैसे, स्थान और इन्वेंट्री के बीच विरोधाभास) की जाँच करता है।
   • फीडबैक लूप: यदि विसंगतियां पाई जाती हैं, तो सिस्टम त्रुटि का एक प्राकृतिक भाषा स्पष्टीकरण उत्पन्न करता है, जिससे LLM को क्रिया निष्पादित करने से पहले अपने विश्वासों को पुनर्गठित करने की अनुमति मिलती है (3 प्रयासों तक)।

C. प्रयोगात्मक सेटअप (Experimental Setup)

• परीक्षण किए गए मॉडल: ChatGPT-3.5-Turbo, ChatGPT-4o, ChatGPT-4o-mini, Meta Llama 3.1 8B, और Claude 3.5 Sonnet।
• कॉन्फ़िगरेशन: प्रत्येक मॉडल के लिए चार अलग-अलग सेटअपों का परीक्षण किया गया:
  1. Base Case: No ToM, No IB।
  2. ToM Only: एजेंट दूसरों के बारे में तर्क करते हैं लेकिन आंतरिक विश्वास सत्यापन का अभाव होता है।
  3. IB Only: एजेंट ASP सत्यापन के साथ आंतरिक विश्वासों का उपयोग करते हैं लेकिन दूसरों का मॉडल नहीं बनाते।
  4. ToM + IB: ToM और IB दोनों का पूर्ण एकीकरण।
• प्रोटोकॉल: एजेंट समन्वय (साझा स्मृति) और आंतरिक तर्क (निजी स्मृति) के माध्यम से संवाद करते हैं। सिमुलेशन प्रत्येक एजेंट के लिए 7 टर्न तक चलता है।

3. प्रमुख योगदान (Key Contributions)

1. नवीन आर्किटेक्चर: एक मल्टी-एजेंट फ्रेमवर्क जो सहयोगात्मक बुद्धिमत्ता को बढ़ाने के लिए ToM, BDI-शैली के आंतरिक विश्वासों और ASP-आधारित तार्किक सत्यापन को सहजता से एकीकृत करता है।
2. अनुभवजन्य मूल्यांकन (Empirical Evaluation): एक व्यापक विश्लेषण कि कैसे ये संज्ञानात्मक तंत्र विभिन्न LLM क्षमताओं (8B पैरामीटर मॉडल से लेकर उन्नत वाणिज्यिक मॉडलों तक) के साथ परस्पर क्रिया करते हैं।
3. संज्ञानात्मक भार पर अंतर्दृष्टि (Insight on Cognitive Load): अध्ययन यह प्रदर्शित करता है कि संज्ञानात्मक तंत्र जोड़ना सार्वभौमिक रूप से फायदेमंद नहीं है; इसकी प्रभावकारिता अत्यधिक रूप से अंतर्निहित LLM की तर्क क्षमता और कार्य की जटिलता पर निर्भर करती है।

4. परिणाम और विश्लेषण (Results and Analysis)

प्रदर्शन परिवर्तनशीलता (Performance Variability)

• उच्च-प्रदर्शन मॉडल (ChatGPT-4o, Claude 3.5 Sonnet): इन मॉडलों ने सभी कॉन्फ़िगरेशन में लगातार उच्च जिला स्वास्थ्य स्कोर प्राप्त किया। उन्होंने बिना किसी प्रदर्शन गिरावट के ToM और IB को सफलतापूर्वक एकीकृत किया, जो मजबूत तर्क क्षमताओं को दर्शाता है जो अतिरिक्त संज्ञानात्मक भार को संभाल सकती हैं।
• मध्यम मॉडल (ChatGPT-4o-mini): मिश्रित परिणाम दिखाए। सक्षम होने के बावजूद, ToM/IB के जुड़ने से कभी-कभी परिवर्तनशीलता (व्यापक कॉन्फिडेंस इंटरवल) बढ़ गई, जो सुझाव देती है कि संज्ञानात्मक ओवरहेड ने कभी-कभी मॉडल को भ्रमित कर दिया।
• कम-क्षमता वाले मॉडल (ChatGPT-3.5-Turbo, Llama 3.1 8B):
  • ChatGPT-3.5-Turbo: ToM/IB के साथ मामूली सुधार दिखाया, जो बताता है कि ये तंत्र कमजोर मॉडलों के लिए तर्क को सहारा (scaffold) दे सकते हैं।
  • Meta Llama 3.1 8B: महत्वपूर्ण अस्थिरता प्रदर्शित की। हालांकि ToM अकेले मददगार था, लेकिन ToM + IB का संयोजन अक्सर प्रदर्शन में गिरावट का कारण बना, जो यह दर्शाता है कि मॉडल कई समवर्ती तर्क धाराओं (दूसरों का मॉडलिंग करना + स्व-सत्यापन) को संसाधित करने में संघर्ष करता है।

मुख्य निष्कर्ष (Key Findings)

• "दोधारी तलवार" प्रभाव (The "Two-Edged Sword" Effect): ToM और IB को एकीकृत करने से साथी कार्यों के बेहतर पूर्वानुमान और संरचित निर्णय लेने को सक्षम करके समन्वय को बढ़ाया जा सकता है। हालाँकि, सीमित तर्क क्षमता वाले मॉडलों के लिए, ये तंत्र संज्ञानात्मक भार (cognitive load) पैदा करते हैं, जिससे गलत धारणाएं, तार्किक विसंगतियां और गलत समन्वय होता है।
• तार्किक सत्यापन की भूमिका (Role of Logical Verification): ASP सॉल्वर ने कुछ तार्किक त्रुटियों (जैसे, डिस्कनेक्टेड जिलों में जाना) को सफलतापूर्वक रोका, लेकिन इसकी प्रभावशीलता LLM से प्राकृतिक भाषा अनुवाद की गुणवत्ता द्वारा सीमित थी।
• संचार बाधा (Communication Bottleneck): अनुक्रमिक संचार प्रोटोकॉल (साझा स्मृति) प्रभावी था लेकिन इसने विलंबता (latency) और जटिल परिदृश्यों में सूचना प्रवाह संबंधी समस्याएं भी उत्पन्न कीं।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

• AI डिज़ाइन के लिए निहितार्थ: यह शोध पत्र स्थापित करता है कि "अधिक संज्ञानात्मक विशेषताएं" का अर्थ "बेहतर प्रदर्शन" नहीं है। सिस्टम आर्किटेक्ट्स को चुने गए LLM की विशिष्ट तर्क क्षमताओं के साथ संज्ञानात्मक तंत्रों (ToM, BDI, Logic) का सावधानीपूर्वक मिलान करना चाहिए।
• हाइब्रिड इंटेलिजेंस: यह कार्य न्यूरल-सिम्बोलिक AI की क्षमता को प्रमाणित करता है, जहाँ LLMs प्राकृतिक भाषा और उच्च-स्तरीय योजना को संभालते हैं, जबकि सिम्बोलिक सॉल्वर (ASP) तार्किक निरंतरता और सुरक्षा सुनिश्चित करते हैं।
• भविष्य का कार्य:
  • स्थिर ToM प्रॉम्प्ट के बजाय एजेंट व्यवहार के सीखे गए मॉडल (learned models) विकसित करना।
  • LLM पर संज्ञानात्मक भार को कम करने के लिए हाइब्रिड रीजनिंग दृष्टिकोणों का पता लगाना।
  • अनुक्रमिक साझाकरण से आगे बढ़ने के लिए संचार प्रोटोकॉल को अनुकूलित करना।
  • एजेंटों की बड़ी संख्या और अधिक जटिल कार्य वातावरण (जैसे, आपदा प्रबंधन, स्वास्थ्य सेवा) के लिए सिस्टम को स्केल करना।

निष्कर्षतः, यह शोध LLM-आधारित मल्टी-एजेंट सिस्टम बनाने के लिए एक महत्वपूर्ण अनुभवजन्य आधार प्रदान करता है, और इस बात पर प्रकाश डालता है कि सफल सहयोग के लिए मॉडल क्षमता, संज्ञानात्मक आर्किटेक्चर और तार्किक सत्यापन के बीच एक अनुकूलित संतुलन की आवश्यकता होती है।